Sebelum dapat menjalankan proses machine learning (ML) di AI Platform Pipelines, Anda harus terlebih dahulu menentukan proses sebagai pipeline. Anda dapat mengorkestrasi proses ML sebagai pipeline menggunakan TensorFlow Extended (TFX) atau Kubeflow Pipelines SDK.
Dokumen ini memberikan panduan untuk memilih opsi terbaik dalam membangun pipeline, dan referensi untuk memulai.
- Jika Anda mengorkestrasi proses yang melatih model TensorFlow, gunakan TFX untuk membangun pipeline Anda.
- Jika Anda mengorkestrasi proses yang melatih model menggunakan framework seperti PyTorch, XGBoost, dan scikit-learn, gunakan Kubeflow Pipelines SDK untuk membangun pipeline Anda.
Membuat pipeline menggunakan TFX SDK
TFX adalah project open source yang dapat Anda gunakan untuk menentukan alur kerja ML sebagai pipeline. Saat ini, komponen TFX hanya dapat melatih model berbasis TensorFlow. TFX menyediakan komponen yang dapat Anda gunakan untuk menyerap dan mentransformasi data, melatih dan mengevaluasi model, men-deploy model terlatih untuk inferensi, dll. Dengan menggunakan TFX SDK, Anda dapat membuat pipeline untuk proses ML dari komponen TFX.
Untuk mulai membangun pipeline dengan template pipeline TFX:
- Ikuti tutorial tentang pipeline TFX di Google Cloud.
- Baca Panduan Pengguna TFX untuk mempelajari konsep dan komponen TFX lebih lanjut.
Membangun pipeline menggunakan Kubeflow Pipelines SDK
Kubeflow Pipelines SDK adalah SDK open source yang dapat Anda gunakan untuk membangun pipeline ML kustom yang kompleks berdasarkan container. Anda dapat menggunakan kembali komponen yang telah dibuat sebelumnya atau mem-build komponen pipeline kustom menggunakan Kubeflow Pipelines SDK. Pada level yang tinggi, Anda membangun komponen dan pipeline dengan:
- Mengembangkan kode untuk setiap langkah dalam alur kerja Anda menggunakan bahasa dan alat pilihan Anda
- Membuat image container Docker untuk setiap kode langkah
- Menggunakan Python untuk menentukan pipeline menggunakan Kubeflow Pipelines SDK
Untuk mulai membangun pipeline dengan Kubeflow Pipelines SDK:
- Baca Pengantar Kubeflow Pipelines SDK.
- Pelajari lebih lanjut pipeline Kubeflow dengan menjelajahi contoh Kubeflow Pipeline.
- Gunakan kembali komponen yang telah dibuat sebelumnya dengan menjelajahi komponen pipeline Kubeflow di GitHub.
Langkah selanjutnya
- Pelajari cara menjalankan pipeline ML Anda.