Anda harus men-deploy resource kustom prediksi di cluster prediksi yang dibuat oleh Infrastructure Operator (IO) untuk Anda. Operator membuat workload prediksi di cluster yang sama ini.
Untuk membuat cluster prediksi, bekerjasamalah dengan IO untuk mengaitkan project prediksi Anda dan mengalokasikan kumpulan node yang diperlukan untuk prediksi online di Google Distributed Cloud (GDC) yang terisolasi.
Untuk membuat cluster prediksi, lakukan langkah-langkah berikut:
Identifikasi project di organisasi Anda yang ingin dikaitkan dengan cluster baru untuk prediksi online.
Untuk membuat project, lihat artikel Menyiapkan project untuk Vertex AI. Anda memerlukan project ID saat melakukan panggilan API.
Dari daftar jenis mesin yang tersedia di Distributed Cloud, pilih jenis mesin untuk node yang dibutuhkan beban kerja Anda di cluster.
Jenis mesin yang Anda pilih bergantung pada ukuran dan kompleksitas model prediksi Anda, serta menentukan resource unit pemrosesan grafis (GPU) dan komputasi yang disediakan IO Anda untuk cluster. Ikuti rekomendasi pemilihan node saat memilih jenis mesin untuk node Anda.
Kirim email IO menggunakan template kasus cluster prediksi untuk membuka kasus dan menyampaikan permintaan Anda untuk membuat cluster.
Jika perlu, berkomunikasilah dengan IO hingga mereka selesai membuat cluster prediksi yang terkait dengan project Anda dan menetapkan node pool yang sesuai dalam cluster.
Setelah menyelesaikan penyediaan cluster, cluster prediksi siap untuk prediksi online.
Rekomendasi pemilihan node
Saat membuat kumpulan node dalam cluster, IO akan menetapkan salah satu jenis mesin yang tersedia di Distributed Cloud untuk menyediakan serangkaian resource yang telah ditentukan sebelumnya untuk node pekerja. Bergantung pada ukuran dan kompleksitas model, Anda memerlukan performa komputasi yang berbeda dan, akibatnya, jumlah CPU, memori, dan GPU tertentu. Anda harus memberikan detail ini dalam komunikasi Anda dengan IO saat Anda ingin membuat cluster prediksi.
Saat menentukan jenis mesin untuk kumpulan node yang Anda perlukan di cluster prediksi dengan IO, Anda harus mematuhi praktik berikut:
- Distributed Cloud menambahkan overhead komputasi ke node untuk komponen sistem wajib. Oleh karena itu, Anda harus memilih jenis mesin yang lebih besar untuk node pool daripada yang ingin Anda gunakan di kumpulan resource untuk model Anda.
- Pilih solusi yang menyediakan resource komputasi dan memori minimum yang diperlukan untuk kebutuhan Anda. Misalnya, jika model Anda memerlukan delapan vCPU, pilih jenis mesin
n2-highcpu-8-gdc, solusi terkecil dengan delapan vCPU dan memori 8 GB di Distributed Cloud. - Seiring kemajuan Anda, pertimbangkan solusi berperforma lebih tinggi hanya jika solusi yang lebih kecil tidak memadai untuk kebutuhan Anda serta ukuran dan kompleksitas model. Anda harus mematuhi prinsip hak istimewa terendah, dengan hanya menggunakan resource yang diperlukan untuk menjalankan alur kerja tertentu. Pendekatan yang bertanggung jawab ini memastikan penggunaan resource yang bijak di lingkungan Distributed Cloud.
- Hanya pilih solusi yang memiliki GPU jika Anda memerlukannya untuk model Anda.
- Jika model Anda memerlukan GPU, pertimbangkan jenis mesin
a2-highgpu-1g-gdc, solusi terkecil yang menyediakan GPU.
Template kasus cluster prediksi
Gunakan template berikut untuk mengirim email ke IO Anda. Email ini akan membuka kasus untuk membuat cluster prediksi yang Anda perlukan untuk prediksi online.
Good day,
I need to create a prediction cluster and associate it with a project in my organization to use online predictions.
Please use the following information for the creation of the cluster:
- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]
**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster
Thank you,
[Your name]