Mengekspor artefak model untuk prediksi

Google Distributed Cloud (GDC) dengan air gap menawarkan container bawaan untuk menyajikan prediksi online dari model yang dilatih menggunakan framework machine learning (ML) berikut:

  • TensorFlow
  • PyTorch

Untuk menggunakan salah satu container bawaan ini, Anda harus menyimpan model sebagai satu atau beberapa artefak model yang sesuai dengan persyaratan container bawaan. Persyaratan ini berlaku terlepas dari apakah artefak model Anda dibuat di Distributed Cloud atau tidak.

Sebelum memulai

Sebelum mengekspor artefak model, lakukan langkah-langkah berikut:

  1. Buat dan latih model prediksi yang menargetkan salah satu container yang didukung.
  2. Jika Anda tidak memiliki project, siapkan project untuk Vertex AI.

  3. Bekerja sama dengan Operator Infrastruktur (IO) Anda untuk membuat cluster prediksi.

    IO membuat cluster untuk Anda, mengaitkannya dengan project Anda, dan menetapkan kumpulan node yang sesuai dalam cluster, dengan mempertimbangkan resource yang Anda butuhkan untuk prediksi online.

  4. Buat bucket penyimpanan untuk project Anda.

  5. Buat akun layanan Vertex AI Default Serving (vai-default-serving-sa) dalam project Anda. Untuk mengetahui informasi tentang akun layanan, lihat Menyiapkan akun layanan.

  6. Berikan peran Project Bucket Object Viewer (project-bucket-object-viewer) ke akun layanan Vertex AI Default Serving (vai-default-serving-sa) untuk bucket penyimpanan yang Anda buat. Untuk mengetahui informasi tentang cara memberikan akses bucket ke akun layanan, lihat Memberikan akses bucket.

  7. Untuk mendapatkan izin yang diperlukan untuk mengakses Prediksi Online, minta Admin IAM Project Anda untuk memberi Anda peran Vertex AI Prediction User (vertex-ai-prediction-user). Untuk mengetahui informasi tentang peran ini, lihat Siapkan izin IAM.

Persyaratan khusus framework untuk mengekspor ke container bawaan

Bergantung pada framework ML yang ingin Anda gunakan untuk prediksi, Anda harus mengekspor artefak model dalam berbagai format. Bagian berikut menjelaskan format model yang dapat diterima untuk setiap framework ML.

TensorFlow

Jika Anda menggunakan TensorFlow untuk melatih model, ekspor model Anda sebagai direktori SavedModel TensorFlow.

Ada beberapa cara untuk mengekspor SavedModels dari kode pelatihan TensorFlow. Daftar berikut menjelaskan beberapa cara yang sesuai untuk berbagai TensorFlow API:

Jika Anda tidak menggunakan Keras atau Estimator, pastikan Anda menggunakan tag serve dan tanda tangan serving_default saat mengekspor SavedModel untuk memastikan Vertex AI dapat menggunakan artefak model Anda untuk menyajikan prediksi. Keras dan Estimator akan menangani tugas ini secara otomatis. Pelajari lebih lanjut cara menentukan tanda tangan selama ekspor.

Untuk menyajikan prediksi menggunakan artefak ini, buat Model dengan container bawaan untuk prediksi yang cocok dengan versi TensorFlow yang Anda gunakan untuk pelatihan.

PyTorch

Jika Anda menggunakan PyTorch untuk melatih model, Anda harus mengemas artefak model, termasuk pengendali default atau kustom dengan membuat file arsip menggunakan Pengarsip model Torch. Image PyTorch bawaan mengharapkan arsip diberi nama model.mar, jadi pastikan Anda menetapkan nama model ke model.

Untuk mengetahui informasi tentang cara mengoptimalkan penggunaan, latensi, atau throughput memori model PyTorch yang disajikan dengan TorchServe, lihat panduan performa PyTorch.

Mengupload model Anda

Anda harus mengupload model ke bucket penyimpanan yang Anda buat. Untuk mengetahui informasi selengkapnya tentang cara mengupload objek ke bucket penyimpanan, lihat Mengupload dan mendownload objek penyimpanan dalam project.

Jalur ke bucket penyimpanan model Anda harus memiliki struktur berikut:

s3://BUCKET_NAME/MODEL_ID/MODEL_VERSION_ID

Untuk mengetahui detail ekspor, lihat persyaratan khusus framework untuk mengekspor ke container bawaan.