Halaman ini memberikan ringkasan Pemantauan Model Vertex AI.
Ringkasan pemantauan
Vertex AI Model Monitoring memungkinkan Anda menjalankan tugas pemantauan sesuai kebutuhan atau menurut jadwal rutin untuk melacak kualitas model tabular Anda. Jika Anda telah menyetel pemberitahuan, Vertex AI Model Monitoring akan memberi tahu Anda saat metrik melampaui nilai minimum yang ditentukan.
Misalnya, asumsikan bahwa Anda memiliki model yang memprediksi nilai umur pelanggan. Seiring berubahnya kebiasaan pelanggan, faktor-faktor yang memprediksi pembelanjaan pelanggan juga berubah. Akibatnya, fitur dan nilai fitur yang Anda gunakan untuk melatih model sebelumnya mungkin tidak relevan untuk membuat inferensi saat ini. Penyimpangan data ini dikenal sebagai penyimpangan.
Vertex AI Model Monitoring dapat melacak dan memberi tahu Anda saat penyimpangan melebihi nilai minimum yang ditentukan. Kemudian, Anda dapat mengevaluasi ulang atau melatih ulang model untuk memastikan model berperilaku seperti yang diinginkan.
Misalnya, Vertex AI Model Monitoring dapat memberikan visualisasi seperti pada gambar berikut, yang menampilkan dua grafik dari dua set data. Visualisasi ini memungkinkan Anda dengan cepat membandingkan dan melihat perbedaan antara dua set data.
Versi Vertex AI Model Monitoring
Vertex AI Model Monitoring menyediakan dua penawaran: v2 dan v1.
Pemantauan Model v2 dalam Pratinjau dan merupakan penawaran terbaru yang mengaitkan semua tugas pemantauan dengan versi model. Sebaliknya, Pemantauan Model v1 Tersedia Secara Umum dan dikonfigurasi di endpoint Vertex AI.
Jika Anda memerlukan dukungan tingkat produksi dan ingin memantau model yang di-deploy di endpoint Vertex AI, gunakan Pemantauan Model v1. Untuk semua kasus penggunaan lainnya, gunakan Pemantauan Model v2, yang menyediakan semua kemampuan Pemantauan Model v1 dan lainnya. Untuk mengetahui informasi selengkapnya, lihat ringkasan untuk setiap versi:
Untuk pengguna Pemantauan Model v1 yang sudah ada, Pemantauan Model v1 tetap dipertahankan seperti apa adanya. Anda tidak diwajibkan untuk bermigrasi ke Pemantauan Model v2. Jika ingin bermigrasi, Anda dapat menggunakan kedua versi secara bersamaan hingga Anda sepenuhnya bermigrasi ke Pemantauan Model v2 untuk membantu Anda menghindari kesenjangan pemantauan selama transisi.
Ringkasan Pemantauan Model v2
Pemantauan Model v2 memungkinkan Anda melacak metrik dari waktu ke waktu setelah mengonfigurasi pemantauan model dan menjalankan tugas pemantauan. Anda dapat menjalankan tugas pemantauan sesuai permintaan atau menyiapkan tugas yang dijadwalkan. Dengan menggunakan eksekusi terjadwal, Pemantauan Model akan otomatis menjalankan tugas pemantauan berdasarkan jadwal yang Anda tentukan.
Tujuan pemantauan
Metrik dan nilai minimum yang Anda pantau dipetakan ke tujuan pemantauan. Untuk setiap versi model, Anda dapat menentukan satu atau beberapa tujuan pemantauan. Tabel berikut menjelaskan setiap tujuan:
| Tujuan | Deskripsi | Jenis data fitur | Metrik yang didukung |
|---|---|---|---|
| Penyimpangan data fitur input |
Mengukur distribusi nilai fitur input dibandingkan dengan distribusi data dasar. |
Kategoris: boolean, string, kategoris |
|
| Numerik: float, bilangan bulat | Divergensi Jensen Shannon | ||
| Penyimpangan data inferensi output |
Mengukur distribusi data inferensi model dibandingkan dengan distribusi data dasar pengukuran. |
Kategoris: boolean, string, kategoris |
|
| Numerik: float, bilangan bulat | Divergensi Jensen Shannon | ||
| Atribusi fitur |
Mengukur perubahan kontribusi fitur terhadap inferensi model dibandingkan dengan dasar pengukuran. Misalnya, Anda dapat melacak apakah fitur yang sangat penting tiba-tiba mengalami penurunan nilai kepentingan. |
Semua jenis data | Nilai SHAP (SHapley Additive exPlanations) |
Penyimpangan inferensi input fitur dan output
Setelah model di-deploy dalam produksi, data input dapat menyimpang dari data yang digunakan untuk melatih model atau distribusi data fitur dalam produksi dapat berubah secara signifikan dari waktu ke waktu. Model Monitoring v2 dapat memantau perubahan dalam distribusi data produksi dibandingkan dengan data pelatihan atau melacak evolusi distribusi data produksi dari waktu ke waktu.
Demikian pula, untuk data inferensi, Model Monitoring v2 dapat memantau perubahan dalam distribusi hasil prediksi dibandingkan dengan distribusi data pelatihan atau data produksi dari waktu ke waktu.
Atribusi fitur
Atribusi fitur menunjukkan seberapa besar kontribusi setiap fitur dalam model Anda terhadap inferensi untuk setiap instance tertentu. Skor atribusi sebanding dengan kontribusi fitur terhadap inferensi model. Parameter ini biasanya ditandai, yang menunjukkan apakah suatu fitur membantu mendorong inferensi ke atas atau ke bawah. Atribusi di seluruh fitur harus ditambahkan ke skor inferensi model.
Dengan memantau atribusi fitur, Model Monitoring v2 melacak perubahan kontribusi fitur terhadap inferensi model dari waktu ke waktu. Perubahan skor atribusi fitur utama sering kali menandakan bahwa fitur tersebut telah berubah dengan cara yang dapat memengaruhi akurasi inferensi model.
Untuk mengetahui informasi selengkapnya tentang atribusi dan metrik fitur, lihat Penjelasan berbasis fitur dan Metode Shapley yang disampel.
Cara menyiapkan Pemantauan Model v2
Anda harus mendaftarkan model terlebih dahulu di Vertex AI Model Registry. Jika Anda menayangkan model di luar Vertex AI, Anda tidak perlu mengupload artefak model. Kemudian, Anda membuat monitor model, yang Anda kaitkan dengan versi model, dan menentukan skema model. Untuk beberapa model, seperti model AutoML, skema disediakan untuk Anda.
Di monitor model, Anda dapat secara opsional menentukan konfigurasi default seperti tujuan pemantauan, set data pelatihan, lokasi output pemantauan, dan setelan notifikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan pemantauan model.
Setelah membuat monitor model, Anda dapat menjalankan tugas pemantauan sesuai permintaan atau menjadwalkan tugas reguler untuk pemantauan berkelanjutan. Saat Anda menjalankan tugas, Model Monitoring akan menggunakan konfigurasi default yang ditetapkan di monitor model, kecuali jika Anda memberikan konfigurasi pemantauan yang berbeda. Misalnya, jika Anda memberikan tujuan pemantauan yang berbeda atau set data perbandingan yang berbeda, Model Monitoring akan menggunakan konfigurasi tugas, bukan konfigurasi default dari monitor model. Untuk mengetahui informasi selengkapnya, lihat Menjalankan tugas pemantauan.
Harga
Anda tidak akan dikenai biaya untuk Pemantauan Model v2 selama Pratinjau. Anda tetap ditagih untuk penggunaan layanan lain, seperti Cloud Storage, BigQuery, inferensi batch Vertex AI, Vertex Explainable AI, dan Cloud Logging.
Tutorial notebook
Tutorial berikut menunjukkan cara menggunakan Vertex AI SDK untuk Python guna menyiapkan Pemantauan Model v2 untuk model Anda.
Pemantauan Model v2: Tugas inferensi batch model kustom
Pemantauan Model v2: Inferensi online model kustom
Pemantauan Model v2: Model di luar Vertex AI
Ringkasan Pemantauan Model v1
Untuk membantu Anda mempertahankan performa model, Pemantauan Model v1 memantau data input inferensi model untuk mendeteksi skew (diferensiasi) dan drift (penyimpangan) fitur:
Diferensiasi performa pelatihan dan penayangan terjadi saat distribusi data fitur yang Anda gunakan dalam produksi menyimpang dari distribusi data fitur yang digunakan untuk melatih model Anda. Jika data pelatihan asli tersedia, Anda dapat mengaktifkan deteksi skew untuk memantau diferensiasi performa pelatihan dan penayangan model Anda.
Penyimpangan inferensi terjadi ketika distribusi data fitur dalam produksi berubah secara signifikan dari waktu ke waktu. Jika data pelatihan yang asli tidak tersedia, Anda dapat mengaktifkan deteksi drift untuk memantau perubahan data input dari waktu ke waktu.
Anda dapat mengaktifkan deteksi skew dan drift sekaligus.
Pemantauan Model v1 mendukung deteksi skew dan drift fitur untuk fitur kategoris dan numerik:
Fitur kategoris adalah data yang dibatasi oleh jumlah kemungkinan nilai, biasanya dikelompokkan berdasarkan properti kualitatif. Misalnya, kategori seperti tipe produk, negara, atau tipe pelanggan.
Fitur numerik adalah data yang dapat berupa nilai numerik. Misalnya, berat dan tinggi.
Begitu skew atau drift fitur model melebihi batas pemberitahuan yang Anda tetapkan, Pemantauan Model v1 akan mengirimkan email pemberitahuan. Anda juga dapat melihat distribusi setiap fitur dari waktu ke waktu untuk mengevaluasi apakah Anda perlu melatih ulang model.
Menghitung penyimpangan
Untuk mendeteksi penyimpangan untuk v1, Pemantauan Model Vertex AI menggunakan TensorFlow Data Validation (TFDV) untuk menghitung distribusi dan skor jarak.
Hitung distribusi statistik dasar pengukuran:
Untuk deteksi skew, dasar pengukuran adalah distribusi statistik dari nilai fitur dalam data pelatihan.
Untuk deteksi penyimpangan, dasar pengukuran adalah distribusi statistik dari nilai fitur yang terlihat dalam produksi di masa lalu.
Distribusi untuk fitur kategoris dan numerik dihitung sebagai berikut:
Untuk fitur kategoris, distribusi yang dihitung adalah jumlah atau persentase instance dari setiap kemungkinan nilai fitur.
Untuk fitur numerik, Vertex AI Model Monitoring membagi rentang nilai fitur yang mungkin ke dalam interval yang sama dan menghitung jumlah atau persentase nilai fitur yang ada dalam setiap interval.
Dasar pengukuran dihitung saat Anda membuat tugas Pemantauan Model Vertex AI, dan hanya dihitung ulang jika Anda memperbarui set data pelatihan untuk tugas tersebut.
Menghitung distribusi statistik nilai fitur terbaru yang terlihat dalam produksi.
Membandingkan distribusi nilai fitur terbaru dalam produksi terhadap distribusi dasar pengukuran dengan menghitung skor jarak:
Untuk fitur kategoris, skor jarak dihitung menggunakan jarak L-infinity.
Untuk fitur numerik, skor jarak dihitung menggunakan divergensi Jensen-Shannon.
Saat skor jarak antara dua distribusi statistik melebihi nilai minimum yang Anda tentukan, Vertex AI Model Monitoring mengidentifikasi anomali sebagai skew atau drift.
Contoh berikut menunjukkan adanya skew atau drift antara distribusi dasar pengukuran dan terbaru dari fitur kategori:
Distribusi dasar pengukuran
Distribusi terbaru
Contoh berikut menunjukkan skew atau drift antara distribusi dasar pengukuran dan terbaru dari fitur numerik:
Distribusi dasar pengukuran
Distribusi terbaru
Pertimbangan saat menggunakan Pemantauan Model
Untuk efisiensi biaya, Anda dapat menetapkan frekuensi sampling permintaan inferensi untuk memantau subset input produksi ke suatu model.
Anda dapat menetapkan frekuensi tempat input terbaru dari model yang di-deploy akan dipantau untuk mendeteksi skew atau drift. Frekuensi pemantauan menentukan rentang waktu, atau ukuran jendela pemantauan, dari data yang dicatat ke dalam log yang dianalisis di setiap operasi pemantauan.
Anda dapat menentukan nilai minimum pemberitahuan untuk setiap fitur yang ingin dipantau. Pemberitahuan dicatat saat jarak statistik antara distribusi fitur input dan dasar pengukurannya melebihi batas yang ditentukan. Secara default, setiap fitur kategoris dan numerik dipantau, dengan nilai batas 0,3.
Endpoint inferensi online dapat menghosting beberapa model. Saat Anda mengaktifkan deteksi skew atau drift pada endpoint, parameter konfigurasi berikut dibagikan ke semua model yang dihosting di endpoint tersebut:
- Jenis deteksi
- Frekuensi pemantauan
- Fraksi permintaan input yang dipantau
Untuk parameter konfigurasi lainnya, Anda dapat menetapkan nilai yang berbeda untuk setiap model.