Ringkasan Model Garden

Model Garden adalah library model AI/ML yang membantu Anda menemukan, menguji, menyesuaikan, dan men-deploy model dan aset dari Google dan partner Google.

Keunggulan Model Garden

Saat Anda menggunakan model AI, Model Garden memberikan keuntungan berikut:

  • Semua model yang tersedia dikelompokkan di satu lokasi.
  • Model Garden menyediakan pola deployment yang konsisten untuk berbagai jenis model.
  • Model Garden menyediakan integrasi bawaan dengan bagian Vertex AI lainnya seperti penyesuaian, evaluasi, dan penayangan model.
  • Menayangkan model AI generatif bisa jadi sulit—Vertex AI menangani deployment dan penayangan model untuk Anda.

Menjelajahi model di Google Cloud console

Untuk melihat daftar Vertex AI dan model open source, yang dapat disesuaikan, dan khusus tugas, buka halaman Model Garden di Google Cloud konsol.

Buka Model Garden

Kategori model yang tersedia di Model Garden adalah:

Kategori Deskripsi
Model dasar Model besar multitasking terlatih yang dapat dimodifikasi atau disesuaikan untuk tugas spesifik menggunakan Vertex AI Studio, Vertex AI API, dan Vertex AI SDK for Python.
Model yang dapat disesuaikan dengan baik Model yang dapat Anda sesuaikan menggunakan notebook atau pipeline kustom.
Solusi khusus tugas Sebagian besar model bawaan ini siap digunakan. Banyak di antaranya dapat disesuaikan menggunakan data Anda sendiri.

Untuk memfilter model di panel filter, tentukan hal berikut:

  • Tasks: Klik tugas yang Anda inginkan untuk dijalankan model.
  • Koleksi model: Klik untuk memilih model yang dikelola oleh Google, partner, atau Anda.
  • Penyedia: Klik penyedia model.
  • Fitur: Klik fitur yang Anda inginkan dalam model.

Untuk mempelajari lebih lanjut setiap model, klik kartu modelnya.

Untuk mengetahui daftar model yang tersedia di Model Garden, lihat Model yang tersedia di Model Garden.

Pemindaian keamanan model

Google melakukan pengujian dan benchmark menyeluruh pada penayangan dan penyesuaian container yang kami sediakan. Pemindaian kerentanan aktif juga diterapkan ke artefak container.

Model pihak ketiga dari partner unggulan akan menjalani pemindaian checkpoint model untuk memeriksa keasliannya. Model pihak ketiga dari HuggingFace Hub dipindai langsung oleh HuggingFace dan pemindai pihak ketiga mereka untuk mendeteksi malware, file pickle, lapisan Keras Lambda, dan secret. Model yang dianggap tidak aman dari pemindaian ini akan ditandai oleh HuggingFace dan diblokir agar tidak di-deploy di Model Garden. Model yang dianggap mencurigakan atau yang memiliki kemampuan untuk berpotensi mengeksekusi kode jarak jauh akan ditunjukkan di Model Garden, tetapi masih dapat di-deploy. Sebaiknya Anda melakukan peninjauan menyeluruh terhadap model yang mencurigakan sebelum men-deploy-nya dalam Model Garden.

Harga

Untuk model open source di Model Garden, Anda akan ditagih untuk penggunaan hal berikut di Vertex AI:

  • Penyesuaian model: Anda akan ditagih untuk resource komputasi yang digunakan dengan tarif yang sama seperti pelatihan kustom. Lihat harga pelatihan kustom.
  • Deployment model: Anda akan ditagih untuk resource komputasi yang digunakan untuk men-deploy model ke endpoint. Lihat harga prediksi.
  • Colab Enterprise: Lihat harga Colab Enterprise.

Mengontrol akses ke model tertentu

Anda dapat menetapkan kebijakan organisasi Model Garden di tingkat organisasi, folder, atau project untuk mengontrol akses ke model tertentu di Model Garden. Misalnya, Anda dapat mengizinkan akses ke model tertentu yang telah Anda periksa dan menolak akses ke semua model lainnya.

Referensi lainnya

Bagian ini menyediakan link ke tutorial, materi referensi, notebook, dan video untuk membantu Anda men-deploy, menyesuaikan, dan mengevaluasi model dari Model Garden.

Opsi deployment dan penayangan

Vertex AI menawarkan beberapa opsi untuk men-deploy dan menayangkan model terbuka, yang masing-masing dioptimalkan untuk kasus penggunaan, hardware, dan persyaratan performa yang berbeda. Gunakan tabel berikut untuk memutuskan opsi mana yang terbaik bagi Anda.

Opsi Deployment Deskripsi Paling Cocok untuk
Vertex AI SDK, CLI, & REST API Metode standar untuk men-deploy model terbuka dengan antarmuka yang konsisten. Deployment tujuan umum, memulai, dan berintegrasi dengan alur kerja Vertex AI yang ada.
Penampung vLLM Library open source untuk inferensi dan penayangan LLM yang cepat, dioptimalkan untuk throughput di GPU. Penayangan berperforma tinggi untuk model bahasa teks saja dan multimodal di GPU.
Penampung Hex-LLM Penampung yang dioptimalkan untuk menayangkan model besar di Cloud TPU. Menayangkan model yang sangat besar secara efisien di hardware TPU.
Penampung xDiT Penampung penayangan khusus untuk model transformer difusi (DiT). Tugas pembuatan gambar dan video berperforma tinggi.
DLC Hugging Face TGI Deep Learning Containers dengan Hugging Face Text Generation Inference untuk PyTorch. Memanfaatkan fitur ekosistem Hugging Face, seperti menayangkan beberapa adaptor LoRA di satu GPU.

Setelah memilih opsi, gunakan tab berikut untuk menemukan tutorial dan referensi yang relevan.

SDK, CLI, & REST API

vLLM di GPU

Hex-LLM di TPU

xDiT untuk Gambar/Video

DLC Hugging Face

Referensi penyesuaian model

Pelajari lebih lanjut cara menyesuaikan model untuk menyesuaikan respons untuk kasus penggunaan tertentu.

Referensi evaluasi model

Pelajari lebih lanjut cara menilai respons model dengan Vertex AI.

Referensi dan notebook umum