Menggunakan Model Hugging Face

Hugging Face menyediakan model terlatih, skrip penyesuaian, dan API pengembangan yang mempermudah proses pembuatan dan penemuan LLM. Model Garden dapat menayangkan model Text Embeddings, Text To Image, Text Generation, dan Image Text To Text di HuggingFace.

Opsi deployment untuk model Hugging Face

Anda dapat men-deploy model Hugging Face yang didukung di Vertex AI atau Google Kubernetes Engine (GKE). Opsi deployment yang Anda pilih dapat bergantung pada model yang Anda gunakan dan seberapa besar kontrol yang Anda inginkan atas workload Anda.

Men-deploy di Vertex AI

Vertex AI menawarkan platform terkelola untuk membuat dan menskalakan project machine learning tanpa keahlian MLOps internal. Anda dapat menggunakan Vertex AI sebagai aplikasi downstream yang menayangkan model Hugging Face. Sebaiknya gunakan Vertex AI jika Anda menginginkan kemampuan MLOps menyeluruh, fitur ML nilai tambah, dan pengalaman serverless untuk pengembangan yang disederhanakan.

  1. Untuk men-deploy model Hugging Face yang didukung di Vertex AI, buka Model Garden.

    Buka Model Garden

  2. Buka bagian Buka model di Hugging Face, lalu klik Tampilkan selengkapnya.

  3. Temukan dan pilih model yang akan di-deploy.

  4. Opsional: Untuk Lingkungan deployment, pilih Vertex AI.

  5. Opsional: Tentukan detail deployment.

  6. Klik Deploy.

Untuk memulai, lihat contoh berikut:

Men-deploy di GKE

Google Kubernetes Engine (GKE) adalah Google Cloud solusi untuk Kubernetes terkelola yang memberikan skalabilitas, keamanan, ketahanan, dan efektivitas biaya. Sebaiknya gunakan opsi ini jika Anda sudah memiliki investasi Kubernetes, organisasi Anda memiliki keahlian MLOps internal, atau jika Anda memerlukan kontrol terperinci atas beban kerja AI/ML yang kompleks dengan persyaratan keamanan, pipeline data, dan pengelolaan resource yang unik.

  1. Untuk men-deploy model Hugging Face yang didukung di GKE, buka Model Garden.

    Buka Model Garden

  2. Buka bagian Buka model di Hugging Face, lalu klik Tampilkan selengkapnya.

  3. Temukan dan pilih model yang akan di-deploy.

  4. Untuk Deployment environment, pilih GKE.

  5. Ikuti petunjuk deployment.

Untuk memulai, lihat contoh berikut:

Apa yang dimaksud dengan "Didukung oleh Vertex AI"?

Kami otomatis menambahkan model Hugging Face terbaru dan paling populer ke Model Garden. Proses ini mencakup pembuatan konfigurasi deployment secara otomatis untuk setiap model.

Untuk mengatasi masalah terkait kerentanan dan kode berbahaya, kami menggunakan Pemindai Malware Hugging Face untuk menilai keamanan file dalam setiap repositori model Hugging Face setiap hari. Jika repositori model ditandai sebagai berisi malware, kami akan segera menghapus model dari halaman galeri Hugging Face.

Meskipun model yang ditetapkan sebagai didukung oleh Vertex AI menunjukkan bahwa model tersebut telah menjalani pengujian dan dapat di-deploy di Vertex AI, kami tidak menjamin tidak adanya kerentanan atau kode berbahaya. Sebaiknya Anda melakukan verifikasi keamanan sendiri sebelum men-deploy model apa pun di lingkungan produksi.

Menyesuaikan konfigurasi deployment untuk kasus penggunaan tertentu

Konfigurasi deployment default yang disediakan dengan opsi deployment sekali klik tidak dapat memenuhi setiap persyaratan mengingat beragam kasus penggunaan dan prioritas yang bervariasi dengan latensi, throughput, biaya, dan akurasi.

Oleh karena itu, Anda dapat bereksperimen dengan deployment sekali klik untuk menetapkan dasar pengukuran, lalu menyesuaikan konfigurasi deployment menggunakan notebook Colab (vLLM, TGI, TEI, HF pytorch inference) atau Python SDK. Pendekatan iteratif ini memungkinkan Anda menyesuaikan deployment dengan kebutuhan yang tepat untuk mendapatkan performa terbaik bagi aplikasi tertentu.

Apa yang harus Anda lakukan jika model yang Anda inginkan tidak tercantum di Model Garden

Jika Anda mencari model tertentu yang tidak tercantum di Model Garden, model tersebut tidak didukung oleh Vertex AI. Bagian berikut menjelaskan alasan dan tindakan yang dapat Anda lakukan.

Mengapa model tidak tercantum?

Alasan berikut menjelaskan mengapa model mungkin tidak ada di Model Garden:

  • Model ini bukan model trending teratas: Kami sering memprioritaskan model yang populer secara luas dan memiliki minat komunitas yang kuat.
  • Belum kompatibel: Model mungkin tidak berfungsi dengan penampung penayangan yang didukung. Misalnya, penampung vLLM untuk model text-generation dan image-text-to-text.
  • Tugas pipeline yang tidak didukung: Model memiliki tugas yang saat ini belum kami dukung sepenuhnya. Kami mendukung tugas berikut: text-generation, text2text-generation, text-to-image, feature-extraction, sentence-similarity, dan image-text-to-text.

Apa saja opsi Anda?

Anda masih dapat menggunakan model yang tersedia di Model Garden:

  • Deploy sendiri menggunakan Notebook Colab: Kami memiliki Notebook Colab berikut: (vLLM, TGI, TEI, HF pytorch inference), yang memberikan fleksibilitas untuk men-deploy model dengan konfigurasi kustom. Hal ini memberi Anda kontrol penuh atas prosesnya.
  • Kirim Permintaan Fitur: hubungi engineer dukungan Anda dan kirimkan permintaan fitur melalui Model Garden, atau lihat dukungan Vertex AI Generatif untuk mendapatkan bantuan tambahan.
  • Perhatikan update: Kami secara rutin menambahkan model baru ke Model Garden. Model yang Anda cari mungkin akan tersedia di masa mendatang, jadi periksa kembali secara berkala.