Menggunakan model terbuka Gemma

Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Gemma adalah serangkaian model terbuka dengan kecerdasan buatan (AI) generatif yang ringan. Model Gemma tersedia untuk dijalankan di aplikasi Anda dan di hardware, perangkat seluler, atau layanan yang dihosting. Anda juga dapat menyesuaikan model ini menggunakan teknik penyesuaian agar model tersebut unggul dalam melakukan tugas yang penting bagi Anda dan pengguna. Model Gemma didasarkan pada model Gemini dan ditujukan bagi komunitas pengembangan AI untuk memperluas dan mengembangkan AI lebih jauh.

Fine-tuning dapat membantu meningkatkan performa model dalam tugas tertentu. Karena beberapa model dalam kelompok model Gemma memiliki bobot terbuka, Anda dapat menyesuaikan salah satunya menggunakan framework AI pilihan Anda dan Vertex AI SDK. Anda dapat membuka contoh notebook untuk menyesuaikan model Gemma menggunakan link yang tersedia pada kartu model Gemma di Model Garden.

Model Gemma berikut tersedia untuk digunakan dengan Vertex AI. Untuk mempelajari dan menguji model Gemma lebih lanjut, lihat kartu model Model Garden mereka.

Berikut adalah beberapa opsi tempat Anda dapat menggunakan Gemma:

Menggunakan Gemma dengan Vertex AI

Vertex AI menawarkan platform terkelola untuk membangun dan menskalakan project machine learning dengan cepat tanpa memerlukan keahlian MLOps internal. Anda dapat menggunakan Vertex AI sebagai aplikasi downstream yang menyalurkan model Gemma. Misalnya, Anda dapat mem-port bobot dari implementasi keras Gemma. Selanjutnya, Anda dapat menggunakan Vertex AI untuk menyalurkan versi Gemma tersebut guna mendapatkan prediksi. Sebaiknya gunakan Vertex AI jika Anda menginginkan kemampuan MLOps end-to-end, fitur ML bernilai tambah, dan pengalaman serverless untuk pengembangan yang lebih efisien.

Untuk mulai menggunakan Gemma, lihat notebook berikut:

• Melayani Gemma 3 di Vertex AI

• Melayani Gemma 2 di Vertex AI

• Melayani Gemma di Vertex AI

• Menyempurnakan Gemma 3 menggunakan PEFT, lalu men-deploy ke Vertex AI dari Vertex

• Menyempurnakan Gemma 2 menggunakan PEFT, lalu men-deploy ke Vertex AI dari Vertex

• Sempurnakan Gemma menggunakan PEFT, lalu deploy ke Vertex AI dari Vertex

• Sempurnakan Gemma menggunakan PEFT, lalu deploy ke Vertex AI dari Huggingface

• Meningkatkan kualitas Gemma menggunakan KerasNLP, lalu men-deploy ke Vertex AI

• Sempurnakan Gemma dengan Ray di Vertex AI, lalu deploy ke Vertex AI

• Menjalankan inferensi lokal dengan ShieldGemma 2 dengan transformer Hugging Face

Gunakan Gemma di produk Google Cloud lain

Anda dapat menggunakan Gemma dengan produk Google Cloud lain, seperti Google Kubernetes Engine dan Dataflow.

Menggunakan Gemma dengan GKE

Google Kubernetes Engine (GKE) adalah Google Cloud solusi untuk Kubernetes terkelola yang memberikan skalabilitas, keamanan, ketahanan, dan efektivitas biaya. Kami merekomendasikan opsi ini jika Anda sudah memiliki investasi Kubernetes, organisasi Anda memiliki keahlian MLOps internal, atau jika Anda memerlukan kontrol terperinci atas workload AI/ML yang kompleks dengan persyaratan keamanan, pipeline data, dan pengelolaan resource yang unik. Untuk mempelajari lebih lanjut, lihat tutorial berikut di dokumentasi GKE:

• Menyajikan Gemma dengan vLLM
• Sajikan Gemma dengan TGI
• Sajikan Gemma dengan Triton dan TensorRT-LLM
• Sajikan Gemma dengan JetStream

Menggunakan Gemma dengan Dataflow

Anda dapat menggunakan model Gemma dengan Dataflow untuk analisis sentimen. Gunakan Dataflow untuk menjalankan pipeline inferensi yang menggunakan model Gemma. Untuk mempelajari lebih lanjut, lihat Menjalankan pipeline inferensi dengan model terbuka Gemma.

Menggunakan Gemma dengan Colab

Anda dapat menggunakan Gemma dengan Colaboratory untuk membuat solusi Gemma. Di Colab, Anda dapat menggunakan Gemma dengan opsi framework seperti PyTorch dan JAX. Untuk mempelajari lebih lanjut, lihat:

• Mulai gunakan Gemma menggunakan Keras.
• Mulai menggunakan Gemma menggunakan PyTorch.
• Penyesuaian dasar dengan Gemma menggunakan Keras.
• Distributed tuning dengan Gemma menggunakan Keras.

Ukuran dan kemampuan model Gemma

Model Gemma tersedia dalam beberapa ukuran sehingga Anda dapat membangun solusi AI generatif berdasarkan resource komputasi yang tersedia, kemampuan yang Anda butuhkan, dan tempat Anda ingin menjalankannya. Setiap model tersedia dalam versi yang sudah disesuaikan dan belum disesuaikan:

• Dilatih - Versi model ini tidak dilatih pada tugas atau petunjuk khusus di luar set pelatihan data inti Gemma. Sebaiknya jangan gunakan model ini tanpa melakukan beberapa penyesuaian.

• Disesuaikan dengan petunjuk - Versi model ini dilatih dengan interaksi bahasa manusia agar dapat berpartisipasi dalam percakapan, mirip dengan bot chat dasar.

• Kombinasi yang ditingkatkan - Versi model ini disesuaikan dengan campuran set data akademik dan menerima perintah natural language.

Ukuran parameter yang lebih rendah berarti persyaratan resource yang lebih rendah dan fleksibilitas deployment yang lebih besar.

Gemma telah diuji menggunakan hardware TPU v5e yang dibuat khusus dari Google dan hardware GPU NVIDIA L4(G2 Standard), A100(A2 Standard), H100(A3 High).

Langkah berikutnya

• Lihat dokumentasi Gemma.