Menggunakan model terbuka Gemma

Gemma adalah sekumpulan model terbuka kecerdasan buatan (AI) generatif yang ringan. Model Gemma tersedia untuk dijalankan di aplikasi dan di hardware, perangkat seluler, atau layanan yang dihosting. Anda juga dapat menyesuaikan model ini menggunakan teknik penyesuaian sehingga model tersebut dapat melakukan tugas yang penting bagi Anda dan pengguna Anda dengan lebih baik. Model Gemma didasarkan pada model Gemini dan ditujukan bagi komunitas pengembangan AI untuk diperluas dan dikembangkan lebih lanjut.

Penyesuaian dapat membantu meningkatkan performa model dalam tugas tertentu. Karena model dalam keluarga model Gemma memiliki bobot terbuka, Anda dapat menyesuaikan model tersebut menggunakan framework AI pilihan Anda dan Vertex AI SDK. Anda dapat membuka contoh notebook untuk menyetel model Gemma menggunakan link yang tersedia di kartu model Gemma di Model Garden.

Model Gemma berikut tersedia untuk digunakan dengan Vertex AI. Untuk mempelajari lebih lanjut dan menguji model Gemma, lihat kartu modelnya di Model Garden.

Berikut beberapa opsi tempat Anda dapat menggunakan Gemma:

Menggunakan Gemma dengan Vertex AI

Vertex AI menawarkan platform terkelola untuk membangun dan menskalakan project machine learning dengan cepat tanpa memerlukan keahlian MLOps internal. Anda dapat menggunakan Vertex AI sebagai aplikasi hilir yang menayangkan model Gemma. Misalnya, Anda dapat mengonversi bobot dari penerapan Gemma di Keras. Selanjutnya, Anda dapat menggunakan Vertex AI untuk menayangkan versi Gemma tersebut guna mendapatkan prediksi. Sebaiknya gunakan Vertex AI jika Anda menginginkan kemampuan MLOps end-to-end, fitur ML bernilai tambah, dan pengalaman serverless untuk pengembangan yang lancar.

Untuk mulai menggunakan Gemma, lihat notebook berikut:

• Menayangkan Gemma 3n di Vertex AI

• Menyajikan Gemma 3 di Vertex AI

• Menyajikan Gemma 2 di Vertex AI

• Menayangkan Gemma di Vertex AI

• Menyesuaikan Gemma 3 menggunakan PEFT, lalu men-deploy ke Vertex AI dari Vertex

• Menyesuaikan Gemma 2 menggunakan PEFT, lalu men-deploy ke Vertex AI dari Vertex

• Menyesuaikan Gemma menggunakan PEFT, lalu men-deploy ke Vertex AI dari Vertex

• Menyesuaikan Gemma menggunakan PEFT, lalu men-deploy ke Vertex AI dari Hugging Face

• Menyesuaikan Gemma menggunakan KerasNLP, lalu men-deploy ke Vertex AI

• Menyesuaikan Gemma dengan Ray on Vertex AI, lalu men-deploy ke Vertex AI

• Menjalankan inferensi lokal dengan ShieldGemma 2 menggunakan transformer Hugging Face

• Menyajikan MedGemma di Vertex AI

• Menayangkan MedSigLIP di Vertex AI

• Menjalankan inferensi lokal dengan T5Gemma menggunakan transformer Hugging Face

Menggunakan Gemma di produk Google Cloud lainnya

Anda dapat menggunakan Gemma dengan produk Google Cloud lain, seperti Google Kubernetes Engine dan Dataflow.

Menggunakan Gemma dengan GKE

Google Kubernetes Engine (GKE) adalah Google Cloud solusi untuk Kubernetes terkelola yang memberikan skalabilitas, keamanan, ketahanan, dan efektivitas biaya. Kami merekomendasikan opsi ini jika Anda telah berinvestasi di Kubernetes, organisasi Anda memiliki keahlian MLOps internal, atau jika Anda memerlukan kontrol terperinci atas workload AI/ML yang kompleks dengan persyaratan keamanan, pipeline data, dan pengelolaan resource yang unik. Untuk mempelajari lebih lanjut, lihat tutorial berikut dalam dokumentasi GKE:

• Menyajikan Gemma dengan vLLM
• Menyajikan Gemma dengan TGI
• Menyajikan Gemma dengan Triton dan TensorRT-LLM
• Menyajikan Gemma dengan JetStream

Menggunakan Gemma dengan Dataflow

Anda dapat menggunakan model Gemma dengan Dataflow untuk analisis sentimen. Gunakan Dataflow untuk menjalankan pipeline inferensi yang menggunakan model Gemma. Untuk mempelajari lebih lanjut, lihat Menjalankan pipeline inferensi dengan model terbuka Gemma.

Menggunakan Gemma dengan Colab

Anda dapat menggunakan Gemma dengan Colaboratory untuk membuat solusi Gemma Anda. Di Colab, Anda dapat menggunakan Gemma dengan opsi framework seperti PyTorch dan JAX. Untuk mempelajari lebih lanjut, lihat:

• Mulai menggunakan Gemma dengan Keras.
• Mulai menggunakan Gemma dengan PyTorch.
• Penyesuaian dasar dengan Gemma menggunakan Keras.
• Penyesuaian terdistribusi dengan Gemma menggunakan Keras.

Ukuran dan kemampuan model Gemma

Model Gemma tersedia dalam beberapa ukuran sehingga Anda dapat membangun solusi AI generatif berdasarkan resource komputasi yang tersedia, kemampuan yang Anda butuhkan, dan tempat Anda ingin menjalankannya. Setiap model tersedia dalam versi yang di-tuning dan yang tidak di-tuning:

• Terlatih Awal - Versi model ini tidak dilatih untuk tugas atau petunjuk tertentu di luar set data pelatihan inti Gemma. Sebaiknya Anda tidak menggunakan model ini tanpa melakukan penyesuaian.

• Disetel untuk mengikuti perintah (Instruction-tuned) - Versi model ini dilatih dengan interaksi bahasa manusia sehingga dapat berpartisipasi dalam percakapan, mirip dengan bot chat dasar.

• Campuran yang disesuaikan - Versi model ini disesuaikan pada campuran set data akademis dan menerima perintah bahasa alami.

Ukuran parameter yang lebih kecil berarti persyaratan resource yang lebih rendah dan fleksibilitas deployment yang lebih besar.

Gemma telah diuji menggunakan hardware TPU v5e buatan khusus Google dan hardware GPU L4(G2 Standard), A100(A2 Standard), H100(A3 High) NVIDIA.

Langkah berikutnya

• Lihat dokumentasi Gemma.