Dokumen ini berisi daftar tutorial notebook untuk AI generatif di Vertex AI. Tutorial tersebut merupakan panduan menyeluruh yang menjelaskan cara menggunakan beberapa LLM GenAI.
Tutorial unggulan
-
Men-deploy aplikasi Streamlit ke Cloud Run dengan Gemini Pro
Deploy aplikasi chatbot sederhana menggunakan model Gemini Pro dan Streamlit ke Cloud Run.
GitHub
Daftar tutorial
| Multimodal Gemini |
Mulai menggunakan Gemini (cUrl) Gunakan Gemini API, yang memberi Anda akses ke model bahasa besar terbaru Google, dengan REST/curl. |
|
| Multimodal Gemini |
Gunakan Gemini API, yang memberi Anda akses ke model bahasa besar terbaru Google, dengan Vertex AI SDK untuk Python. |
|
| Multimodal Gemini |
Kasus penggunaan multimodal dengan Gemini Model Gemini adalah model bahasa multimodal inovatif yang dikembangkan oleh AI Google dan mampu mengekstrak insight penting dari beragam format data, termasuk gambar dan video. Notebook ini mempelajari berbagai kasus penggunaan dengan prompt multimodal. |
|
| Streamlit Multimodal Gemini |
Men-deploy aplikasi Streamlit ke Cloud Run dengan Gemini Pro Aplikasi contoh untuk men-deploy aplikasi chatbot sederhana menggunakan Streamlit ke Cloud Run dengan Gemini Pro. |
|
| Pembuatan peningkatan Multimodal Gemini |
Memperluas dari RAG, yang secara tradisional dilakukan pada data teks, notebook ini menunjukkan cara menjalankan RAG pada data multimodal untuk melakukan Tanya Jawab dalam makalah ilmiah yang berisi teks dan gambar. |
|
| Multimodal Gemini |
Menggunakan Gemini dalam Pendidikan Menggunakan model Gemini dalam pendidikan, dengan berbagai contoh perintah dan di seluruh modalitas, termasuk gambar dan video. |
|
| Multimodal Gemini |
Menggunakan Gemini untuk Rekomendasi Retail Multimodal Dalam dunia retail, rekomendasi memainkan peran penting dalam memengaruhi keputusan pelanggan dan mendorong penjualan. Dalam notebook ini, Anda akan mempelajari cara memanfaatkan kekuatan multimodalitas untuk melakukan rekomendasi retail guna membantu pelanggan memilih kursi terbaik di antara empat gambar kursi, berdasarkan gambar ruang tamunya. |
|
| Panggilan Fungsi Multimodal Gemini |
Pengantar Panggilan Fungsi dengan Gemini Gunakan model Gemini Pro untuk:
|
|
| Penyesuaian |
Menyesuaikan model dasar dengan Vertex AI Ikuti seluruh proses penyiapan dan integrasi. Mulai dari penyiapan lingkungan, pemilihan model dasar, lalu penyesuaian dengan Vertex AI. |
|
| Evaluasi |
Layanan Evaluasi LLM Vertex AI Gunakan Layanan Evaluasi LLM Vertex AI bersama dengan layanan Vertex AI lainnya. |
|
| LangChain |
Jalankan rantai LangChain dan cetak detail hal yang terjadi di setiap langkah rantai tersebut dan dengan titik henti sementara proses debug opsional. |
|
| Text |
Pelatihan Engineering Petunjuk Lanjutan Gunakan Chain of Thought and ReAct (Penalaran + Bertindak) untuk merekayasa perintah dan mengurangi halusinasi. |
|
| Embeddings |
Menggunakan Embedding Vertex AI untuk Multimodal dan Vector Search Membuat embedding teks ke gambar menggunakan set data DiffusionDB dan Vertex AI Embeddings untuk model Multimodal. Embeddings diupload ke layanan Vector Search, yang merupakan solusi berskala tinggi dan latensi rendah untuk menemukan vektor serupa untuk korpus besar. |
|
| Embeddings |
Penelusuran Semantik menggunakan Embeddings Buat embedding yang dibuat dari teks dan lakukan penelusuran semantik. Embeddings dibuat menggunakan Google ScaNN: Efficient Vector Similarity Search. |
|
| Evaluasi |
Evaluasi LLM Vertex AI & Inferensi Batch Evaluasi model bahasa besar (LLM) secara menyeluruh dengan Vertex AI. |
|
| Evaluasi |
AutoSxS: Mengevaluasi LLM di Vertex AI Model Registry terhadap model pihak ketiga Menggunakan Vertex AI secara otomatis berdampingan (AutoSxS) untuk mengevaluasi performa antara model AI generatif di registry model Vertex AI dan model bahasa pihak ketiga. |
|
| Evaluasi |
AutoSxS: Memeriksa keselarasan autorater terhadap set data preferensi manusia Gunakan otomatis Vertex AI berdampingan (AutoSxS) untuk menentukan seberapa baik autorater selaras dengan pelabel manusia. |
|
| Penyesuaian |
Pembelajaran Penguatan LLM Vertex AI dari Masukan Manual Gunakan Vertex AI RLHF untuk men-tuning model bahasa besar (LLM). Alur kerja ini meningkatkan akurasi model dengan meningkatkan kualitas model dasar menggunakan set data pelatihan. |
|
| Embeddings |
Coba model penyematan teks baru. |
|
| Penyesuaian |
Menyesuaikan Vertex AI dengan model PEFT Menyesuaikan model bahasa besar (LLM) PEFT dan membuat prediksi. Alur kerja ini meningkatkan akurasi model dengan meningkatkan kualitas model dasar menggunakan set data pelatihan. |
|
| Text |
Menggunakan Vertex AI SDK dengan Model Bahasa Besar Gunakan Vertex AI SDK untuk menjalankan Model Bahasa Besar di Vertex AI. Uji, sesuaikan, dan deploy model bahasa AI generatif. Mulailah dengan mempelajari contoh ringkasan konten, analisis sentimen, chat, penyematan teks, dan prompt tuning. |
|
Percakapan Penelusuran Pengindeksan Penyimpanan Data |
Pemeriksa Vertex AI Search and Conversation Data Store Status Vertex AI Search and Conversation Data Store Status Checker adalah notebook yang menggunakan Cloud Discovery Engine API untuk memeriksa Penyimpanan Data dalam dokumen yang diindeks. Hal ini memungkinkan pengguna melakukan tugas-tugas berikut:
|
|
Kicauan Pengenalan Ucapan |
Mulai menggunakan Chirp di Google Cloud Notebook ini adalah pengenalan Chirp, layanan speech-to-text yang menggunakan teknologi pengenalan ucapan Google yang canggih. Platform ini menyediakan antarmuka sederhana dan mudah digunakan oleh developer untuk membangun aplikasi yang mendukung ucapan. |
|
Filter Penelusuran Metadata |
Vertex AI Search dengan Filter & Metadata Vertex AI Search adalah layanan terkelola sepenuhnya yang memungkinkan Anda membangun dan men-deploy aplikasi penelusuran di Google Cloud. Notebook ini menunjukkan cara menggunakan filter dan metadata dalam permintaan penelusuran ke Vertex AI Search. |
|
Pembuatan lanjutan Pengambilan Pertanyaan Dokumen |
Dokumen Tanya Jawab dengan Pembuatan Augmented Pengambilan Notebook ini menunjukkan cara menggunakan Retrieval Augmented Generation (RAG) untuk membuat sistem penjawaban pertanyaan bagi dokumentasi Google. Contoh ini menunjukkan cara menggunakan RAG untuk menghasilkan teks yang menjawab pertanyaan tertentu, dan cara menggunakan RAG untuk meningkatkan performa sistem penjawaban pertanyaan. |
|
Penelusuran Pengambilan Kontrak |
Notebook ini menunjukkan cara menggunakan pembuatan augmented reality untuk menghasilkan teks kontrak. Pendekatan ini menggunakan model Palm2 & LangChain, yang telah dilatih sebelumnya dengan korpora besar teks hukum dan keuangan. |
|
Search LangChain pembuatan yang ditingkatkan untuk Pengambilan Pertanyaan |
Penjawaban Pertanyaan Melalui Dokumen Notebook ini menunjukkan cara mengajukan dan menjawab pertanyaan terkait data Anda dengan menggabungkan mesin Vertex AI Search dan LLM. Secara khusus, kami berfokus pada kueri data 'tidak terstruktur' seperti file PDF dan HTML. Untuk menjalankan notebook ini, Anda harus telah membuat mesin telusur tak terstruktur dan menyerap dokumen PDF atau HTML ke dalamnya. |
|
Penelusuran Tanya Jawab Vertex AI Search yang menjawab pertanyaan massal |
Penjawaban Pertanyaan Massal dengan Vertex AI Search Notebook ini menunjukkan cara menjawab pertanyaan dari CSV menggunakan penyimpanan data Vertex AI Search. Aplikasi ini dapat dijalankan di Colab atau Vertex AI Workbench. |
|
PaLM LangChain Orkestrasi Bahasa |
Mulai Menggunakan LangChain 🦜️🔗 + PaLM API Notebook ini memberikan pengantar LangChain, yakni framework orkestrasi model bahasa. Contoh ini menunjukkan cara menggunakan LangChain dengan PaLM API untuk membuat dan men-deploy model pembuatan teks-ke-teks. |
|
LangChain Loader Data BigQuery |
Cara menggunakan LangChain 🦜️🔗 BigQuery Data Loader Notebook ini menunjukkan cara menggunakan Data Loader BigQuery LangChain untuk memuat data dari BigQuery ke model LangChain. Notebook ini menyediakan petunjuk langkah demi langkah tentang cara menyiapkan loader data, memuat data ke dalam model, dan melatih model. |
|
Codey Generasi Pengambilan Kode Pembuatan Kode |
Menggunakan Retrieval Augmented Generation (RAG) dengan Codey API Notebook ini menunjukkan cara menggunakan Retrieval Augmented Generation (RAG) dengan Codey API. RAG adalah teknik yang menggabungkan pengambilan kode dengan pembuatan kode untuk menghasilkan saran penyelesaian kode yang lebih akurat dan informatif. |
|
Bahasa Pembuatan Kode Codey |
Mulai Menggunakan Vertex AI Codey API - Pembuatan Kode Notebook ini menyediakan pengantar Vertex AI Codey API untuk pembuatan kode. Panduan ini mencakup dasar-dasar penggunaan API, termasuk cara membuat dan men-deploy model pembuatan kode, dan cara menggunakannya untuk menghasilkan kode. |
|
Pembuatan kode Pelengkapan Kode Codey |
Mulai Menggunakan Vertex AI Codey API - Penyelesaian Kode Notebook ini menunjukkan cara menggunakan Codey API Vertex AI guna mendapatkan saran penyelesaian kode untuk kode Python Anda. Tutorial ini juga menunjukkan cara menggunakan API untuk membuat cuplikan kode dan menjalankan cuplikan kode di lingkungan jarak jauh. |
|
Pembuatan teks Pembuatan kode di Chat Codey Code |
Mulai Menggunakan Vertex AI Codey API - Code Chat Notebook ini adalah pengantar Vertex AI Codey API. Panduan ini mencakup dasar-dasar penggunaan API, termasuk cara membuat dan men-deploy model, dan cara berinteraksi dengan model tersebut menggunakan Codey CLI. |
|
PaLM Python SDK Bahasa |
Mulai Menggunakan PaLM API & Python SDK Notebook ini memberikan pengantar PaLM API dan Python SDK. Panduan ini mencakup dasar-dasar penggunaan API, termasuk cara membuat dan men-deploy model, serta cara menggunakan API untuk menghasilkan teks, menerjemahkan bahasa, dan menulis berbagai jenis konten kreatif. |
|
Dialog bahasa |
Prompt Design - Praktik Terbaik Notebook ini menyediakan pengantar prompt design untuk model bahasa berbasis teks. Panduan ini mencakup dasar-dasar prompt, termasuk cara kerjanya dan cara menulisnya. {i>Notebook<i} ini juga memberikan tips tentang cara untuk memperbaiki {i>prompt<i} Anda dan menghindari perangkap umum. |
|
Ekstraksi teks |
Ekstraksi Teks dengan Model Generatif di Vertex AI Notebook ini menunjukkan cara menggunakan model generatif untuk mengekstrak teks dari gambar. AI generatif menggunakan model teks ke gambar dari library AI generatif Vertex AI dan model ekstraksi teks dari library ekstraksi teks Vertex AI. |
|
Klasifikasi teks |
Klasifikasi Teks dengan Model Generatif di Vertex AI Notebook ini menunjukkan cara menggunakan model generatif untuk melakukan klasifikasi teks di Vertex AI. Pelatihan ini mencakup topik berikut: * Menyiapkan data * Melatih model * Men-deploy model * Menggunakan model untuk mengklasifikasikan teks |
|
Alur pemikiran React |
Notebook ini memperkenalkan Chain of Thought dan ReAct, dua alat yang dapat digunakan untuk meningkatkan performa algoritma reinforcement learning. Chain of Thought adalah teknik yang dapat digunakan untuk meningkatkan efisiensi iterasi nilai, sedangkan ReAct adalah teknik yang dapat digunakan untuk meningkatkan stabilitas algoritma aktor-kritik. |
|
Bahasa prompt Ideasi |
Perumusan ide dengan Model Generatif di Vertex AI Notebook ini menunjukkan cara menggunakan model generatif untuk menghasilkan teks, gambar, dan kode. Artikel ini juga menunjukkan cara menggunakan Vertex AI untuk men-deploy dan mengelola model generatif. |
|
Perangkuman |
Peringkasan Teks dengan Model Generatif di Vertex AI Notebook ini menunjukkan cara menggunakan Vertex AI untuk melatih dan men-deploy model ringkasan teks. AI generatif menggunakan model BART, yaitu model bahasa besar yang telah dilatih sebelumnya dengan set data teks yang sangat besar. Model ini kemudian disesuaikan dengan set data ringkasan teks, dan kemudian dapat digunakan untuk membuat ringkasan teks baru. |
|
Menjawab pertanyaan |
Question Answering dengan Model Generatif di Vertex AI Notebook ini menunjukkan cara menggunakan model generatif untuk menjawab pertanyaan terkait domain terbuka. AI generatif menggunakan model Transformer Vertex AI untuk menghasilkan teks berdasarkan pertanyaan tertentu. |
|
Deployment Tuning model Foundation-pembuatan teks |
Menyesuaikan dan men-deploy model dasar Notebook ini menunjukkan cara menyesuaikan model dasar menggunakan Vertex AI. Laporan ini juga menunjukkan cara men-deploy model yang telah disesuaikan ke endpoint Vertex AI. |
|
Perangkuman ringkasan dokumen |
Ringkasan Teks untuk Dokumen Besar {i>Notebook<i} ini menunjukkan cara menggunakan model besar t5 untuk meringkas dokumen berukuran besar. Model ini dilatih menggunakan set data teks dan kode yang sangat besar, serta dapat menghasilkan ringkasan yang akurat dan ringkas. |
|
Perangkuman LangChain Perangkuman Dokumen |
Ringkasan Teks untuk Dokumen Besar menggunakan LangChain 🦜🔗 Notebook ini menunjukkan cara menggunakan model LangChain untuk meringkas dokumen besar. LangChain adalah model bahasa besar yang dapat menghasilkan teks, menerjemahkan bahasa, menulis berbagai jenis konten kreatif, dan menjawab pertanyaan Anda dengan cara yang informatif. |
|
Perangkuman Dokumen Document AI Model bahasa Perangkuman ringkasan teks |
Merangkum dengan Dokumen Besar menggunakan Document AI dan PaLM API Notebook ini menunjukkan cara menggunakan Document AI dan PaLM API untuk meringkas dokumen berukuran besar. Artikel ini juga menunjukkan cara menggunakan Document AI API untuk mengekstrak entity dan frasa kunci dari dokumen. |
|
Pembuatan Teks Chatbot |
RetailyBot, contoh asisten bahan makanan dan resep - RAG + ReAct {i>Notebook<i} ini adalah tentang contoh asisten bahan makanan dan resep yang menggunakan RAG dan ReAct. Aplikasi ini dapat membantu Anda menemukan resep, membuat daftar belanja, dan menjawab pertanyaan tentang makanan. |
|
LangChain Dokumen Jawaban Pertanyaan |
Menjawab Pertanyaan dengan Dokumen Besar menggunakan LangChain 🦜🔗 Notebook ini mendemonstrasikan cara menggunakan model LangChain untuk membangun sistem penjawaban pertanyaan yang dapat menjawab pertanyaan tentang dokumen yang panjang. Model ini dilatih dengan korpus teks yang besar dan dapat digunakan untuk menjawab pertanyaan tentang topik apa pun. |
|
Penelusuran Vektor LangChain Dokumen Jawaban Pertanyaan |
Question Answering dengan Dokumen menggunakan LangChain 🦜️🔗 dan Vertex AI Vector Search Notebook ini menunjukkan cara menggunakan LangChain dan Vertex AI Vector Search (sebelumnya Matching Engine) untuk membangun sistem penjawaban pertanyaan bagi dokumen. Sistem dapat menjawab pertanyaan tentang entitas, tanggal, dan angka dalam dokumen. |
|
PaLM Jawaban Pertanyaan Document AI |
Penjawaban pertanyaan dengan Dokumen menggunakan Document AI, Pandas, dan PaLM Notebook ini menunjukkan cara menggunakan Document AI, Pandas, dan PaLM untuk membangun sistem penjawaban pertanyaan. Solusi ini pertama-tama menggunakan Document AI untuk mengekstrak data terstruktur dari dokumen, lalu menggunakan Pandas untuk membuat {i>dataframe<i} dari data yang diekstrak, dan terakhir menggunakan PaLM untuk menghasilkan jawaban atas pertanyaan tentang data. |
|
Dokumen Jawaban Pertanyaan-QA |
Pertanyaan Menjawab dengan Dokumen Besar Notebook ini menunjukkan cara menggunakan layanan Vertex AI Question Answering untuk membangun model penjawaban pertanyaan yang dapat menjawab pertanyaan dari dokumen berukuran besar. Model ini dilatih berdasarkan set data artikel Wikipedia dan dapat menjawab pertanyaan tentang berbagai topik. |
|
Pembuatan Gambar |
Generator Deskripsi Produk dari Gambar Notebook ini menunjukkan cara menghasilkan deskripsi produk dari gambar menggunakan model teks ke gambar. Model ini dilatih dengan set data gambar produk dan deskripsinya yang sesuai. |
|
Membuat LangChain Retail |
Notebook ini menunjukkan cara menggunakan model LangChain guna menghasilkan deskripsi produk yang dioptimalkan untuk SEO untuk retail. Model ini mengambil daftar atribut produk sebagai input dan menghasilkan deskripsi singkat yang menyoroti fitur utama produk tersebut. |
|
Pembuatan teks DataFrames BigQuery |
BigQuery DataFrames ML: Pembuatan Nama Obat Notebook ini menunjukkan cara menggunakan BigQuery DataFrames ML untuk membuat nama obat. AI generatif menggunakan model bahasa terlatih untuk menghasilkan teks, lalu memfilter hasilnya untuk menghapus nama obat yang sudah digunakan. |
|
Pembuatan kode Bingkai Data BigQuery |
Menggunakan DataFrames BigQuery dengan AI Generatif untuk pembuatan kode Notebook ini menunjukkan cara menggunakan DataFrames BigQuery dengan AI Generatif untuk pembuatan kode. Contoh ini menunjukkan cara menggunakan model bahasa terlatih untuk membuat kode yang akan mentransformasi tabel BigQuery menjadi DataFrame Pandas. |
|
Model Bahasa BigQuery |
Menggunakan LLM Vertex AI dengan data di BigQuery Notebook ini menunjukkan cara menggunakan LLM Vertex AI dengan data di BigQuery. Contoh ini menunjukkan cara memuat data dari BigQuery, membuat model LLM, lalu menggunakan model tersebut untuk menghasilkan teks berdasarkan data. |
|
Visualisasi Kemiripan Embeddings |
Memvisualisasikan kemiripan embedding dari dokumen teks menggunakan plot t-SNE {i>Notebook<i} ini menunjukkan cara memvisualisasikan kesamaan embedding dari dokumen teks menggunakan plot t-SNE. Contoh ini menggunakan {i>dataset<i} ulasan film dari [{i>dataset<i} IMDB](https://datasets.imdbws.com/). |
|
Penelusuran Vektor penyematan Teks |
Mulai Menggunakan Text Embeddings + Vertex AI Vector Search Notebook ini menyediakan pengantar embedding teks dan cara menggunakannya dengan Vertex AI Vector Search. Panduan ini mencakup dasar-dasar embeddings teks, cara melatihnya, dan cara menggunakannya untuk melakukan penelusuran vektor. |
|
Pencarian Vektor Embeddings |
Panduan Memulai Vertex AI Vector Search Notebook ini adalah panduan memulai untuk menggunakan Vertex AI Vector Search. Panduan ini mencakup dasar-dasar penelusuran vektor, termasuk cara membuat indeks vektor, cara mengunggah data ke indeks, dan cara melakukan kueri penelusuran vektor. |
|
Jawaban pertanyaan visual Gambar Gambar |
Visualisasi Question Answering (VQA) dengan Imagen di Vertex AI Notebook ini menunjukkan cara menggunakan Imagen untuk menghasilkan gambar yang menjawab pertanyaan tertentu. Contoh ini juga menunjukkan cara men-deploy model ke Vertex AI dan menggunakannya untuk menghasilkan gambar sebagai respons terhadap pertanyaan yang diberikan pengguna. |
|
Menambahkan Teks pada Gambar |
Pemberian teks visual dengan Imagen di Vertex AI Notebook ini menunjukkan cara menggunakan Imagen, model bahasa besar untuk pembuatan gambar, guna menghasilkan teks bagi gambar. Contoh ini juga menunjukkan cara men-deploy model pada Vertex AI. |
Langkah selanjutnya
- Pelajari model LLM, Vertex AI, dan PaLM dengan tutorial notebook
- Pelajari referensi lainnya di Repo GitHub AI generatif
- Lihat tutorial notebook Vertex AI lainnya di Ringkasan tutorial