Questo documento contiene un elenco di tutorial sui blocchi note per Generative AI su Vertex AI. Si tratta di tutorial end-to-end che mostrano come utilizzare alcuni degli LLM di IA generativa.
Tutorial in primo piano
-
Esegui il deployment di un'app Streamlit su Cloud Run con Gemini Pro
Esegui il deployment di una semplice app di chatbot utilizzando il modello Gemini Pro e Streamlit su Cloud Run.
GitHub
Elenco dei tutorial
| Gemini multimodale |
Inizia a utilizzare Gemini (cUrl) Utilizza l'API Gemini, che ti consente di accedere ai modelli linguistici di grandi dimensioni (LLM) più recenti di Google, con REST/curl. |
|
| Gemini multimodale |
Iniziare a utilizzare Gemini (SDK Python) Utilizza l'API Gemini, che ti consente di accedere ai più recenti modelli linguistici di grandi dimensioni (LLM) di Google, con l'SDK Vertex AI per Python. |
|
| Gemini multimodale |
Casi d'uso multimodali con Gemini Gemini è un innovativo modello linguistico multimodale sviluppato dall'IA di Google, in grado di estrarre insight significativi da un'ampia gamma di formati di dati, tra cui immagini e video. Questo blocco note esplora vari casi d'uso con prompt multimodali. |
|
| Gemini |
Esegui il deployment di un'app Streamlit in Cloud Run con Gemini Pro App di esempio per eseguire il deployment di una semplice app chatbot utilizzando Streamlit su Cloud Run con Gemini Pro. |
|
| Generazione avanzata del recupero multimodale Gemini |
Estendendosi dai RAG, che vengono tradizionalmente eseguiti su dati di testo, questo blocco note mostra come eseguire RAG su dati multimodali per svolgere domande e risposte in un articolo scientifico contenente testo e immagini. |
|
| Gemini multimodale |
Utilizzare Gemini nel settore dell'istruzione Utilizzo del modello Gemini in ambito didattico, con vari esempi di prompt e in varie modalità, tra cui immagini e video. |
|
| Gemini multimodale |
Utilizzare Gemini per i consigli multimodali sulla vendita al dettaglio Nel mondo della vendita al dettaglio, i suggerimenti svolgono un ruolo fondamentale nell'influenzare le decisioni dei clienti e incrementare le vendite. In questo blocco note, imparerai a sfruttare la potenza della multimodalità per eseguire suggerimenti di retail per aiutare un cliente a scegliere la sedia migliore tra quattro immagini di sedie, in base a un'immagine del suo salotto. |
|
| Chiamate di funzione multimodali Gemini |
Introduzione alle chiamate di funzione con Gemini Utilizza il modello Gemini Pro per:
|
|
| Ottimizzazione |
Perfeziona i modelli di base con Vertex AI Descrivere l'intero processo di configurazione e integrazione. Dalla configurazione dell'ambiente alla selezione dei modelli di base, fino all'ottimizzazione con Vertex AI. |
|
| Valutazione |
Servizi di valutazione LLM di Vertex AI Utilizzare i servizi di valutazione LLM di Vertex AI in combinazione con altri servizi Vertex AI. |
|
| LangChain |
Esegui una catena LangChain e stampa i dettagli di ciò che accade in ogni passaggio della catena e con punti di interruzione di debug facoltativi. |
|
| Testo |
Formazione avanzata sulla tecnica del prompt Usa Chain of Thought e ReAct (Reasoning + Acting) per progettare prompt e ridurre le allucinazioni. |
|
| Incorporamenti |
Utilizza Vertex AI Embeddings per la ricerca multimodale e vettoriale Crea incorporamenti da testo a immagine utilizzando il set di dati DiffusionDB e il modello Vertex AI Embeddings per il modello multimodale. Gli incorporamenti vengono caricati sul servizio Vector Search, che è una soluzione su larga scala e a bassa latenza per trovare vettori simili per un corpus di grandi dimensioni. |
|
| Incorporamenti |
Ricerca semantica mediante incorporamenti Crea un incorporamento generato dal testo ed esegui una ricerca semantica. Gli incorporamenti vengono generati utilizzando Google ScaNN: Efficient Vector Similarity Search. |
|
| Valutazione |
Valutazione dei modelli LLM di Vertex AI e inferenza batch Valuta un modello linguistico di grandi dimensioni (LLM) end-to-end con Vertex AI. |
|
| Valutazione |
AutoSxS: valuta un LLM in Vertex AI Model Registry rispetto a un modello di terze parti Usa Vertex AI automatico fianco a fianco (AutoSxS) per valutare le prestazioni tra un modello di IA generativa nel registro dei modelli di Vertex AI e un modello linguistico di terze parti. |
|
| Valutazione |
Utilizza Vertex AI automatico affiancato (AutoSxS) per determinare il livello di allineamento tra l'autore della valutazione e i revisori umani. |
|
| Ottimizzazione |
Reinforcement Learning di Vertex AI tramite feedback umano Utilizza Vertex AI RLHF per ottimizzare un modello linguistico di grandi dimensioni (LLM). Questo flusso di lavoro migliora l'accuratezza di un modello perfezionando un modello di base con un set di dati di addestramento. |
|
| Incorporamenti |
Prova i nuovi modelli di incorporamento del testo. |
|
| Ottimizzazione |
Vertex AI - Ottimizzazione di un modello PEFT Ottimizza un modello linguistico di grandi dimensioni (LLM) PEFT ed esegui una previsione. Questo flusso di lavoro migliora l'accuratezza di un modello perfezionando un modello di base con un set di dati di addestramento. |
|
| Testo |
Utilizzare l'SDK Vertex AI con i modelli linguistici di grandi dimensioni (LLM) Usa l'SDK Vertex AI per eseguire modelli linguistici di grandi dimensioni su Vertex AI. Testa, ottimizza ed esegui il deployment di modelli linguistici di AI generativa. Inizia esplorando esempi di riepilogo dei contenuti, analisi del sentiment, chat, incorporamento di testo e ottimizzazione dei prompt. |
|
Conversazione di indicizzazione della ricerca nel datastore |
Strumento di controllo dello stato del datastore Vertex AI Search and Conversation Il controllo dello stato del datastore di Vertex AI Search and Conversation è un blocco note che utilizza l'API Cloud Discovery Engine per verificare la presenza di documenti indicizzati in un datastore. Consente all'utente di eseguire le seguenti attività:
|
|
Chirp riconoscimento vocale |
Inizia a utilizzare Chirp su Google Cloud Questo blocco note è un'introduzione a Chirp, un servizio di conversione della voce in testo che utilizza la tecnologia all'avanguardia di riconoscimento vocale di Google. Fornisce agli sviluppatori un'interfaccia semplice e intuitiva per la creazione di applicazioni vocali. |
|
Filtra ricerca metadati |
Vertex AI Search con filtri e metadati Vertex AI Search è un servizio completamente gestito che ti consente di creare applicazioni di ricerca ed eseguirne il deployment su Google Cloud. Questo blocco note mostra come utilizzare i filtri e i metadati nelle richieste di ricerca a Vertex AI Search. |
|
Generazione avanzata di domande e risposte dei documenti |
Domande e risposte su documenti con generazione aumentata di recupero Questo blocco note illustra come utilizzare Retrieval Augmented Generation (RAG) per creare un sistema di risposta alle domande per la documentazione di Google. Mostra come utilizzare RAG per generare un testo che risponda a una determinata domanda e come utilizzare RAG per migliorare le prestazioni di un sistema di risposta alle domande. |
|
Ricerca recupero generazione contratti |
Questo blocco note mostra come utilizzare la generazione aumentata di recupero per generare il testo del contratto. Utilizza i modelli Palm2 e LangChain, preaddestrati su grandi corpora di testo legale e finanziario. |
|
Ricerca LangChain con generazione di risposte potenziate alle domande |
Question answering sui documenti Questo blocco note mostra come fare domande e rispondere ai dati combinando un motore Vertex AI Search con gli LLM. In particolare, ci concentriamo sull'esecuzione di query su dati "non strutturati" come PDF e file HTML. Per eseguire questo blocco note devi aver creato un motore di ricerca non strutturato e importato al suo interno documenti PDF o HTML. |
|
Ricerca di risposte collettive alle domande su Vertex AI Search |
Risposta collettiva alle domande con Vertex AI Search Questo blocco note mostra come rispondere alle domande da un file CSV utilizzando un datastore Vertex AI Search. Può essere eseguito in Colab o Vertex AI Workbench. |
|
Orchestrazione della lingua LangChain PaLM |
Guida introduttiva a LangChain 🦜️🔗 + API PaLM Questo blocco note fornisce un'introduzione a LangChain, un framework di orchestrazione dei modelli linguistici. Mostra come utilizzare LangChain con l'API PaLM per creare ed eseguire il deployment di un modello di generazione da testo a testo. |
|
LangChain del caricatore dati BigQuery |
Come utilizzare il caricatore di dati BigQuery di LangChain 🦜️🔗 Questo blocco note illustra come utilizzare il caricatore di dati BigQuery di LangChain per caricare i dati da BigQuery in un modello LangChain. Il blocco note fornisce istruzioni dettagliate su come configurare il caricatore di dati, caricare i dati nel modello e addestrare il modello. |
|
Codice Codice di generazione di codice di recupero aumentato |
Utilizzare la generazione aumentata di recupero (RAG) con le API Codey Questo blocco note illustra come utilizzare Retrieval Augmented Generation (RAG) con le API Codey. RAG è una tecnica che combina il recupero del codice con la generazione del codice per produrre suggerimenti per il completamento del codice più accurati e informativi. |
|
Linguaggio di generazione di codice Codey |
Introduzione alle API Vertex AI Codey - Generazione del codice Questo blocco note fornisce un'introduzione alle API Vertex AI Codey per la generazione di codice. Illustra le nozioni di base sull'uso delle API, incluso come creare ed eseguire il deployment di modelli di generazione di codice e come utilizzarli per generare codice. |
|
Completamento del codice Generazione di codice |
Introduzione alle API Vertex AI Codey - Completamento del codice Questo blocco note mostra come utilizzare le API Vertex AI Codey per ottenere suggerimenti di completamento del codice per il codice Python. Illustra inoltre come utilizzare le API per generare snippet di codice ed eseguire snippet di codice in un ambiente remoto. |
|
Generazione di testi per chat di codice in Codey Chat |
Introduzione alle API Vertex AI Codey - Code Chat Questo blocco note è un'introduzione alle API Vertex AI Codey. Illustra le nozioni di base su come utilizzare le API, nonché come creare ed eseguire il deployment dei modelli e come interagire con loro utilizzando l'interfaccia a riga di comando di Codey. |
|
SDK Python per PaLM del linguaggio |
Iniziare a utilizzare l'API PaLM e l'SDK Python Questo blocco note fornisce un'introduzione all'API PaLM e all'SDK Python. Illustra le nozioni di base sull'utilizzo dell'API, incluso come creare ed eseguire il deployment di modelli e come usare l'API per generare testo, tradurre lingue e scrivere diversi tipi di contenuti creativi. |
|
Prompt di lingua |
Progettazione dei prompt - Best practice Questo blocco note fornisce un'introduzione alla progettazione dei prompt per modelli linguistici basati su testo. Descrive le nozioni di base dei prompt, compreso il loro funzionamento e la loro scrittura. Il blocco note fornisce anche suggerimenti su come migliorare i prompt ed evitare gli errori più comuni. |
|
Estrazione del testo |
Estrazione del testo con i modelli generativi su Vertex AI Questo blocco note mostra come utilizzare i modelli generativi per estrarre testo dalle immagini. Utilizza il modello da testo a immagine della libreria di IA generativa di Vertex AI e il modello di estrazione del testo dalla libreria di estrazione del testo di Vertex AI. |
|
Classificazione del testo |
Classificazione del testo con modelli generativi su Vertex AI Questo blocco note dimostra come utilizzare i modelli generativi per eseguire la classificazione del testo su Vertex AI. Tratta i seguenti argomenti: * Preparazione dei dati * Addestramento di un modello * Deployment di un modello * Utilizzo di un modello per classificare il testo |
|
Reazione Chain-of-Thought |
Questo blocco note presenta Chain of Thought e ReAct, due strumenti che possono essere utilizzati per migliorare le prestazioni degli algoritmi di apprendimento per rinforzo. Chain of Thought è una tecnica che può essere utilizzata per migliorare l'efficienza dell'iterazione del valore, mentre ReAct è una tecnica che può essere utilizzata per migliorare la stabilità degli algoritmi attore-critico. |
|
Ideazione dei prompt del linguaggio |
Ideazione con modelli generativi su Vertex AI Questo blocco note mostra come utilizzare i modelli generativi per generare testo, immagini e codice. Illustra inoltre come usare Vertex AI per il deployment e la gestione di modelli generativi. |
|
Riassunto |
Riassunto del testo con i modelli generativi su Vertex AI Questo blocco note mostra come utilizzare Vertex AI per addestrare ed eseguire il deployment di un modello di riassunto di un testo. Utilizza il modello BART, un modello linguistico di grandi dimensioni (LLM) preaddestrato su un enorme set di dati di testo. Il modello viene quindi perfezionato su un set di dati di riepiloghi di testo e può essere utilizzato per generare riassunti di nuovo testo. |
|
Risposta alle domande |
Question answering con i modelli generativi su Vertex AI Questo blocco note dimostra come utilizzare i modelli generativi per rispondere a domande aperte. Utilizza il modello Vertex AI Transformer per generare testo in base a una determinata domanda. |
|
Deployment dell'ottimizzazione del modello di base per la generazione di testi |
Ottimizzazione ed deployment di un modello di base Questo blocco note mostra come ottimizzare un modello di base utilizzando Vertex AI. Mostra inoltre come eseguire il deployment del modello ottimizzato su un endpoint Vertex AI. |
|
Riassunto del documento |
Riassunto testuale di documenti di grandi dimensioni Questo blocco note mostra come utilizzare il modello t5 di grandi dimensioni per riassumere documenti di grandi dimensioni. Il modello viene addestrato su un enorme set di dati di testo e codice e può generare riepiloghi precisi e concisi. |
|
Riassunto LangChain del documento |
Riassunto testuale di documenti di grandi dimensioni utilizzando LangChain 🦜🔗 Questo blocco note mostra come utilizzare il modello LangChain per riassumere documenti di grandi dimensioni. LangChain è un modello linguistico di grandi dimensioni (LLM) in grado di generare testo, tradurre lingue, scrivere diversi tipi di contenuti creativi e rispondere alle tue domande in modo informativo. |
|
Riassunto dei documenti Document AI Riassunto del modello linguistico Riassunto del testo |
Riassumi con documenti di grandi dimensioni utilizzando Document AI e le API PaLM Questo blocco note mostra come utilizzare le API Document AI e PaLM per riassumere documenti di grandi dimensioni. Mostra inoltre come utilizzare l'API Document AI per estrarre entità e frasi chiave da un documento. |
|
Generazione testo chatbot |
GroceryBot, un esempio di negozio di alimentari e assistente ricette - RAG + ReAct Questo blocco note riguarda un esempio di assistente per la preparazione di ricette e prodotti alimentari che utilizza RAG e ReAct. Può aiutarti a trovare ricette, creare liste della spesa e rispondere a domande sul cibo. |
|
LangChain del Documento per la risposta alle domande e il QA |
Risposta alle domande con documenti di grandi dimensioni utilizzando LangChain 🦜🔗 Questo blocco note mostra come utilizzare il modello LangChain per creare un sistema di risposta alle domande in grado di rispondere a domande su documenti lunghi. Il modello viene addestrato su un grande corpus di testo e può essere utilizzato per rispondere a domande su qualsiasi argomento. |
|
Ricerca vettoriale di LangChain con domande e risposte a documenti |
Question answering con Documenti che utilizzano LangChain 🦜️🔗 e Vertex AI Vector Search Questo blocco note illustra come utilizzare LangChain e Vertex AI Vector Search (in precedenza Matching Engine) per creare un sistema di risposta alle domande per i documenti. Il sistema può rispondere a domande su entità, date e numeri nei documenti. |
|
PaLM per la risposta alle domande su Document AI |
Question answering con Documenti utilizzando Document AI, Pandas e PaLM Questo blocco note mostra come utilizzare Document AI, Pandas e PaLM per creare un sistema di risposta alle domande. Prima utilizza Document AI per estrarre dati strutturati da un documento, quindi utilizza Pandas per creare un dataframe dai dati estratti e infine utilizza PaLM per generare risposte alle domande sui dati. |
|
QA di documenti per la risposta alle domande |
Risposta alle domande con documenti di grandi dimensioni Questo blocco note dimostra come utilizzare il servizio di question answering di Vertex AI per creare un modello di question answering in grado di rispondere a domande di documenti di grandi dimensioni. Il modello viene addestrato su un set di dati di articoli di Wikipedia e può rispondere a domande su una varietà di argomenti. |
|
Generazione di immagini |
Generatore della descrizione del prodotto dall'immagine Questo blocco note mostra come generare descrizioni dei prodotti a partire dalle immagini utilizzando un modello di testo a immagine. Il modello viene addestrato su un set di dati di immagini prodotto e descrizioni corrispondenti. |
|
Generazione LangChain per la vendita al dettaglio |
Questo blocco note illustra come utilizzare il modello LangChain per generare descrizioni di prodotto ottimizzate per la SEO per la vendita al dettaglio. Il modello prende come input un elenco di attributi del prodotto e restituisce una breve descrizione che mette in evidenza le caratteristiche chiave del prodotto. |
|
Generazione di testo BigQuery DataFrames |
BigQuery DataFrames ML: generazione di nomi farmacologici Questo blocco note illustra come utilizzare BigQuery DataFrames ML per generare nomi di farmaci. Utilizza un modello linguistico preaddestrato per generare il testo, quindi filtra i risultati per rimuovere i nomi di farmaci già in uso. |
|
Generazione di codice BigQuery DataFrames |
Utilizzare i DataFrame di BigQuery con l'IA generativa per la generazione di codice Questo blocco note illustra come utilizzare BigQuery DataFrames con l'IA generativa per la generazione di codice. Mostra come utilizzare un modello linguistico preaddestrato per generare codice che trasforma una tabella BigQuery in un DataFrame Pandas. |
|
Modello linguistico BigQuery |
Utilizzare gli LLM di Vertex AI con i dati in BigQuery Questo blocco note mostra come utilizzare gli LLM di Vertex AI con dati in BigQuery. Mostra come caricare dati da BigQuery, creare un modello LLM e quindi utilizzare il modello per generare testo basato sui dati. |
|
Visualizzazione di similitudine tra incorporamenti |
Questo blocco note mostra come visualizzare la somiglianza di incorporamento da documenti di testo utilizzando i diagrammi t-SNE. che utilizza un set di dati relativo alle recensioni di film provenienti dal [set di dati IMDB](https://dataset.imdbws.com/). |
|
Ricerca vettoriale di incorporamenti di testo |
Introduzione alle rappresentazioni distribuite di testo + Vertex AI Vector Search Questo blocco note fornisce un'introduzione agli incorporamenti di testo e a come utilizzarli con Vertex AI Vector Search. Descrive le nozioni di base degli incorporamenti di testo, nonché come addestrarli e utilizzarli per eseguire ricerche vettoriali. |
|
Ricerca vettoriale di incorporamenti |
Guida rapida di Vertex AI Vector Search Questo blocco note è una guida rapida per l'utilizzo di Vertex AI Vector Search. Descrive le nozioni di base della ricerca vettoriale, tra cui come creare un indice vettoriale, come caricare dati nell'indice e come eseguire query di ricerca vettoriale. |
|
Domande e risposte visive con le immagini Imagen |
Risposta visiva alle domande (VQA) con Imagen su Vertex AI Questo blocco note mostra come utilizzare Imagen per generare immagini che rispondono a determinate domande. Mostra inoltre come eseguire il deployment di un modello in Vertex AI e utilizzarlo per generare immagini in risposta alle domande fornite dagli utenti. |
|
Sottotitoli immagine Imagen |
Sottotitolaggio visivo con Imagen su Vertex AI Questo blocco note illustra come utilizzare Imagen, un modello linguistico di grandi dimensioni (LLM) per la generazione delle immagini, per generare didascalie per le immagini. Mostra inoltre come eseguire il deployment del modello su Vertex AI. |
Passaggi successivi
- Scopri di più sui modelli LLM, Vertex AI e PaLM con i tutorial sui blocchi note
- Esplora altre risorse nel repository GitHub di IA generativa
- Guarda altri tutorial su Vertex AI Notebooks nella panoramica dei tutorial