Utilizza embedding personalizzati

Se hai già creato i tuoi incorporamenti vettoriali personalizzati per i tuoi dati, puoi caricarli su Vertex AI Search e utilizzarli quando esegui query con Vertex AI Search.

Questa funzionalità è disponibile per i datastore con dati strutturati personalizzati o dati non strutturati con metadati. Questa funzionalità non è disponibile per la ricerca di contenuti multimediali e servizi sanitari.

Per impostazione predefinita, Vertex AI Search genera automaticamente gli embedding vettoriali senza alcuna configurazione necessaria. Se non hai familiarità con la creazione di incorporamenti, Google consiglia di lasciare che Vertex AI Search crei e utilizzi gli incorporamenti per te. Tuttavia, se hai creato i tuoi incorporamenti per i tuoi dati, potresti preferire utilizzarli anziché quelli generati da Vertex AI Search, soprattutto se i tuoi incorporamenti personalizzati contengono un contesto aggiuntivo che può arricchire il recupero e il ranking della ricerca. Ad esempio:

• I tuoi incorporamenti sono stati addestrati su parole personalizzate, come termini interni la cui somiglianza semantica non verrebbe acquisita dall'addestramento su dati pubblici, ad esempio termini specifici dell'organizzazione che compaiono solo in documenti privati.
• Hai creato incorporamenti per i profili utente e vuoi utilizzarli per creare una classifica dei documenti personalizzata e semanticamente pertinente. Puoi utilizzare i tuoi incorporamenti per ottenere una classificazione basata sulla personalizzazione, che può aumentare gli incorporamenti di documenti di Google per la classificazione basata sulla pertinenza.

Per utilizzare i tuoi incorporamenti:

1. Prima di iniziare: verifica che gli incorporamenti soddisfino tutti i requisiti
2. Importa i dati con gli incorporamenti: importa i documenti con i relativi incorporamenti
3. Aggiorna lo schema: aggiorna lo schema con i campi delle proprietà chiave e le specifiche delle dimensioni
4. Specifica l'incorporamento: specifica l'incorporamento a livello globale o per richiesta di ricerca.

Prima di iniziare

Prima di iniziare, assicurati che gli incorporamenti soddisfino i seguenti requisiti:

• Gli incorporamenti sono supportati per i dati strutturati e non strutturati con metadati.
• Gli incorporamenti devono essere forniti come array unidimensionali
• La dimensionalità dell'incorporamento deve essere compresa tra 1 e 768 inclusi.
• Gli incorporamenti sono supportati per testo e immagini. I video non sono supportati
• È possibile taggare fino a due campi come campi delle proprietà chiave di incorporamento. Potresti utilizzare due campi per casi come i test A/B per i tuoi incorporamenti
• Al momento, le designazioni delle proprietà chiave dei campi di incorporamento non possono essere rimosse dopo l'impostazione

Importare dati con incorporamenti

Puoi importare gli incorporamenti di un documento in uno o due campi inclusi nei dati o nei metadati del documento durante l'importazione.

Per importare dati con incorporamenti:

1. Prepara i dati per l'importazione a seconda del tipo di dati:

   • Dati strutturati: quando prepari i dati, includi gli incorporamenti di ogni documento come array unidimensionali in uno o due campi del documento. Puoi fornire fino a due incorporamenti (ad esempio, se test A/B tra incorporamenti). Ogni incorporamento deve essere fornito nel proprio campo nel documento, ad esempio: "example_embedding_vector": [0.1, 0.2, 0.3 ...]

     Segui le indicazioni per preparare i dati strutturati nella documentazione Preparare i dati per l'importazione.

   • Dati non strutturati con metadati: quando prepari i dati, includi l'incorporamento di ogni documento come array unidimensionale in un campo nei metadati del documento. Puoi fornire fino a due incorporamenti (ad esempio, quando esegui un test A/B tra incorporamenti). Ogni incorporamento deve essere fornito nel proprio campo nei metadati del documento, ad esempio: "example_embedding_vector": [0.1, 0.2, 0.3 ...]

     Segui le indicazioni per preparare i dati non strutturati con i metadati per il tuo metodo di importazione (Cloud Storage o BigQuery) nella documentazione Preparare i dati per l'importazione.

2. Segui le istruzioni per il tuo tipo di dati in Creare un datastore di ricerca per importare i documenti con gli incorporamenti.

Successivamente, aggiorna lo schema per utilizzare i campi di incorporamento corretti.

Aggiornare lo schema

Aggiorna lo schema con i mapping delle proprietà chiave e le dimensioni per i campi di incorporamento utilizzando la console Google Cloud o l'API.

Poi, specifica l'incorporamento.

Specifica l'incorporamento

Una volta completata l'indicizzazione dall'aggiornamento dello schema, puoi inviare richieste di ricerca che includono una specifica di incorporamento.

Esistono due modi per specificare un incorporamento:

• Specifica un incorporamento a livello globale: per specificare lo stesso incorporamento per tutte le richieste di ricerca, aggiorna le impostazioni di pubblicazione in modo da includere una specifica di incorporamento utilizzando la console Google Cloud o l'API.
• Specifica un embedding per ogni richiesta di ricerca: invia embeddingSpec in ogni richiesta di ricerca utilizzando l'API. Questa impostazione sostituisce l'impostazione globale, se è impostata.

Specificare un embedding a livello globale

Puoi specificare lo stesso embedding in tutte le richieste di ricerca utilizzando la consoleGoogle Cloud o l'API.

Specificare un embedding per richiesta di ricerca

Puoi fornire una specifica di incorporamento per una singola richiesta di ricerca utilizzando l'API. Una specifica di incorporamento per richiesta sostituisce qualsiasi specifica di incorporamento globale.

1. Invia una richiesta di ricerca che includa embeddingSpec.

   Il seguente esempio di embeddingSpec utilizza gli incorporamenti nel campo example_embedding_field, specifica "Query di esempio" come vettore di input e assegna un peso di 0,5 a relevance_score e di 0,3 a example_embedding_field durante il calcolo del ranking.

     "embeddingSpec": {
       "embeddingVectors": [{
         "fieldPath": "example_embedding_field",
         "vector": [
           0.96241474,
           -0.45999944,
           0.108588696
         ]
       }]
     },
     "ranking_expression": "0.5 * relevance_score + 0.3 * dotProduct(example_embedding_field)"
   

   • fieldPath: il nome del campo che hai mappato alla proprietà della chiave di incorporamento.
   • vector: il vettore di input fornito come array.

   • ranking_expression: controlla il ranking dei risultati. Le variabili vengono ponderate in base all'espressione che inserisci. L'espressione di ranking è una singola funzione o più funzioni unite da + nel formato function, { " + ", function }.

     Le funzioni supportate sono:

     • DOUBLE * relevance_score
     • DOUBLE * dotProduct(EMBEDDING_FIELD_PATH)

     Sono accettate le seguenti variabili:

     • relevance_score: una variabile predefinita fornita da Vertex AI Search per misurare la pertinenza di un documento. Il punteggio va da 0 a 1, limiti inclusi.
     • dotProduct(): una funzione predefinita fornita da Vertex AI Search. Devi fornire lo stesso nome campo a questa funzione come hai fatto per embeddingVector.fieldPath.

     Ad esempio:

     • 0.3 * relevance_score
     • 0.5 * relevance_score + 0.3 * dotProduct(example_embedding_field)

2. Ricevi i risultati nella risposta di ricerca. Ogni risultato di ricerca include il relativo punteggio di pertinenza e i valori del prodotto scalare. Ad esempio:

   "modelScores": {
     "dotProduct(example_embedding_field)": [0.02150772698223591],
     "relevance_score": [ 0.8828125 ]
   }
   

   • dotProduct(): Il prodotto scalare calcolato per il documento del risultato di ricerca.
   • relevance_score: il punteggio di pertinenza calcolato per il documento dei risultati di ricerca.

Passaggi successivi

• Preparare i dati per l'importazione.
• Aggiorna uno schema.
• Visualizzare l'anteprima dei risultati di ricerca.
• Per comprendere l'impatto degli incorporamenti personalizzati sulla qualità della ricerca di un'app di ricerca personalizzata, valuta la qualità della ricerca. Per maggiori informazioni, consulta la pagina Valutare la qualità della ricerca.