Benutzerdefinierte Einbettungen verwenden

Wenn Sie bereits benutzerdefinierte Vektoreinbettungen für Ihre Daten erstellt haben, können Sie sie in Vertex AI Search hochladen und bei Abfragen mit Vertex AI Search verwenden.

Diese Funktion ist für Datenspeicher mit benutzerdefinierten strukturierten Daten oder unstrukturierten Daten mit Metadaten verfügbar. Diese Funktion ist nicht für die Suche nach Medien und im Gesundheitswesen verfügbar.

Standardmäßig generiert Vertex AI Search automatisch Vektoreinbettungen, ohne dass eine Konfiguration erforderlich ist. Wenn Sie sich mit dem Erstellen von Einbettungen nicht auskennen, empfiehlt Google, dass Vertex AI Search Einbettungen für Sie erstellt und verwendet. Wenn Sie jedoch eigene Einbettungen für Ihre Daten erstellt haben, möchten Sie diese möglicherweise anstelle der von Vertex AI Search generierten Einbettungen verwenden. Das ist insbesondere dann sinnvoll, wenn Ihre benutzerdefinierten Einbettungen zusätzlichen Kontext enthalten, der die Suche und das Ranking verbessern kann. Beispiel:

• Ihre Einbettungen wurden mit benutzerdefinierten Wörtern trainiert, z. B. internen Begriffen, deren semantische Ähnlichkeit nicht durch das Training mit öffentlichen Daten erfasst würde. Das können beispielsweise organisationsspezifische Begriffe sein, die nur in privaten Dokumenten vorkommen.
• Sie haben Einbettungen für Nutzerprofile erstellt und möchten diese verwenden, um ein personalisiertes, semantisch relevantes Dokumentranking zu erstellen. Sie können Ihre Einbettungen verwenden, um eine personalisierte Rangfolge zu erhalten, die die Dokumenteinbettungen von Google für die relevanzbasierte Rangfolge ergänzen kann.

So verwenden Sie Ihre eigenen Einbettungen:

1. Vorbereitung: Prüfen Sie, ob Ihre Einbettungen alle Anforderungen erfüllen.
2. Daten mit Einbettungen aufnehmen: Nehmen Sie Ihre Dokumente mit ihren Einbettungen auf.
3. Schema aktualisieren: Aktualisieren Sie Ihr Schema mit den Feldern für die wichtigsten Attribute und Dimensionsspezifikationen.
4. Einbettung angeben: Geben Sie die Einbettung entweder global oder pro Suchanfrage an.

Hinweise

Bevor Sie beginnen, sollten Sie prüfen, ob Ihre Einbettungen die folgenden Anforderungen erfüllen:

• Einbettungen werden für strukturierte Daten und unstrukturierte Daten mit Metadaten unterstützt.
• Einbettungen müssen als eindimensionale Arrays angegeben werden
• Die Einbettungsdimensionalität muss zwischen 1 und 768 (einschließlich) liegen.
• Einbettungen werden für Text und Bilder unterstützt. Videos werden nicht unterstützt
• Es können bis zu zwei Felder als wichtige Felder für den Einbettungsschlüssel getaggt werden. Sie können zwei Felder für Fälle wie A/B-Tests für Ihre Einbettungen verwenden.
• Die Schlüsselattribute für Einbettungsfelder können derzeit nicht entfernt werden, nachdem sie festgelegt wurden.

Daten mit Einbettungen aufnehmen

Sie können die Einbettungen eines Dokuments in ein bis zwei Feldern aufnehmen, die während der Dokumentaufnahme als Teil der Daten oder Metadaten dieses Dokuments enthalten sind.

So nehmen Sie Daten mit Einbettungen auf:

1. Bereiten Sie Ihre Daten je nach Datentyp für die Aufnahme vor:

   • Strukturierte Daten: Wenn Sie Ihre Daten vorbereiten, fügen Sie die Einbettungen der einzelnen Dokumente als eindimensionale Arrays in ein bis zwei Feldern im Dokument ein. Sie können bis zu zwei Einbettungen angeben, z. B. für A/B-Tests. Jede Einbettung muss in einem eigenen Feld im Dokument angegeben werden, z. B.: "example_embedding_vector": [0.1, 0.2, 0.3 ...]

     Folgen Sie der Anleitung zum Vorbereiten strukturierter Daten in der Dokumentation Daten für die Aufnahme vorbereiten.

   • Unstrukturierte Daten mit Metadaten: Wenn Sie Ihre Daten vorbereiten, fügen Sie die Einbettung jedes Dokuments als eindimensionales Array in ein Feld in den Dokumentmetadaten ein. Sie können bis zu zwei Einbettungen bereitstellen, z. B. für A/B-Tests zwischen Einbettungen. Jede Einbettung muss in einem eigenen Feld in den Dokumentmetadaten angegeben werden, z. B.: "example_embedding_vector": [0.1, 0.2, 0.3 ...]

     Folgen Sie der Anleitung zum Vorbereiten unstrukturierter Daten mit Metadaten für Ihre Aufnahmemethode (Cloud Storage oder BigQuery) in der Dokumentation Daten für die Aufnahme vorbereiten.

2. Folgen Sie der Anleitung für Ihren Datentyp unter Suchdatenspeicher erstellen, um Ihre Dokumente mit Einbettungen aufzunehmen.

Aktualisieren Sie als Nächstes Ihr Schema, damit die richtigen Einbettungsfelder verwendet werden.

Schema aktualisieren

Aktualisieren Sie Ihr Schema mit Schlüsselattributzuordnungen und Dimensionen für Ihre Einbettungsfelder. Verwenden Sie dazu entweder die Google Cloud -Konsole oder die API.

Geben Sie als Nächstes das Einbettungselement an.

Einbettung angeben

Nachdem die Indexierung aus Ihrer Schemaaktualisierung abgeschlossen ist, können Sie Suchanfragen mit einer Einbettungsspezifikation senden.

Es gibt zwei Möglichkeiten, ein Embedding anzugeben:

• Einbettung global angeben: Wenn Sie für alle Suchanfragen dieselbe Einbettung angeben möchten, aktualisieren Sie Ihre Bereitstellungseinstellungen, um eine Einbettungsspezifikation mit der Google Cloud -Konsole oder der API einzuschließen.
• Einbettung pro Suchanfrage angeben: Senden Sie embeddingSpec in jeder Suchanfrage über die API. Dadurch wird die globale Einstellung überschrieben, sofern sie festgelegt ist.

Einbettung global angeben

Sie können dasselbe Embedding für alle Suchanfragen über dieGoogle Cloud Console oder die API angeben.

Einbettung pro Suchanfrage angeben

Sie können eine Einbettungsspezifikation für eine einzelne Suchanfrage über die API bereitstellen. Eine Einbettungsspezifikation pro Anfrage überschreibt jede globale Einbettungsspezifikation.

1. Senden Sie eine Suchanfrage, die embeddingSpec enthält.

   Im folgenden Beispiel für embeddingSpec werden Einbettungen im Feld example_embedding_field verwendet, „Beispielanfrage“ als Eingabevektor angegeben und beim Berechnen des Rankings ein Gewicht von 0,5 für relevance_score und 0,3 für example_embedding_field festgelegt.

     "embeddingSpec": {
       "embeddingVectors": [{
         "fieldPath": "example_embedding_field",
         "vector": [
           0.96241474,
           -0.45999944,
           0.108588696
         ]
       }]
     },
     "ranking_expression": "0.5 * relevance_score + 0.3 * dotProduct(example_embedding_field)"
   

   • fieldPath: Der Name des Felds, das Sie der Eigenschaft „Einbettungsschlüssel“ zugeordnet haben.
   • vector: Der als Array bereitgestellte Eingabevektor.

   • ranking_expression: Steuert die Rangfolge der Ergebnisse. Variablen werden entsprechend dem eingegebenen Ausdruck gewichtet. Der Ranking-Ausdruck ist eine einzelne Funktion oder mehrere Funktionen, die durch + im Format function, { " + ", function } verbunden sind.

     Unterstützte Funktionen:

     • DOUBLE * relevance_score
     • DOUBLE * dotProduct(EMBEDDING_FIELD_PATH)

     Die folgenden Variablen werden akzeptiert:

     • relevance_score: Eine vordefinierte Variable, die von Vertex AI Search bereitgestellt wird, um die Relevanz eines Dokuments zu messen. Der Wert liegt zwischen 0 und 1, einschließlich der Grenzwerte.
     • dotProduct(): Eine vordefinierte Funktion, die von Vertex AI Search bereitgestellt wird. Sie müssen dieser Funktion denselben Feldnamen wie für embeddingVector.fieldPath bereitstellen.

     Beispiel:

     • 0.3 * relevance_score
     • 0.5 * relevance_score + 0.3 * dotProduct(example_embedding_field)

2. Ergebnisse in der Antwort auf die Suchanfrage erhalten. Jedes Suchergebnis enthält den Relevanzwert und die Werte des Skalarprodukts. Beispiel:

   "modelScores": {
     "dotProduct(example_embedding_field)": [0.02150772698223591],
     "relevance_score": [ 0.8828125 ]
   }
   

   • dotProduct(): Das berechnete Skalarprodukt für das Suchergebnisdokument.
   • relevance_score: Der berechnete Relevanzwert für das Suchergebnisdokument.

Nächste Schritte

• Daten für die Aufnahme vorbereiten
• Schema aktualisieren
• Suchergebnisse in der Vorschau ansehen
• Um die Auswirkungen benutzerdefinierter Einbettungen auf die Suchqualität einer benutzerdefinierten Suchanwendung zu verstehen, müssen Sie die Suchqualität bewerten. Weitere Informationen finden Sie unter Suchqualität bewerten.