Daten mit Gemini vorbereiten

In diesem Dokument wird beschrieben, wie Sie SQL-Codevorschläge für die Datenaufbereitung in BigQuery generieren und verwalten.

Weitere Informationen finden Sie unter Einführung in die BigQuery-Datenaufbereitung.

Hinweise

• Gemini in BigQuery einrichten

• Weisen Sie die erforderlichen IAM-Rollen und -Berechtigungen (Identity and Access Management) zu.

Editor für die Datenvorbereitung in BigQuery öffnen

Sie können den Editor für die Datenvorbereitung in BigQuery öffnen, indem Sie eine neue Datenvorbereitung erstellen, eine aus einer vorhandenen Tabelle erstellen oder eine vorhandene Datenvorbereitung öffnen. Weitere Informationen dazu, was beim Erstellen einer Datenaufbereitung passiert, finden Sie unter Einstiegspunkte für die Datenaufbereitung.

Auf der Seite BigQuery haben Sie folgende Möglichkeiten, den Editor für die Datenvorbereitung aufzurufen:

Datenvorbereitungsschritte hinzufügen

Sie bereiten Daten in Schritten vor. Sie können sich von Gemini vorgeschlagene Schritte in der Vorschau ansehen oder übernehmen. Sie können die Vorschläge auch verbessern oder eigene Schritte anwenden.

Vorschläge von Gemini anwenden und verbessern

Wenn Sie den Editor für die Datenvorbereitung für Ihre Tabelle öffnen, untersucht Gemini die Daten und das Schema der geladenen Tabelle und generiert Vorschläge für Filter und Transformationen. Die Vorschläge werden auf Karten in der Liste Schritte angezeigt.

Das folgende Bild zeigt, wo Sie von Gemini vorgeschlagene Schritte anwenden und verbessern können:

So wenden Sie einen Vorschlag von Gemini als Schritt zur Datenaufbereitung an:

1. Klicken Sie in der Datenansicht auf einen Spaltennamen oder eine bestimmte Zelle. Gemini generiert Vorschläge zum Filtern und Transformieren der Daten.

2. Optional: Sie können die Vorschläge verbessern, indem Sie die Werte von ein bis drei Zellen in der Tabelle bearbeiten, um zu zeigen, wie die Werte in einer Spalte aussehen sollen. Geben Sie beispielsweise ein Datum so ein, wie Sie alle Datumsangaben formatieren möchten. Gemini generiert auf Grundlage Ihrer Änderungen neue Vorschläge.

   Das folgende Bild zeigt, wie Sie Werte bearbeiten können, um die von Gemini vorgeschlagenen Schritte zu verbessern:

   

3. Wählen Sie eine Vorschlagskarte aus.

   1. Optional: Wenn Sie sich eine Vorschau des Ergebnisses der Vorschlagskarte ansehen möchten, klicken Sie auf Vorschau.
   2. Optional: Wenn Sie die Vorschlagskarte in natürlicher Sprache bearbeiten möchten, klicken Sie auf Bearbeiten.

4. Klicken Sie auf Übernehmen.

Schritte mit natürlicher Sprache oder SQL-Ausdrücken hinzufügen

Wenn die vorhandenen Vorschläge nicht Ihren Anforderungen entsprechen, fügen Sie einen Schritt hinzu. Wählen Sie Spalten oder einen Schritttyp aus und beschreiben Sie dann in natürlicher Sprache, was Sie möchten.

Transformation hinzufügen

1. Wählen Sie in der Daten- oder Schemaansicht die Option Transformieren aus. Sie können auch Spalten auswählen oder Beispiele hinzufügen, damit Gemini die Datentransformation besser nachvollziehen kann.
2. Geben Sie im Feld Beschreibung einen Prompt ein, z. B. Convert the state column to uppercase.

3. Klicken Sie auf Senden Senden.

   Gemini generiert einen SQL-Ausdruck und eine neue Beschreibung basierend auf Ihrem Prompt.

4. Wählen Sie in der Liste Zielspalte einen Spaltennamen aus oder geben Sie einen ein.

5. Optional: Wenn Sie den SQL-Ausdruck aktualisieren möchten, überarbeiten Sie den Prompt und klicken Sie auf send Senden oder geben Sie manuell einen SQL-Ausdruck ein.

6. Optional: Klicken Sie auf Vorschau, um den Schritt zu überprüfen.

7. Klicken Sie auf Übernehmen.

JSON-Spalten vereinfachen

Sie können JSON-Daten aus einer Quelle während der Datenaufbereitung vereinfachen. Bei diesem Vorgang, der als „Vereinfachen“ bezeichnet wird, werden alle Schlüssel/Wert-Paare aus JSON-Spalten gleichzeitig extrahiert und in eigene Spalten in der Tabelle umgewandelt. Das ist hilfreich, wenn Sie komplexe JSON-Strukturen leichter analysieren oder mit anderen Daten kombinieren möchten.

Gemini for BigQuery schlägt Vorgänge vor, mit denen Felder nur aus der obersten Ebene des JSON extrahiert werden. Wenn diese extrahierten Felder weitere JSON-Objekte enthalten, können Sie sie in zusätzlichen Schritten reduzieren, um auf ihren Inhalt zuzugreifen.

1. Wählen Sie in der Datenansicht für eine JSON-Quelltabelle eine Spalte oder Zellen aus.
2. Klicken Sie auf Flatten, um Vorschläge zu generieren.
3. Optional: Wenn Sie den SQL-Ausdruck aktualisieren möchten, können Sie manuell einen SQL-Ausdruck eingeben.
4. Optional: Klicken Sie auf Vorschau, um den Schritt zu überprüfen.
5. Klicken Sie auf Übernehmen.

Das Zusammenführen von Daten hat folgende Auswirkungen:

• Die Option Flatten wird in der Datenansicht angezeigt, nachdem Sie Zellen oder Spalten mit JSON-Daten ausgewählt haben. Sie wird nicht standardmäßig angezeigt, wenn Sie auf Schritt hinzufügen klicken.
• Wenn ein JSON-Schlüssel in den ausgewählten Zeilen nicht vorhanden ist, enthält der generierte Vorschlag diesen Schlüssel nicht. Dieses Problem kann dazu führen, dass beim Reduzieren der Daten einige Spalten ausgelassen werden.
• Wenn Spaltennamen beim Reduzieren in Konflikt geraten, enden die wiederholten Spaltennamen in diesem Format: _<i>. Wenn es beispielsweise bereits eine Spalte mit dem Namen address gibt, lautet der Name der neuen zusammengeführten Spalte address_1.
• Für die Namen der zusammengeführten Spalten gelten die BigQuery-Namenskonventionen für Spalten.
• Wenn Sie das Feld für den JSON-Schlüssel leer lassen, ist das Standardformat für Spaltennamen f<i>_.

Zeilen filtern

So fügen Sie einen Filter hinzu, mit dem Zeilen entfernt werden:

1. Wählen Sie in der Daten- oder Schemaansicht die Option Filter aus. Sie können auch Spalten auswählen, damit Gemini Ihren Datenfilter besser versteht.
2. Geben Sie im Feld Beschreibung einen Prompt ein, z. B. Column ID should not be NULL.
3. Klicken Sie auf Erstellen. Gemini generiert einen SQL-Ausdruck und eine neue Beschreibung basierend auf Ihrem Prompt.
4. Optional: Wenn Sie den SQL-Ausdruck aktualisieren möchten, überarbeiten Sie den Prompt und klicken Sie auf send Senden oder geben Sie einen SQL-Ausdruck manuell ein.
5. Optional: Klicken Sie auf Vorschau, um den Schritt zu überprüfen.
6. Klicken Sie auf Übernehmen.

Format des Filterausdrucks

Mit SQL-Ausdrücken für Filter werden Zeilen beibehalten, die der angegebenen Bedingung entsprechen. Dies entspricht einer SELECT … WHERE SQL_EXPRESSION-Anweisung.

Wenn Sie beispielsweise Datensätze beibehalten möchten, in denen der Wert in der Spalte year größer oder gleich 2000 ist, lautet die Bedingung year >= 2000.

Ausdrücke müssen der BigQuery-SQL-Syntax für die WHERE-Klausel entsprechen.

Fehlertabelle konfigurieren und Validierungsregel hinzufügen

Sie können einen Filter hinzufügen, mit dem eine Validierungsregel erstellt wird, die Fehler an eine Fehlertabelle sendet oder die Ausführung der Datenvorbereitung fehlschlagen lässt.

Fehlertabelle konfigurieren

So konfigurieren Sie Ihre Fehlertabelle:

1. Klicken Sie im Editor für die Datenaufbereitung in der Symbolleiste auf Mehr> Fehlertabelle.
2. Klicken Sie auf Fehlertabelle aktivieren.
3. Definieren Sie den Speicherort der Tabelle.
4. Optional: Legen Sie eine maximale Dauer für das Beibehalten von Fehlern fest.
5. Klicken Sie auf Speichern.

Validierungsregel hinzufügen

So fügen Sie eine Validierungsregel hinzu:

1. Klicken Sie in der Daten- oder Schemaansicht auf die Option Filter. Sie können auch Spalten auswählen, damit Gemini Ihren Datenfilter besser versteht.
2. Geben Sie eine Beschreibung für den Schritt ein.
3. Geben Sie einen SQL-Ausdruck in Form einer WHERE-Klausel ein.
4. Optional: Wenn der SQL-Ausdruck als Validierungsregel dienen soll, klicken Sie das Kästchen Zeilen mit fehlgeschlagener Validierung werden an die Fehlertabelle gesendet an. Sie können einen Filter auch in der Symbolleiste für die Datenaufbereitung in eine Validierung ändern, indem Sie auf das Dreipunkt-Menü> Fehlertabelle klicken.
5. Optional: Klicken Sie auf Vorschau, um den Schritt zu überprüfen.
6. Klicken Sie auf Übernehmen.

Spalte löschen

So löschen Sie eine oder mehrere Spalten aus einer Datenaufbereitung:

1. Wählen Sie in der Daten- oder Schemadarstellung die Spalten aus, die Sie entfernen möchten.
2. Klicken Sie auf Ablegen. Für die gelöschten Spalten wird ein neuer angewendeter Schritt hinzugefügt.

Join-Vorgang mit Gemini hinzufügen

So fügen Sie einen Join-Vorgang zwischen zwei Quellen in der Datenaufbereitung hinzu:

1. Rufen Sie in der Datenansicht für einen Knoten in der Datenaufbereitung die Liste Vorschläge auf und klicken Sie auf die Option Zusammenführen.
2. Klicken Sie im Dialogfeld Join hinzufügen auf Durchsuchen und wählen Sie dann die andere Tabelle aus, die am Join-Vorgang beteiligt ist (als rechte Seite des Joins bezeichnet).
3. Optional: Wählen Sie den Typ des Join-Vorgangs aus, den Sie ausführen möchten, z. B. Inner Join.

4. Sehen Sie sich die von Gemini generierten Informationen zum Join-Schlüssel in den folgenden Feldern an:

   • Join description (Join-Beschreibung): Die Beschreibung des SQL-Ausdrucks für den Join-Vorgang in natürlicher Sprache. Wenn Sie diese Beschreibung bearbeiten und auf Senden Senden klicken, schlägt Gemini neue SQL-Join-Bedingungen vor.

   • Join-Bedingungen: Die SQL-Ausdrücke in der ON-Klausel für den Join-Vorgang. Mit den Qualifizierern L und R können Sie auf die linke bzw. rechte Quelltabelle verweisen. Wenn Sie beispielsweise die Spalte customer_id aus der linken Tabelle mit der Spalte customer_id aus der rechten Tabelle zusammenführen möchten, geben Sie L.customerId = R.customerId ein. Bei diesen Qualifizierern wird nicht zwischen Groß- und Kleinschreibung unterschieden.

5. Optional: Wenn Sie die Vorschläge von Gemini optimieren möchten, bearbeiten Sie das Feld Beschreibung für die Teilnahme und klicken Sie dann auf Senden Senden.

6. Optional: Wenn Sie sich eine Vorschau der Einstellungen für den Join-Vorgang Ihrer Datenaufbereitung ansehen möchten, klicken Sie auf Vorschau.

7. Klicken Sie auf Übernehmen.

   Der Schritt für die Join-Operation wird erstellt. Die von Ihnen ausgewählte Quelltabelle (die rechte Seite des Joins) und der Join-Vorgang werden in der Liste der angewendeten Schritte und in den Knoten in der Grafiksicht der Datenaufbereitung angezeigt.

Zieltabellen hinzufügen oder ändern

So fügen Sie eine Zieltabellen für die Ausgabe der Datenaufbereitung hinzu oder ändern sie:

1. Wählen Sie in der Daten- oder Schemaansicht die Option Ziel aus.
2. Wählen Sie das Projekt aus, in dem die Zieltabelle gespeichert ist.
3. Wählen Sie eines der Datasets aus oder laden Sie ein neues Dataset.
4. Geben Sie eine Zieltabelle ein. Wenn die Tabelle nicht vorhanden ist, wird bei der ersten Ausführung der Datenvorbereitung eine neue Tabelle erstellt. Weitere Informationen finden Sie unter Schreibmodus.
5. Wählen Sie Ihr Dataset als Zieldataset aus.
6. Klicken Sie auf Speichern.

Datenbeispiel und Schema für einen angewendeten Schritt ansehen

So rufen Sie Beispiel- und Schemadetails in einem bestimmten Schritt der Datenaufbereitung auf:

1. Rufen Sie im Editor für die Datenaufbereitung die Liste Schritte auf und klicken Sie auf Angewendete Schritte.
2. Wählen Sie einen Schritt aus. Die Tabs Daten und Schema werden angezeigt. Sie enthalten die Datenstichprobe und das Schema für diesen Schritt.

Angewendeten Schritt bearbeiten

So bearbeiten Sie einen angewendeten Schritt:

1. Rufen Sie im Editor für die Datenaufbereitung die Liste Schritte auf und klicken Sie auf Angewendete Schritte.
2. Wählen Sie einen Schritt aus.
3. Klicken Sie neben dem Schritt auf das more_vert > „Bearbeiten“.
4. Im Dialogfeld Angewendeten Schritt bearbeiten haben Sie folgende Möglichkeiten:
   • Bearbeiten Sie die Beschreibung des Schritts.
   • Sie können sich Vorschläge von Gemini anzeigen lassen, indem Sie die Beschreibung bearbeiten und auf Senden Senden klicken.
   • Bearbeiten Sie den SQL-Ausdruck.
5. Wählen Sie im Feld Zielspalte eine Spalte aus.
6. Optional: Klicken Sie auf Vorschau, um den Schritt zu überprüfen.
7. Klicken Sie auf Übernehmen.

Angewendeten Schritt löschen

So löschen Sie einen angewendeten Schritt:

1. Rufen Sie im Editor für die Datenaufbereitung die Liste Schritte auf und klicken Sie auf Angewendete Schritte.
2. Wählen Sie einen Schritt aus.
3. Klicken Sie auf das more_vert > Löschen.

Datenvorbereitung ausführen

Nachdem Sie die Datenvorbereitungsschritte hinzugefügt, das Ziel konfiguriert und alle Validierungsfehler behoben haben, können Sie Testläufe für eine Stichprobe der Daten ausführen oder die Schritte bereitstellen und Datenvorbereitungsläufe planen. Weitere Informationen finden Sie unter Datenvorbereitung planen.

Beispiele für die Datenvorbereitung aktualisieren

Die Daten in der Stichprobe werden nicht automatisch aktualisiert. Wenn sich die Daten in den Quelltabellen für die Datenaufbereitung geändert haben, die Änderungen aber nicht in der Datenstichprobe der Aufbereitung widergespiegelt werden, klicken Sie auf Mehr > Stichprobe aktualisieren.

Nächste Schritte

• Datenvorbereitung planen
• Weitere Informationen zum Verwalten von Datenaufbereitungen
• Kontingente und Limits für Gemini in BigQuery
• Preise für Gemini in BigQuery