Entwicklungsarbeitsbereich für Dataform erstellen

In diesem Dokument wird Folgendes erläutert:

Übersicht über Entwicklungsarbeitsbereiche

In Dataform interagieren Sie mit Ihrem Workflow-Code in einem Entwicklungsarbeitsbereich, der Ihre eigene bearbeitbare Kopie eines Repositorys ist. In einem Arbeitsbereich können Sie den Inhalt des Repositorys erstellen, bearbeiten oder löschen, ohne andere Nutzer zu beeinträchtigen, die im selben Repository arbeiten. Anschließend können Sie Ihre Änderungen committen und in das Repository übertragen.

Sie können Ihren Workflow mit Dataform Core oder JavaScript entwickeln. Dataform kompiliert Ihren Code in Echtzeit in SQL-Abfragen.

In einem Entwicklungsarbeitsbereich können Sie folgende Aufgaben ausführen:

Komponenten eines Entwicklungsarbeitsbereichs

Ein Dataform-Entwicklungsarbeitsbereich besteht aus den Tabs, die in den folgenden Abschnitten beschrieben werden.

Tab „Code“

Auf dem Tab Code können Sie die Entwicklungsumgebung verwenden, um Dateien zu untersuchen, Abfragen zu entwickeln, Änderungen zu verwalten und die Ausführung in BigQuery auszulösen. Der Tab enthält die folgenden Komponenten, mit denen Sie Workflows entwickeln können:

  • Bereich Dateien: Hier wird die Dateistruktur Ihres Arbeitsbereichs angezeigt. Änderungen an der Dateistruktur werden automatisch gespeichert. Ausgewählte Dateien werden auf den Tabs des Entwicklerbereichs geöffnet. Im Feld Type to search (Zur Suche eingeben) können Sie nach Dateien oder Verzeichnissen in Ihrem Arbeitsbereich anhand ihres Pfads suchen.
  • Bereich Versionsverwaltung: Hier wird der Status der Versionsverwaltung für Ihren Arbeitsbereich und die Optionen für die Versionsverwaltung angezeigt.
  • Bereich Entwicklung: Hier werden geöffnete Dateien auf Tabs angezeigt. Änderungen an bearbeiteten Dateien werden automatisch gespeichert.
  • Schaltfläche Ausführen: Hiermit wird eine Vorschau der kompilierten SQL-Abfrage ausgeführt.
  • Schaltfläche Formatieren: Formatiert Ihren Dataform Core- oder JavaScript-Code.
  • Kompilierungsstatus: Hier wird der Kompilierungsstatus des Codes in Ihrem Arbeitsbereich angezeigt.
  • Bereich Metadaten: Hier werden die Metadaten der bearbeiteten Datei angezeigt.
  • Bereich Kompilierte Abfragen: Die Abfragen in der bearbeiteten Datei werden in SQL kompiliert. Wenn die Abfragekompilierung fehlschlägt, werden im Bereich die Kompilierungsfehler angezeigt. Wenn die Abfragekompilierung erfolgreich ist, werden im Bereich die kompilierten Abfragen angezeigt und durch Probeläufe in BigQuery validiert. Wenn die Abfragevalidierung fehlschlägt, werden im Bereich die Validierungsfehler angezeigt. Wenn die Abfragevalidierung erfolgreich ist, wird im Bereich angezeigt, wie viele Byte bei der Ausführung der Abfragen in BigQuery verwendet würden.
  • Menü Ausführung starten: Hier werden die Optionen zum Auslösen der Ausführung des gesamten Workflows in Ihrem Arbeitsbereich oder der ausgewählten Elemente angezeigt.

Tab für kompiliertes Diagramm

Auf dem Tab Kompilierter Graph sehen Sie den in Ihrem Arbeitsbereich definierten kompilierten Workflow als interaktiven gerichteten azyklischen Graphen (Directed Acyclic Graph, DAG). Das Diagramm zeigt alle Aktionen in Ihrem Workflow und die Beziehungen zwischen ihnen. Wenn in Ihrem Workflow Kompilierungsfehler auftreten, wird auf dem Tab anstelle des Diagramms eine Fehlermeldung angezeigt.

Sie können im Diagramm heran- und herauszoomen und Drag-and-drop-Navigation verwenden.

Sie können das Diagramm nach den folgenden Attributen filtern:

  • Name
  • Tag
  • Typ
    • Assertion
    • Deklaration
    • Inkrementelle Tabelle
    • Materialisierte Ansicht
    • Vorgänge
    • Tabelle
    • Unbekannt
    • Ansehen

Sie können mehrere Filter gleichzeitig auswählen. Dataform wendet sie mit der Bedingung OR an.

Wenn Sie im Diagramm auf eine Aktion klicken, werden die zugehörigen Details in den folgenden Bereichen angezeigt:

  • Bereich Metadaten: Hier werden der vollständige Name, der Typ, die Abhängigkeiten und die abhängigen Elemente der ausgewählten Aktion angezeigt.
  • Bereich Abfrage: Hier wird die kompilierte SQL-Abfrage der ausgewählten Aktion angezeigt.

Tab „Ausführungen“

Auf diesem Tab werden die Logs aller Ausführungen angezeigt, die im Arbeitsbereich ausgelöst wurden. Sie können sich auch Aktionen und ihre Details für eine ausgewählte Ausführung ansehen. Weitere Informationen finden Sie unter Ausführungslogs überwachen.

Versionskontrolle in einem Arbeitsbereich

In einem Arbeitsbereich interagieren Sie über die Git-basierte Versionsverwaltung mit dem Repository. Änderungen, die Sie an Dateien in Ihrem Arbeitsbereich vornehmen, beginnen als nicht übertragene lokale Änderungen, die Sie übertragen und dann in Ihr Repository übertragen können, damit sie für alle Repository-Nutzer verfügbar werden.

Wenn Ihr Repository mit einem Remote-Git-Anbieter verbunden ist, übertragen Sie Änderungen aus Ihrem Arbeitsbereich an Ihren Hauptentwicklungszweig. Sie wählen den Hauptzweig aus, wenn Sie Ihr Repository mit dem Remote-Git-Anbieter verbinden. In einem nicht verbundenen Dataform-Repository übertragen Sie Änderungen per Push an den Standardzweig.

Sie können auch alle Änderungen aus dem Dataform-Repository oder dem Remote-Repository abrufen und mit lokalen Änderungen in Ihrem Entwicklungsarbeitsbereich zusammenführen. Weitere Informationen zur Versionsverwaltung in Dataform finden Sie unter Code verwalten.

Hinweise

Erstellen Sie ein Dataform-Repository, falls noch nicht geschehen.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Dataform Editor (roles/dataform.editor) für Arbeitsbereiche zuzuweisen, damit Sie die Berechtigungen erhalten, die Sie zum Erstellen, Initialisieren und Löschen eines Entwicklungsarbeitsbereichs benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Entwicklungsarbeitsbereich für Dataform erstellen

Wenn Sie zum ersten Mal einen Entwicklungsarbeitsbereich in einem neuen Repository erstellen, werden Sie von Dataform aufgefordert, den Entwicklungsarbeitsbereich mit einer Reihe von Konfigurationsdateien zu initialisieren, die für die Funktion von Dataform erforderlich sind.

Ein initialisierter Entwicklungsarbeitsbereich enthält die folgenden Verzeichnisse und Dateien:

  • definitions/: Ein Verzeichnis für Asset-Definitionen in Dataform Core oder JavaScript.

  • includes/: Ein leeres Verzeichnis für Skripts und Variablen, die Sie im gesamten Repository wiederverwenden können.

  • workflow_settings.yaml: Die Dataform-Standardkonfigurationsdatei mit der Google Cloud Projekt-ID und dem BigQuery-Schema, in dem Assets veröffentlicht werden sollen. Sie können die Standardeinstellungen überschreiben, um sie an Ihre Bedürfnisse anzupassen. Das ist jedoch nicht erforderlich, um mit Dataform zu beginnen.

  • package.json: Die Standardkonfigurationsdatei für Dataform-Abhängigkeiten mit der neuesten Version von @dataform/core. Sie können diese Datei verwenden, um Pakete zu importieren.

  • definitions/sample.sqlx: Eine SQLX-Beispieldatei, die Ihnen den Einstieg erleichtern soll.

So erstellen Sie einen neuen Dataform-Entwicklungsarbeitsbereich:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Wählen Sie das Repository aus, in dem Sie den neuen Entwicklungsarbeitsbereich erstellen möchten.

  3. Klicken Sie auf der Repository-Seite auf Entwicklungsarbeitsbereich erstellen.

  4. Führen Sie im Fenster Entwicklungsarbeitsbereich erstellen die folgenden Schritte aus:

    1. Geben Sie im Feld Workspace-ID eine eindeutige ID für den Entwickler-Workspace ein.

      IDs dürfen nur Ziffern, Buchstaben, Bindestriche und Unterstriche enthalten.

    2. Klicken Sie auf Erstellen.

Arbeitsbereich in einem Dataform-Repository initialisieren

So initialisieren Sie einen Dataform-Entwicklungsarbeitsbereich:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Wählen Sie das Repository aus, in dem Sie den leeren Arbeitsbereich initialisieren möchten.

  3. Klicken Sie auf dem Tab Entwicklungsarbeitsbereiche auf den Namen des leeren Arbeitsbereichs, den Sie initialisieren möchten.

  4. Klicken Sie auf der Seite des Entwicklungsarbeitsbereichs auf Arbeitsbereich initialisieren.

Dataform-Arbeitsbereich löschen

Für das Erstellen von Entwicklungsarbeitsbereichen für Dataform fallen keine Kosten an. Wenn Sie jedoch einen Entwicklungsarbeitsbereich löschen möchten, gehen Sie so vor:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Wählen Sie das Repository aus, das den Arbeitsbereich enthält, den Sie löschen möchten.

  3. Um zu vermeiden, dass nicht übertragene Änderungen gelöscht werden, übertragen Sie Änderungen per Commit in Ihr Git-Repository.

  4. Wählen Sie auf dem Tab Entwicklungsarbeitsbereiche den Entwicklungsarbeitsbereich aus, den Sie löschen möchten, und klicken Sie dann auf Ausgewählte Arbeitsbereiche löschen.

    Sie können mehrere Arbeitsbereiche gleichzeitig löschen.

  5. Klicken Sie zur Bestätigung auf Löschen.

Nächste Schritte