Diese Seite wurde von der Cloud Translation API übersetzt.

Pipelines verwalten

In diesem Dokument wird beschrieben, wie Sie BigQuery-Pipelines verwalten, einschließlich der Planung und des Löschens von Pipelines.

In diesem Dokument wird auch beschrieben, wie Sie Pipeline-Metadaten in Dataplex Universal Catalog aufrufen und verwalten.

Pipelines basieren auf Dataform.

Hinweise

BigQuery-Pipeline erstellen
Wenn Sie Pipeline-Metadaten in Dataplex Universal Catalog verwalten möchten, muss die Dataplex API in Ihrem Google Cloud Projekt aktiviert sein.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwaltung von Pipelines benötigen:

So löschen Sie Pipelines: Dataform Admin (roles/dataform.Admin) für die Pipeline
So rufen Sie Pipelines auf und führen sie aus: Dataform-Betrachter (roles/dataform.Viewer) für das Projekt

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Wenn Sie Pipeline-Metadaten in Dataplex Universal Catalog verwalten möchten, benötigen Sie die erforderlichen Dataplex Universal Catalog-Rollen.

Weitere Informationen zu Dataform IAM finden Sie unter Zugriff mit IAM steuern.

Alle Pipelines ansehen

So rufen Sie eine Liste aller Pipelines in Ihrem Projekt auf:

Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

BigQuery aufrufen
Klicken Sie im Bereich Explorer auf und maximieren Sie Pipelines.

Bisherige manuelle Ausführungen ansehen

So rufen Sie die letzten manuellen Ausführungen einer ausgewählten Pipeline auf:

Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

BigQuery aufrufen
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Pipelines und wählen Sie dann eine Pipeline aus.
Klicken Sie auf Ausführungen.
Optional: Klicken Sie auf Aktualisieren, um die Liste der letzten Ausführungen zu aktualisieren.

Benachrichtigungen für fehlgeschlagene Pipelineausführungen konfigurieren

Jede Pipeline hat eine entsprechende Dataform-Repository-ID. Jede Ausführung einer BigQuery-Pipeline wird in Cloud Logging mit der entsprechenden Dataform-Repository-ID protokolliert. Mit Cloud Monitoring können Sie Trends in Cloud Logging-Logs für BigQuery-Pipelineausführungen beobachten und sich benachrichtigen lassen, wenn von Ihnen beschriebene Bedingungen auftreten.

Wenn Sie Benachrichtigungen erhalten möchten, wenn ein BigQuery-Pipeline-Lauf fehlschlägt, können Sie eine protokollbasierte Benachrichtigungsrichtlinie für die entsprechende Dataform-Repository-ID erstellen. Eine Anleitung finden Sie unter Benachrichtigungen für fehlgeschlagene Workflowaufrufe konfigurieren.

So finden Sie die Dataform-Repository-ID Ihrer Pipeline:

Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

BigQuery aufrufen
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Pipelines und wählen Sie dann eine Pipeline aus.
Klicken Sie auf Einstellungen.

Die Dataform-Repository-ID Ihrer Pipeline wird unten auf dem Tab Einstellungen angezeigt.

Pipeline löschen

So löschen Sie eine Pipeline endgültig:

Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

BigQuery aufrufen
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Pipelines. Suchen Sie die Pipeline, die Sie löschen möchten.
Klicken Sie neben der Pipeline auf Aktionen ansehen und dann auf Löschen.
Klicken Sie auf Löschen.

Metadaten in Dataplex Universal Catalog verwalten

Mit Dataplex Universal Catalog können Sie Metadaten für Pipelines speichern und verwalten. Pipelines sind standardmäßig ohne zusätzliche Konfiguration in Dataplex Universal Catalog verfügbar.

Mit Dataplex Universal Catalog können Sie Pipelines an allen Pipeline-Standorten verwalten. Die Verwaltung von Pipelines in Dataplex Universal Catalog unterliegt den Kontingenten und Limits für Dataplex Universal Catalog und der Preisgestaltung für Dataplex Universal Catalog.

Dataplex Universal Catalog ruft automatisch die folgenden Metadaten aus Pipelines ab:

Name des Datenassets
Übergeordnetes Data Asset
Speicherort des Daten-Assets
Datentyp-Asset
Entsprechendes Google Cloud Projekt

Im Dataplex Universal Catalog werden Pipelines als Einträge mit den folgenden Eintragswerten protokolliert:

Systemeintragsgruppe: Die Systemeintragsgruppe für Pipelines ist @dataform. Wenn Sie Details zu Pipelineeinträgen in Dataplex Universal Catalog aufrufen möchten, müssen Sie die dataform-Systemeintragsgruppe aufrufen. Eine Anleitung dazu, wie Sie eine Liste aller Einträge in einer Eintragsgruppe aufrufen, finden Sie in der Dataplex Universal Catalog-Dokumentation unter Details einer Eintragsgruppe ansehen.
Systemeintragstyp: Der Systemeintragstyp für Pipelines ist dataform-code-asset. Wenn Sie Details zu Pipelines aufrufen möchten, müssen Sie den Systemeingabetyp dataform-code-asset aufrufen, die Ergebnisse mit einem aspektbasierten Filter filtern und das Feld type im Aspekt dataform-code-asset auf WORKFLOW festlegen. Wählen Sie dann einen Eintrag der ausgewählten Pipeline aus. Eine Anleitung dazu, wie Sie Details zu einem ausgewählten Eintragstyp aufrufen, finden Sie in der Dataplex Universal Catalog-Dokumentation unter Details zu einem Eintragstyp aufrufen. Eine Anleitung dazu, wie Sie die Details eines ausgewählten Eintrags aufrufen, finden Sie in der Dataplex Universal Catalog-Dokumentation unter Details eines Eintrags ansehen.
Systemaspekttyp: Der Systemaspekttyp für Pipelines ist dataform-code-asset. Wenn Sie Datenpipelineeinträge mit Aspekten versehen möchten, um Pipelines im Dataplex Universal Catalog zusätzlichen Kontext zu geben, können Sie den Aspekttyp dataform-code-asset aufrufen, die Ergebnisse mit einem aspektbasierten Filter filtern und das Feld type im Aspekt dataform-code-asset auf WORKFLOW festlegen. Eine Anleitung zum Annotieren von Einträgen mit Aspekten finden Sie in der Dataplex Universal Catalog-Dokumentation unter Aspekte verwalten und Metadaten anreichern.
Typ: Der Typ für Daten-Canvas ist WORKFLOW. Mit diesem Typ können Sie Pipelines im dataform-code-asset-Systemeintragstyp und im dataform-code-asset-Aspekttyp filtern, indem Sie die aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW-Abfrage in einem aspektbasierten Filter verwenden.

Eine Anleitung zum Suchen nach Assets in Dataplex Universal Catalog finden Sie in der Dataplex Universal Catalog-Dokumentation unter Nach Daten-Assets in Dataplex Universal Catalog suchen.