Diese Seite wurde von der Cloud Translation API übersetzt.

Pipelines verwalten

In diesem Dokument wird beschrieben, wie Sie BigQuery-Pipelines verwalten, einschließlich der Planung und des Löschens von Pipelines.

In diesem Dokument wird auch beschrieben, wie Sie Pipeline-Metadaten in Dataplex aufrufen und verwalten.

Pipelines basieren auf Dataform.

Hinweise

Erstellen Sie eine BigQuery-Pipeline.
Wenn Sie Pipeline-Metadaten in Dataplex verwalten möchten, muss die Dataplex API in Ihrem Google Cloud-Projekt aktiviert sein.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Verwalten von Pipelines benötigen:

So löschen Sie Pipelines: Dataform Admin (roles/dataform.Admin) für die Pipeline
So rufen Sie Pipelines auf und führen sie aus: Dataform-Betrachter (roles/dataform.Viewer) für das Projekt

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Damit Sie Pipeline-Metadaten in Dataplex verwalten können, benötigen Sie die erforderlichen Dataplex-Rollen.

Weitere Informationen zu Dataform IAM finden Sie unter Zugriff mit IAM steuern.

Alle Pipelines ansehen

So rufen Sie eine Liste aller Pipelines in Ihrem Projekt auf:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen
Klicken Sie im Bereich Explorer auf und maximieren Sie Pipelines.

Bisherige manuelle Ausführungen ansehen

So rufen Sie die letzten manuellen Ausführungen einer ausgewählten Pipeline auf:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Pipelines und wählen Sie dann eine Pipeline aus.
Klicken Sie auf Ausführungen.
Optional: Klicken Sie auf Aktualisieren, um die Liste der letzten Ausführungen zu aktualisieren.

Benachrichtigungen für fehlgeschlagene Pipelineausführungen konfigurieren

Jede Pipeline hat eine entsprechende Dataform-Repository-ID. Jede Ausführung einer BigQuery-Pipeline wird in Cloud Logging mit der entsprechenden Dataform-Repository-ID protokolliert. Mit Cloud Monitoring können Sie Trends in Cloud Logging-Logs für BigQuery-Pipelineausführungen beobachten und sich benachrichtigen lassen, wenn von Ihnen beschriebene Bedingungen auftreten.

Wenn Sie Benachrichtigungen erhalten möchten, wenn eine BigQuery-Pipeline fehlschlägt, können Sie eine protokollbasierte Benachrichtigungsrichtlinie für die entsprechende Dataform-Repository-ID erstellen. Eine Anleitung finden Sie unter Benachrichtigungen für fehlgeschlagene Workflowaufrufe konfigurieren.

So finden Sie die Dataform-Repository-ID Ihrer Pipeline:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Pipelines und wählen Sie dann eine Pipeline aus.
Klicken Sie auf Einstellungen.

Die Dataform-Repository-ID Ihrer Pipeline wird unten auf dem Tab Einstellungen angezeigt.

Pipeline löschen

So löschen Sie eine Pipeline endgültig:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Pipelines. Suchen Sie die Pipeline, die Sie löschen möchten.
Klicken Sie neben der Pipeline auf Aktionen ansehen und dann auf Löschen.
Klicken Sie auf Löschen.

Metadaten in Dataplex verwalten

Mit Dataplex können Sie Metadaten für Pipelines speichern und verwalten. Pipelines sind in Dataplex standardmäßig ohne zusätzliche Konfiguration verfügbar.

Mit Dataplex können Sie Pipelines an allen Pipelinestandorten verwalten. Die Verwaltung von Pipelines in Dataplex unterliegt den Kontingenten und Limits für Dataplex und den Dataplex-Preisen.

Dataplex ruft automatisch die folgenden Metadaten aus Pipelines ab:

Name des Daten-Assets
Übergeordnetes Daten-Asset
Speicherort des Daten-Assets
Daten-Asset-Typ
Entsprechendes Google Cloud-Projekt

In Dataplex werden Pipelines als Einträge mit den folgenden Eintragswerten protokolliert:

Systemeintragsgruppe: Die Systemeintragsgruppe für Pipelines ist @dataform. Wenn Sie Details zu Pipelineeinträgen in Dataplex aufrufen möchten, müssen Sie die Systemeintragsgruppe dataform aufrufen. Eine Anleitung zum Aufrufen einer Liste aller Einträge in einer Eintragsgruppe finden Sie in der Dataplex-Dokumentation unter Details zu einer Eintragsgruppe aufrufen.
Systemeintragstyp: Der Systemeintragstyp für Pipelines ist dataform-code-asset. Wenn Sie Details zu Pipelines aufrufen möchten, müssen Sie den Systemeintragstyp dataform-code-asset aufrufen, die Ergebnisse mit einem aspektbasierten Filter filtern und das Feld type im Aspekt dataform-code-asset auf WORKFLOW setzen. Wählen Sie dann einen Eintrag der ausgewählten Pipeline aus. Eine Anleitung zum Aufrufen von Details zu einem ausgewählten Eintragstyp finden Sie in der Dataplex-Dokumentation unter Details zu einem Eintragstyp aufrufen. Eine Anleitung zum Aufrufen der Details eines ausgewählten Eintrags finden Sie in der Dataplex-Dokumentation unter Details eines Eintrags ansehen.
Systemaspekttyp: Der Systemaspekttyp für Pipelines ist dataform-code-asset. Wenn Sie Pipelines in Dataplex zusätzliche Kontextinformationen hinzufügen möchten, indem Sie Datenpipeline-Einträge mit Aspekten annotieren, rufen Sie den Aspekttyp dataform-code-asset auf, filtern Sie die Ergebnisse mit einem aspektbasierten Filter und legen Sie das Feld type im Aspekt dataform-code-asset auf WORKFLOW fest. Eine Anleitung zum Anhängen von Aspekten an Einträge finden Sie in der Dataplex-Dokumentation unter Aspekte verwalten und Metadaten anreichern.
Typ: Der Typ für Datenkanäle ist WORKFLOW. Mit diesem Typ können Sie Pipelines im Systemeintragstyp dataform-code-asset und im Aspekttyp dataform-code-asset filtern, indem Sie die Abfrage aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW in einem aspektbasierten Filter verwenden.

Eine Anleitung zum Suchen nach Assets in Dataplex finden Sie in der Dataplex-Dokumentation unter Nach Datenassets in Dataplex suchen.