Diese Seite wurde von der Cloud Translation API übersetzt.

Einführung in BigQuery-Pipelines

Mit BigQuery-Pipelines können Sie Ihre BigQuery-Datenprozesse automatisieren und optimieren. Mit Pipelines können Sie Code-Assets nacheinander planen und ausführen, um die Effizienz zu verbessern und den manuellen Aufwand zu reduzieren.

Übersicht

Pipelines basieren auf Dataform.

Eine Pipeline besteht aus mindestens einem der folgenden Code-Assets:

Mit Pipelines können Sie die Ausführung von Code-Assets planen. Sie können beispielsweise eine SQL-Abfrage planen, die täglich ausgeführt wird, und eine Tabelle mit den neuesten Quelldaten aktualisieren, die dann für ein Dashboard verwendet werden können.

In einer Pipeline mit mehreren Code-Assets legen Sie die Ausführungsreihenfolge fest. Wenn Sie beispielsweise ein Modell für maschinelles Lernen trainieren möchten, können Sie einen Workflow erstellen, in dem Daten mit einer SQL-Abfrage vorbereitet und dann in einem nachfolgenden Notebook mit diesen Daten trainiert werden.

Leistungsspektrum

In einer Pipeline können Sie Folgendes tun:

Erstellen Sie neue SQL-Abfragen oder Notebooks oder importieren Sie vorhandene in eine Pipeline.
Planen Sie eine Pipeline, damit sie automatisch zu einer bestimmten Zeit und mit einer bestimmten Häufigkeit ausgeführt wird.
Sie können eine Pipeline für Nutzer oder Gruppen freigeben.
Teilen Sie einen Link zu einer Pipeline.

Beschränkungen

Pipelines unterliegen den folgenden Einschränkungen:

Pipelines sind nur in der Google Cloud Console verfügbar.
Sie können die Region für das Speichern einer Pipeline nicht mehr ändern, nachdem sie erstellt wurde. Weitere Informationen finden Sie unter Standardregion für Code-Assets festlegen.
Sie können Nutzern oder Gruppen Zugriff auf eine ausgewählte Pipeline gewähren, aber keinen Zugriff auf einzelne Aufgaben innerhalb der Pipeline.

Unterstützte Regionen

Alle Code-Assets werden in Ihrer Standardregion für Code-Assets gespeichert. Durch das Aktualisieren der Standardregion wird die Region für alle Code-Assets geändert, die danach erstellt werden.

In der folgenden Tabelle sind die Regionen aufgeführt, in denen Pipelines verfügbar sind:

	Beschreibung der Region	Name der Region	Details
Afrika
	Johannesburg	`africa-south1`
Amerika
	Columbus	`us-east5`
	Dallas	`us-south1`	Niedriger CO₂-Wert
	Iowa	`us-central1`	Niedriger CO₂-Wert
	Los Angeles	`us-west2`
	Las Vegas	`us-west4`
	Montreal	`northamerica-northeast1`	Niedriger CO₂-Wert
	N. Virginia	`us-east4`
	Oregon	`us-west1`	Niedriger CO₂-Wert
	São Paulo	`southamerica-east1`	Niedriger CO₂-Wert
	South Carolina	`us-east1`
Asiatisch-pazifischer Raum
	Hongkong	`asia-east2`
	Jakarta	`asia-southeast2`
	Mumbai	`asia-south1`
	Seoul	`asia-northeast3`
	Singapur	`asia-southeast1`
	Sydney	`australia-southeast1`
	Taiwan	`asia-east1`
	Tokio	`asia-northeast1`
Europa
	Belgien	`europe-west1`	Niedriger CO₂-Wert
	Frankfurt	`europe-west3`	Niedriger CO₂-Wert
	London	`europe-west2`	Niedriger CO₂-Wert
	Madrid	`europe-southwest1`	Niedriger CO₂-Wert
	Niederlande	`europe-west4`	Niedriger CO₂-Wert
	Turin	`europe-west12`
	Zürich	`europe-west6`	Niedriger CO₂-Wert
Naher Osten
	Doha	`me-central1`
	Dammam	`me-central2`

Kontingente und Limits

BigQuery-Pipelines unterliegen den Kontingenten und Limits für Dataform.

Preise

Für die Ausführung von BigQuery-Pipelineaufgaben fallen in BigQuery Kosten für Computing und Speicher an. Weitere Informationen finden Sie unter BigQuery-Preise.

Für Pipelines mit Notebooks fallen Colab Enterprise-Laufzeitgebühren an, die sich nach dem Standardmaschinentyp richten. Preisinformationen finden Sie unter Colab Enterprise-Preise.

Jede Ausführung einer BigQuery-Pipeline wird mit Cloud Logging protokolliert. Das Logging wird automatisch für BigQuery-Pipelineausführungen aktiviert. Dies kann zu Abrechnungskosten für Cloud Logging führen. Weitere Informationen finden Sie unter Cloud Logging – Preise.