Diese Seite wurde von der Cloud Translation API übersetzt.

Einführung in BigQuery-Pipelines

Mit BigQuery-Pipelines können Sie Ihre BigQuery-Datenprozesse automatisieren und optimieren. Mit Pipelines können Sie Code-Assets nacheinander planen und ausführen, um die Effizienz zu verbessern und den manuellen Aufwand zu reduzieren.

Übersicht

Pipelines basieren auf Dataform.

Eine Pipeline besteht aus mindestens einem der folgenden Code-Assets:

Mit Pipelines können Sie die Ausführung von Code-Assets planen. Sie können beispielsweise eine SQL-Abfrage planen, die täglich ausgeführt wird, und eine Tabelle mit den neuesten Quelldaten aktualisieren, die dann für ein Dashboard verwendet werden können.

In einer Pipeline mit mehreren Code-Assets legen Sie die Ausführungsreihenfolge fest. Wenn Sie beispielsweise ein Modell für maschinelles Lernen trainieren möchten, können Sie einen Workflow erstellen, in dem Daten mit einer SQL-Abfrage vorbereitet und dann in einem nachfolgenden Notebook mit diesen Daten trainiert werden.

Leistungsspektrum

In einer Pipeline können Sie Folgendes tun:

Erstellen Sie neue SQL-Abfragen oder Notebooks oder importieren Sie vorhandene in eine Pipeline.
Planen Sie eine Pipeline, damit sie automatisch zu einer bestimmten Zeit und mit einer bestimmten Häufigkeit ausgeführt wird.
Sie können eine Pipeline für Nutzer oder Gruppen freigeben, die Sie angeben.
Teilen Sie einen Link zu einer Pipeline.

Beschränkungen

Pipelines unterliegen den folgenden Einschränkungen:

Pipelines sind nur in der Google Cloud verfügbar.
Sie können die Region für das Speichern einer Pipeline nicht mehr ändern, nachdem sie erstellt wurde.
Sie können Nutzern oder Gruppen Zugriff auf eine ausgewählte Pipeline gewähren, aber keinen Zugriff auf einzelne Aufgaben innerhalb der Pipeline.

Standardregion für Code-Assets festlegen

Wenn Sie zum ersten Mal ein Code-Asset erstellen, sollten Sie die Standardregion für Code-Assets festlegen. Sie können die Region für ein Code-Asset nicht mehr ändern, nachdem es erstellt wurde.

Für alle Code-Assets in BigQuery Studio wird dieselbe Standardregion verwendet. So legen Sie die Standardregion für Code-Assets fest:

Rufen Sie die Seite BigQuery auf.

BigQuery aufrufen
Suchen Sie im Bereich Explorer nach dem Projekt, in dem Sie Code-Assets aktiviert haben.
Klicken Sie neben dem Projekt auf Aktionen ansehen und dann auf Meine Standardregion für Code ändern.
Wählen Sie unter Region die Region aus, die Sie für Code-Assets verwenden möchten.
Klicken Sie auf Auswählen.

Eine Liste der Regionen, in denen BigQuery Studio verfügbar ist, finden Sie unter BigQuery Studio-Standorte.

Unterstützte Regionen

Alle Code-Assets werden in Ihrer Standardregion für Code-Assets gespeichert. Durch das Aktualisieren der Standardregion wird die Region für alle Code-Assets geändert, die danach erstellt werden.

In der folgenden Tabelle sind die Regionen aufgeführt, in denen Pipelines verfügbar sind:

	Beschreibung der Region	Name der Region	Details
Afrika
	Johannesburg	`africa-south1`
Amerika
	Columbus	`us-east5`
	Dallas	`us-south1`	Niedriger CO₂-Wert
	Iowa	`us-central1`	Niedriger CO₂-Wert
	Los Angeles	`us-west2`
	Las Vegas	`us-west4`
	Montreal	`northamerica-northeast1`	Niedriger CO₂-Wert
	N. Virginia	`us-east4`
	Oregon	`us-west1`	Niedriger CO₂-Wert
	São Paulo	`southamerica-east1`	Niedriger CO₂-Wert
	South Carolina	`us-east1`
Asiatisch-pazifischer Raum
	Hongkong	`asia-east2`
	Jakarta	`asia-southeast2`
	Mumbai	`asia-south1`
	Seoul	`asia-northeast3`
	Singapur	`asia-southeast1`
	Sydney	`australia-southeast1`
	Taiwan	`asia-east1`
	Tokio	`asia-northeast1`
Europa
	Belgien	`europe-west1`	Niedriger CO₂-Wert
	Frankfurt	`europe-west3`	Niedriger CO₂-Wert
	London	`europe-west2`	Niedriger CO₂-Wert
	Madrid	`europe-southwest1`	Niedriger CO₂-Wert
	Niederlande	`europe-west4`	Niedriger CO₂-Wert
	Turin	`europe-west12`
	Zürich	`europe-west6`	Niedriger CO₂-Wert
Naher Osten
	Doha	`me-central1`
	Dammam	`me-central2`

Kontingente und Limits

BigQuery-Pipelines unterliegen den Kontingenten und Limits für Dataform.

Preise

Für die Ausführung von BigQuery-Pipelineaufgaben fallen in BigQuery Kosten für Computing und Speicher an. Weitere Informationen finden Sie unter BigQuery-Preise.

Für Pipelines mit Notebooks fallen Colab Enterprise-Laufzeitgebühren an, die sich nach dem Standardmaschinentyp richten. Preisinformationen finden Sie unter Colab Enterprise-Preise.

Jede Ausführung einer BigQuery-Pipeline wird mit Cloud Logging protokolliert. Das Logging wird automatisch für BigQuery-Pipelineausführungen aktiviert. Dies kann zu Abrechnungskosten für Cloud Logging führen. Weitere Informationen finden Sie unter Cloud Logging – Preise.