Pengantar pipeline BigQuery
Anda dapat menggunakan pipeline BigQuery untuk mengotomatiskan dan menyederhanakan proses data BigQuery. Dengan pipeline, Anda dapat menjadwalkan dan menjalankan aset kode secara berurutan untuk meningkatkan efisiensi dan mengurangi upaya manual.
Ringkasan
Pipeline didukung oleh Dataform.
Pipeline terdiri dari satu atau beberapa aset kode berikut:
Anda dapat menggunakan pipeline untuk menjadwalkan eksekusi aset kode. Misalnya, Anda dapat menjadwalkan kueri SQL untuk dijalankan setiap hari dan memperbarui tabel dengan data sumber terbaru, yang kemudian dapat mendukung dasbor.
Dalam pipeline dengan beberapa aset kode, Anda menentukan urutan eksekusi. Misalnya, untuk melatih model machine learning, Anda dapat membuat alur kerja yang menggunakan kueri SQL untuk menyiapkan data, lalu notebook berikutnya melatih model menggunakan data tersebut.
Kemampuan
Anda dapat melakukan hal berikut dalam pipeline:
- Buat kueri atau notebook SQL baru atau impor yang sudah ada ke dalam pipeline.
- Jadwalkan pipeline agar otomatis berjalan pada waktu dan frekuensi yang ditentukan.
- Membagikan pipeline kepada pengguna atau grup yang Anda tentukan.
- Membagikan link ke pipeline.
Batasan
Pipeline tunduk pada batasan berikut:
- Pipeline hanya tersedia di konsol Google Cloud.
- Anda tidak dapat mengubah region untuk menyimpan pipeline setelah dibuat. Untuk mengetahui informasi selengkapnya, lihat Menetapkan region default untuk aset kode.
- Anda dapat memberikan akses ke pipeline yang dipilih kepada pengguna atau grup, tetapi tidak dapat memberi mereka akses ke setiap tugas dalam pipeline.
Region yang didukung
Semua aset kode disimpan di region default untuk aset kode. Mengupdate region default akan mengubah region untuk semua aset kode yang dibuat setelah waktu tersebut.
Tabel berikut mencantumkan region tempat pipeline tersedia:
| Deskripsi region | Nama region | Detail | |
|---|---|---|---|
| Afrika | |||
| Johannesburg | africa-south1 |
||
| Amerika | |||
| Columbus | us-east5 |
||
| Dallas | us-south1 |
 CO Rendah2
|
|
| Iowa | us-central1 |
CO Rendah2
|
|
| Los Angeles | us-west2 |
||
| Las Vegas | us-west4 |
||
| Montréal | northamerica-northeast1 |
CO Rendah2
|
|
| Virginia Virginia | us-east4 |
||
| Oregon | us-west1 |
CO2 Rendah |
|
| Sao Paulo | southamerica-east1 |
CO Rendah2
|
|
| Carolina Selatan | us-east1 |
||
| Asia Pasifik | |||
| Hong Kong | asia-east2 |
||
| Jakarta | asia-southeast2 |
||
| Mumbai | asia-south1 |
||
| Seoul | asia-northeast3 |
||
| Singapura | asia-southeast1 |
||
| Sydney | australia-southeast1 |
||
| Taiwan | asia-east1 |
||
| Tokyo | asia-northeast1 |
||
| Eropa | |||
| Belgia | europe-west1 |
CO Rendah2
|
|
| Frankfurt | europe-west3 |
CO Rendah2
|
|
| London | europe-west2 |
CO Rendah2
|
|
| Madrid | europe-southwest1 |
CO Rendah2
|
|
| Belanda | europe-west4 |
CO2 Rendah
|
|
| Turin | europe-west12 |
||
| Zürich | europe-west6 |
CO Rendah2
|
|
| Timur Tengah | |||
| Doha | me-central1 |
||
| Dammam | me-central2 |
||
Kuota dan batas
Pipeline BigQuery tunduk pada kuota dan batas Dataform.
Harga
Eksekusi tugas pipeline BigQuery akan dikenai biaya komputasi dan penyimpanan di BigQuery. Untuk informasi lebih lanjut, lihat Harga BigQuery.
Pipeline yang berisi notebook dikenai biaya runtime Colab Enterprise berdasarkan jenis mesin default. Untuk mengetahui detail harga, lihat Harga Colab Enterprise.
Setiap operasi pipeline BigQuery dicatat ke dalam log menggunakan Cloud Logging. Logging diaktifkan secara otomatis untuk pengoperasian pipeline BigQuery, yang dapat menimbulkan tagihan penagihan Cloud Logging. Untuk mengetahui informasi selengkapnya, lihat harga Cloud Logging.
Langkah berikutnya
- Pelajari cara membuat pipeline.
- Pelajari cara mengelola pipeline.
- Pelajari cara menjadwalkan pipeline.