Membuat pipeline

Dokumen ini menjelaskan cara membuat pipeline di BigQuery. Pipeline didukung oleh Dataform.

Sebelum memulai

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery, Dataform, and Vertex AI APIs.

    Enable the APIs

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery, Dataform, and Vertex AI APIs.

    Enable the APIs

    8.
  8. Ikuti petunjuk di artikel Mengaktifkan pengelolaan aset kode untuk menyimpan, membagikan, dan mengelola versi aset kode seperti pipeline.
  9. Jika ini adalah pertama kalinya Anda membuat aset kode, tetapkan region default untuk menyimpan aset kode. Anda tidak dapat mengubah region untuk aset kode setelah dibuat.

Peran yang diperlukan untuk pipeline

Untuk mendapatkan izin yang Anda perlukan untuk membuat pipeline, minta administrator untuk memberi Anda peran IAM berikut pada project:

  • Untuk membuat pipeline: Code Creator (roles/dataform.codeCreator)
  • Untuk mengedit dan menjalankan pipeline: Dataform Editor (roles/dataform.editor)

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk informasi selengkapnya tentang IAM Dataform, lihat Mengontrol akses dengan IAM.

Peran yang diperlukan untuk opsi notebook

Untuk mendapatkan izin yang diperlukan guna memilih template runtime di opsi notebook, minta administrator untuk memberi Anda peran IAM Notebook Runtime User (roles/aiplatform.notebookRuntimeUser) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Jika tidak memiliki peran ini, Anda dapat memilih spesifikasi runtime notebook default.

Membuat pipeline

Untuk membuat pipeline, ikuti langkah-langkah berikut:

  1. Buka halaman BigQuery.

    Buka BigQuery

  2. Di panel tab panel editor, klik panah di samping tanda +, lalu klik Pipeline.

  3. Opsional: Untuk mengganti nama pipeline, klik nama pipeline, lalu ketik nama baru.

  4. Klik Mulai, lalu buka tab Setelan.

  5. Di kolom Service account, pilih akun layanan Dataform.

  6. Di bagian Location, pilih region pemrosesan untuk pipeline.

    1. Untuk memilih region tertentu, pilih Region, lalu pilih region di menu Region.
    2. Untuk memilih multi-region, pilih Multi-region, lalu pilih multi-region di menu Multi-region.

    Wilayah pemrosesan pipeline tidak perlu cocok dengan wilayah penyimpanan default untuk aset kode.

Opsi notebook

  1. Jika Anda berencana menambahkan notebook ke pipeline, lakukan hal berikut di bagian Opsi notebook:

    1. Di Kolom template runtime, terima runtime notebook default, atau telusuri dan pilih runtime yang ada.

      • Untuk melihat spesifikasi runtime default, klik panah di samping.
      • Untuk membuat runtime baru, lihat Membuat template runtime.

    2. Di kolom Cloud Storage bucket, klik Browse, lalu pilih atau buat bucket Cloud Storage untuk menyimpan output notebook di pipeline Anda.

    3. Ikuti Menambahkan akun utama ke kebijakan tingkat bucket untuk menambahkan akun layanan Dataform kustom sebagai akun utama ke bucket Cloud Storage yang ingin Anda gunakan untuk menyimpan output dari operasi pipeline terjadwal, dan berikan peran Storage Admin (roles/storage.admin) ke akun utama ini.

      Akun layanan Dataform kustom yang dipilih harus diberi peran IAM Storage Admin di bucket yang dipilih.

Menambahkan tugas pipeline

Untuk menambahkan tugas ke pipeline, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project dan folder Pipelines, lalu pilih pipeline.

  3. Untuk menambahkan aset kode, seperti kueri SQL, notebook, atau persiapan data, lakukan hal berikut:

    Kueri SQL

    1. Klik Tambahkan tugas, lalu pilih Kueri. Anda dapat membuat kueri baru atau mengimpor kueri yang sudah ada.

    2. Opsional: Di panel Query task details, di menu Run after, pilih tugas yang akan mendahului kueri Anda.

      Kueri Anda akan bergantung pada tugas sebelumnya.

    Membuat kueri baru

    1. Klik menu panah di samping Edit Kueri, lalu pilih Dalam konteks atau Dalam tab baru.

    2. Menelusuri kueri yang ada.

    3. Pilih nama kueri, lalu tekan Enter.

    4. Klik Simpan.

    5. Opsional: Untuk mengganti nama kueri, klik nama kueri di panel pipeline, klik Edit Kueri, klik nama kueri yang ada di bagian atas layar, lalu ketik nama baru.

    Mengimpor kueri yang ada

    1. Klik menu panah di samping Edit Kueri, lalu klik Impor salinan.

    2. Telusuri kueri yang ada untuk diimpor atau pilih kueri yang ada dari panel penelusuran. Saat Anda mengimpor kueri, kueri asli tidak akan berubah karena file sumber kueri disalin ke pipeline.

    3. Klik Edit untuk membuka kueri yang diimpor.

    4. Klik Simpan.

    Notebook

    1. Klik Tambahkan tugas, lalu pilih Notebook. Anda dapat membuat notebook baru atau mengimpor notebook yang sudah ada. Untuk mengubah setelan template runtime notebook, lihat Opsi notebook.

    2. Opsional: Di panel Notebook task details, di menu Run after, pilih tugas yang akan mendahului notebook Anda.

      Notebook Anda akan bergantung pada tugas sebelumnya.

    Membuat notebook baru

    1. Klik menu panah di samping Edit Notebook dan pilih Dalam konteks atau Dalam tab baru.

    2. Telusuri notebook yang ada.

    3. Pilih nama notebook, lalu tekan Enter.

    4. Klik Simpan.

    5. Opsional: Untuk mengganti nama notebook, klik nama notebook di panel pipeline, klik Edit Notebook, klik nama notebook yang ada di bagian atas layar, lalu ketik nama baru.

    Mengimpor notebook yang ada

    1. Klik menu panah di samping Edit Notebook, lalu klik Import a copy.

    2. Telusuri notebook yang ada untuk diimpor atau pilih notebook yang ada dari panel penelusuran. Saat Anda mengimpor notebook, notebook asli tidak akan berubah karena file sumber notebook disalin ke pipeline.

    3. Untuk membuka notebook yang diimpor, klik Edit.

    4. Klik Simpan.

    Persiapan data

    1. Klik Tambahkan tugas, lalu pilih Persiapan data. Anda dapat membuat persiapan data baru atau mengimpor persiapan data yang ada.

    2. Opsional: Di panel Data preparation task details, di menu Run after, pilih tugas yang akan mendahului persiapan data Anda.

      Persiapan data Anda akan bergantung pada tugas sebelumnya.

    Membuat persiapan data baru

    1. Klik menu panah di samping Edit Persiapan data, lalu pilih Dalam konteks atau Dalam tab baru.

    2. Telusuri persiapan data yang ada.

    3. Pilih nama persiapan data, lalu tekan enter.

    4. Klik Simpan.

    5. Opsional: Untuk mengganti nama persiapan data, klik nama persiapan data di panel pipeline, klik Edit Persiapan data, klik nama di bagian atas layar, lalu masukkan nama baru.

    Mengimpor persiapan data yang ada

    1. Klik menu drop-down panah di samping Edit Persiapan data, lalu klik Impor salinan.

    2. Telusuri persiapan data yang ada untuk diimpor atau pilih persiapan data yang ada dari panel penelusuran. Saat Anda mengimpor persiapan data, file asli tidak akan berubah karena file sumber persiapan data disalin ke pipeline.

    3. Untuk membuka persiapan data yang diimpor, klik Edit.

    4. Klik Simpan.

Mengedit tugas pipeline

Untuk mengedit tugas pipeline, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project dan folder Pipelines, lalu pilih pipeline.

  3. Klik tugas yang dipilih.

  4. Untuk mengubah tugas sebelumnya, di menu Run after, pilih tugas yang akan mendahului kueri atau notebook Anda.

  5. Untuk mengedit konten tugas yang dipilih, klik Edit.

  6. Di tab baru yang terbuka, edit konten tugas, lalu simpan perubahan pada tugas.

Menghapus tugas pipeline

Untuk menghapus tugas dari pipeline, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project dan folder Pipelines, lalu pilih pipeline.

  3. Klik tugas yang dipilih.

  4. Di panel Task details, klik ikon DeleteDelete.

Membagikan pipeline

Untuk membagikan pipeline, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project dan folder Pipelines, lalu pilih pipeline.

  3. Klik Bagikan, lalu pilih Kelola izin.

  4. Klik Tambahkan pengguna/grup.

  5. Di kolom Akun utama baru, masukkan nama minimal satu pengguna atau grup.

  6. Untuk Menetapkan Peran, pilih peran.

  7. Klik Simpan.

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project dan folder Pipelines, lalu pilih pipeline.

  3. Klik Bagikan, lalu pilih Bagikan link. URL untuk pipeline Anda akan disalin ke papan klip komputer.

Menjalankan pipeline

Untuk menjalankan versi pipeline saat ini secara manual, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project dan folder Pipelines, lalu pilih pipeline.

  3. Klik Run.

  4. Opsional: Untuk memeriksa operasi, lihat operasi manual sebelumnya.

Langkah berikutnya