Mengelola pipeline

Dokumen ini menjelaskan cara mengelola pipeline BigQuery, termasuk cara menjadwalkan dan menghapus pipeline.

Dokumen ini juga menjelaskan cara melihat dan mengelola metadata pipeline di Dataplex Universal Catalog.

Pipeline didukung oleh Dataform.

Sebelum memulai

  1. Buat pipeline BigQuery.
  2. Untuk mengelola metadata pipeline di Dataplex Universal Catalog, pastikan Dataplex API diaktifkan di project Anda. Google Cloud

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk mengelola pipeline, minta administrator Anda untuk memberikan peran IAM berikut:

  • Untuk menghapus pipeline: Admin Dataform (roles/dataform.Admin) di pipeline
  • Untuk melihat dan menjalankan pipeline: Dataform Viewer (roles/dataform.Viewer) di project

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk mengelola metadata pipeline di Dataplex Universal Catalog, pastikan Anda memiliki peran Dataplex Universal Catalog yang diperlukan.

Untuk mengetahui informasi selengkapnya tentang IAM Dataform, lihat Mengontrol akses dengan IAM.

Melihat semua pipeline

Untuk melihat daftar semua pipeline dalam project Anda, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, klik luaskan Pipelines.

Melihat operasi manual sebelumnya

Untuk melihat operasi manual sebelumnya dari pipeline yang dipilih, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project Anda dan folder Pipelines, lalu pilih pipeline.

  3. Klik Eksekusi.

  4. Opsional: Untuk memuat ulang daftar proses sebelumnya, klik Muat ulang.

Mengonfigurasi pemberitahuan untuk eksekusi pipeline yang gagal

Setiap pipeline memiliki ID repositori Dataform yang sesuai. Setiap operasi pipeline BigQuery dicatat di Cloud Logging menggunakan ID repositori Dataform yang sesuai. Anda dapat menggunakan Cloud Monitoring untuk mengamati tren log Cloud Logging untuk operasi pipeline BigQuery dan untuk memberi tahu Anda saat kondisi yang Anda jelaskan terjadi.

Untuk menerima pemberitahuan saat pipeline BigQuery gagal dijalankan, Anda dapat membuat kebijakan pemberitahuan berbasis log untuk ID repositori Dataform yang sesuai. Untuk mengetahui petunjuknya, lihat Mengonfigurasi pemberitahuan untuk pemanggilan alur kerja yang gagal.

Untuk menemukan ID repositori Dataform pipeline Anda, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project Anda dan folder Pipelines, lalu pilih pipeline.

  3. Klik Setelan.

    ID repositori Dataform pipeline Anda ditampilkan di bagian bawah tab Setelan.

Menghapus pipeline

Untuk menghapus pipeline secara permanen, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project Anda dan folder Pipelines. Temukan pipeline yang ingin Anda hapus.

  3. Klik Lihat tindakan di samping pipeline, lalu klik Hapus.

  4. Klik Hapus.

Mengelola metadata di Dataplex Universal Catalog

Dengan Dataplex Universal Catalog, Anda dapat menyimpan dan mengelola metadata untuk pipeline. Pipeline tersedia di Dataplex Universal Catalog secara default, tanpa konfigurasi tambahan.

Anda dapat menggunakan Dataplex Universal Catalog untuk mengelola pipeline di semua lokasi pipeline. Pengelolaan pipeline di Dataplex Universal Catalog tunduk pada kuota dan batas Katalog Universal Dataplex serta harga Katalog Universal Dataplex.

Katalog Universal Dataplex secara otomatis mengambil metadata berikut dari pipeline:

  • Nama aset data
  • Induk aset data
  • Lokasi aset data
  • Jenis aset data
  • Project Google Cloud yang sesuai

Dataplex Universal Catalog mencatat pipeline sebagai entri dengan nilai entri berikut:

Grup entri sistem
Grup entri sistem untuk pipeline adalah @dataform. Untuk melihat detail entri pipeline di Dataplex Universal Catalog, Anda perlu melihat grup entri sistem dataform. Untuk mengetahui petunjuk tentang cara melihat daftar semua entri dalam grup entri, lihat Melihat detail grup entri dalam dokumentasi Dataplex Universal Catalog.
Jenis entri sistem
Jenis entri sistem untuk pipeline adalah dataform-code-asset. Untuk melihat detail alur proses,Anda harus melihat jenis entri sistem dataform-code-asset, memfilter hasil dengan filter berbasis aspek, dan menetapkan kolom type di dalam aspek dataform-code-asset ke WORKFLOW. Kemudian, pilih entri dari pipeline yang dipilih. Untuk mengetahui petunjuk tentang cara melihat detail jenis entri yang dipilih, lihat Melihat detail jenis entri dalam dokumentasi Dataplex Universal Catalog. Untuk mengetahui petunjuk tentang cara melihat detail entri yang dipilih, lihat Melihat detail entri dalam dokumentasi Dataplex Universal Catalog.
Jenis aspek sistem
Jenis aspek sistem untuk pipeline adalah dataform-code-asset. Untuk memberikan konteks tambahan pada pipeline di Katalog Universal Dataplex dengan memberi anotasi pada entri pipeline data dengan aspek, lihat jenis aspek dataform-code-asset, memfilter hasil dengan filter berbasis aspek, dan tetapkan kolom type di dalam aspek dataform-code-asset ke WORKFLOW. Untuk mengetahui petunjuk tentang cara memberi anotasi pada entri dengan aspek, lihat Mengelola aspek dan memperkaya metadata dalam dokumentasi Dataplex Universal Catalog.
Jenis
Jenis untuk kanvas data adalah WORKFLOW. Jenis ini memungkinkan Anda memfilter pipeline dalam jenis entri sistem dataform-code-asset dan jenis aspek dataform-code-asset dengan menggunakan kueri aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW dalam filter berbasis aspek.

Untuk mengetahui petunjuk tentang cara menelusuri aset di Dataplex Universal Catalog, lihat Menelusuri aset data di Dataplex Universal Catalog dalam dokumentasi Dataplex Universal Catalog.

Langkah berikutnya