Merancang dan membuat pipeline yang dapat digunakan kembali

Tutorial ini menunjukkan cara membangun pipeline yang dapat digunakan kembali yang membaca data dari Cloud Storage, melakukan pemeriksaan kualitas data, dan menulis ke Cloud Storage.

Pipeline yang dapat digunakan kembali memiliki struktur pipeline reguler, tetapi Anda dapat mengubah konfigurasi setiap node pipeline berdasarkan konfigurasi yang disediakan oleh server HTTP. Misalnya, pipeline statis dapat membaca data dari Cloud Storage, menerapkan transformasi, dan menulis ke tabel output BigQuery. Jika ingin tabel output transformasi dan BigQuery berubah berdasarkan file Cloud Storage yang dibaca pipeline, buat pipeline yang dapat digunakan kembali.

Tujuan

  • Gunakan plugin Penyetel Argumen Cloud Storage untuk memungkinkan pipeline membaca berbagai input dalam setiap pengoperasian.
  • Gunakan plugin Penyetel Argumen Cloud Storage agar pipeline dapat melakukan pemeriksaan kualitas yang berbeda di setiap pengoperasian.
  • Menulis data output dari setiap pengoperasian ke Cloud Storage.

Biaya

Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:

  • Cloud Data Fusion
  • Cloud Storage

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga. Pengguna baru Google Cloud mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  4. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  5. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  6. Aktifkan API Cloud Data Fusion, Cloud Storage, BigQuery, and Dataproc.

    Mengaktifkan API

  7. Membuat instance Cloud Data Fusion.

Saat menggunakan Cloud Data Fusion, Anda menggunakan Konsol Google Cloud dan antarmuka web Cloud Data Fusion yang terpisah. Di konsol Google Cloud, Anda dapat membuat project konsol Google Cloud, serta membuat dan menghapus instance Cloud Data Fusion. Di antarmuka web Cloud Data Fusion, Anda dapat menggunakan berbagai halaman, seperti Pipeline Studio atau Wrangler, untuk menggunakan fitur Cloud Data Fusion.

  1. Di konsol Google Cloud, buka halaman Instances.

    Buka halaman Instances

  2. Di kolom Tindakan untuk instance, klik link Lihat Instance. Antarmuka web Cloud Data Fusion akan terbuka di tab browser baru.

Men-deploy plugin Penyetel Argumen Cloud Storage

  1. Di antarmuka web Cloud Data Fusion, buka halaman Studio.

  2. Di menu Actions, klik GCS Argument Setter.

Membaca dari Cloud Storage

  1. Di antarmuka web Cloud Data Fusion, buka halaman Studio.
  2. Klik Source, lalu pilih Cloud Storage. Node untuk sumber Cloud Storage muncul di pipeline.

  3. Di node Cloud Storage, klik Properties.

  4. Di kolom Nama referensi, masukkan nama.

  5. Di kolom Path, masukkan ${input.path}. Makro ini mengontrol jalur input Cloud Storage yang akan berada di pipeline yang berbeda.

  6. Di panel Output Schema di sebelah kanan, hapus kolom offset dari skema output dengan mengklik ikon sampah di baris kolom offset.

  7. Klik Validasi dan atasi error.

  8. Klik untuk keluar dari dialog Properties.

Mengubah data Anda

  1. Di antarmuka web Cloud Data Fusion, buka pipeline data Anda di halaman Studio.
  2. Di menu drop-down Transform , pilih Wrangler.
  3. Di kanvas Pipeline Studio, tarik panah dari node Cloud Storage ke node Wrangler.
  4. Buka node Wrangler di pipeline Anda, lalu klik Properties.
  5. Di Nama kolom input, masukkan body.
  6. Di kolom Recipe, masukkan ${directives}. Makro ini mengontrol logika transformasi yang akan ada di pipeline yang berbeda.
  7. Klik Validasi dan atasi error.
  8. Klik untuk keluar dari dialog Properties.

Menulis ke Cloud Storage

  1. Di antarmuka web Cloud Data Fusion, buka pipeline data Anda di halaman Studio.
  2. Di menu drop-down Sink , pilih Cloud Storage.
  3. Di kanvas Pipeline Studio, tarik panah dari node Wrangler ke node Cloud Storage yang baru saja Anda tambahkan.
  4. Buka node sink Cloud Storage di pipeline Anda, lalu klik Properties.
  5. Di kolom Nama referensi, masukkan nama.
  6. Pada kolom Path, masukkan jalur bucket Cloud Storage di project Anda, tempat pipeline dapat menulis file output. Jika Anda belum memiliki bucket Cloud Storage, buat bucket.
  7. Klik Validasi dan atasi error.
  8. Klik untuk keluar dari dialog Properties.

Menetapkan argumen makro

  1. Di antarmuka web Cloud Data Fusion, buka pipeline data Anda di halaman Studio.
  2. Di menu drop-down Conditions and Actions, klik GCS Argument Setter.
  3. Di kanvas Pipeline Studio, tarik panah dari node Penyetel Argumen Cloud Storage ke node sumber Cloud Storage.
  4. Buka node Cloud Storage Argument Setter di pipeline Anda, lalu klik Properties.

  5. Di kolom URL, masukkan URL berikut:

    gs://reusable-pipeline-tutorial/args.json

    URL terkait dengan objek yang dapat diakses secara publik di Cloud Storage yang berisi konten berikut:

    {
  "arguments" : [
    {
      "name": "input.path",
      "value": "gs://reusable-pipeline-tutorial/user-emails.txt"
    },
    {
      "name": "directives",
      "value": "send-to-error !dq:isEmail(body)"
    }
  ]
}

    Argumen pertama dari dua argumen adalah nilai untuk input.path. Jalur gs://reusable-pipeline-tutorial/user-emails.txt adalah objek yang dapat diakses secara publik di Cloud Storage yang berisi data pengujian berikut:

    alice@example.com
bob@example.com
craig@invalid@example.com

    Argumen kedua adalah nilai untuk directives. Nilai send-to-error !dq:isEmail(body) mengonfigurasi Wrangler untuk memfilter setiap baris yang bukan alamat email yang valid. Misalnya, craig@invalid@example.com dikecualikan.

  6. Klik Validasi untuk memastikan Anda tidak mengalami error.

  7. Klik untuk keluar dari dialog Properties.

Men-deploy dan menjalankan pipeline Anda

  1. Di panel atas halaman Pipeline Studio, klik Name your pipeline. Beri nama pipeline Anda, lalu klik Simpan.

  2. Klik Deploy.

  3. Untuk membuka Runtime Arguments dan melihat argumen makro (runtime) input.path dan directives, klik drop-down di samping Run.

    Biarkan kolom nilai kosong untuk memberi tahu Cloud Data Fusion bahwa node Penyetel Argumen Cloud Storage dalam pipeline akan menetapkan nilai argumen ini selama runtime.

  4. Klik Run.

Pembersihan

Agar tidak dikenakan biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource-nya.

Setelah menyelesaikan tutorial, bersihkan resource yang Anda buat di Google Cloud agar tidak menghabiskan kuota dan Anda tidak akan ditagih di masa mendatang. Bagian berikut menjelaskan cara menghapus atau menonaktifkan resource ini.

Menghapus instance Cloud Data Fusion

Ikuti petunjuk untuk menghapus instance Cloud Data Fusion.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

  1. Di konsol Google Cloud, buka halaman Manage resource.

    Buka Manage resource

  2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
  3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah selanjutnya