Menjadwalkan persiapan data

Dokumen ini menjelaskan cara menjadwalkan pipeline penyiapan data dan menjalankan secara manual.

Persiapan data didukung oleh Dataform. Setiap jadwal penyiapan data dijalankan menggunakan kredensial pengguna Akun Google Anda atau akun layanan Dataform yang Anda pilih saat mengonfigurasi jadwal atau uji coba.

Perubahan yang Anda buat pada langkah-langkah penyiapan data tidak akan disimpan secara otomatis. Anda harus menyimpan dan men-deploy perubahan sebelum perubahan tersebut dapat dijalankan dengan jadwal. Jadwal selalu menjalankan versi persiapan data terbaru yang di-deploy dan mengecualikan perubahan yang belum di-deploy yang mungkin sedang Anda kembangkan.

Sebelum memulai

Sebelum memulai, buat persiapan data.

Peran yang diperlukan

Untuk mengizinkan penyiapan data dengan akun layanan saat menjalankan penyiapan data secara manual dalam pengembangan atau menjadwalkan penyiapan data, Anda harus memberikan peran ke akun layanan yang akan digunakan untuk mengeksekusi proses penyiapan data. Untuk mengetahui informasi selengkapnya, lihat Memberikan akses ke akun layanan Dataform.

Mengembangkan persiapan data

Saat mengembangkan persiapan data, Anda dapat menjalankan langkah-langkah secara manual dan memeriksa output sebelum men-deploy perubahan ke produksi. Anda dapat menguji versi saat ini yang sedang Anda kembangkan pada data Anda, sementara BigQuery terus menjalankan versi terbaru yang di-deploy, sesuai dengan jadwal. Sebelum dapat menjalankan proses, Anda harus mengonfigurasi tujuan, dan memperbaiki error validasi.

Menjalankan persiapan data secara manual dalam pengembangan

Untuk menguji langkah-langkah penyiapan data dan memvalidasi hasilnya di tabel tujuan, jalankan penyiapan data secara manual dari editor penyiapan data:

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan folder Persiapan data. Klik nama penyiapan data yang ingin Anda jalankan.

3. Di toolbar editor penyiapan data, klik Lainnya > Konfigurasi pengalaman jalankan sekarang.

4. Di bagian Autentikasi, izinkan penyiapan data dengan kredensial pengguna Akun Google Anda atau akun layanan.

   • Untuk menggunakan kredensial pengguna Akun Google Anda (Pratinjau), pilih Jalankan dengan kredensial pengguna saya. Opsi ini adalah opsi default.
   • Untuk menggunakan akun layanan, pilih Jalankan dengan akun layanan yang dipilih, lalu pilih akun layanan. Jika akun layanan memerlukan izin tambahan, berikan peran yang diperlukan dengan mengklik Berikan semua.

5. Klik Simpan.

6. Perbaiki error validasi yang muncul.

7. Dari toolbar editor penyiapan data, klik Jalankan.

8. Pada dialog Jalankan sekarang, klik Konfirmasi untuk mengonfirmasi bahwa operasi manual ini menulis data ke tabel tujuan, yang mungkin juga Anda gunakan untuk operasi terjadwal.

   Jika Anda memilih Jalankan dengan kredensial pengguna saya untuk metode autentikasi, Anda harus mengizinkan Akun Google Anda (Pratinjau).

   Kemudian, proses akan menjalankan langkah-langkah Anda dan memuat output ke tujuan.

9. Opsional: Setelah proses selesai, Anda dapat melihat detail tentang eksekusi di panel Eksekusi.

Men-deploy persiapan data

Untuk menjadwalkan eksekusi versi penyiapan data, Anda harus men-deploy-nya terlebih dahulu. Jadwal menjalankan versi yang terakhir di-deploy.

Untuk men-deploy penyiapan data, ikuti langkah-langkah berikut:

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan folder Persiapan data. Klik nama penyiapan data yang dipilih.

   Editor persiapan data akan terbuka.

3. Di toolbar editor penyiapan data, klik Deploy.

Buat jadwal

Untuk membuat jadwal yang menjalankan langkah-langkah penyiapan data yang di-deploy dan memuat data yang disiapkan ke dalam tabel tujuan, Anda harus menjadwalkan operasi penyiapan data terlebih dahulu. Untuk menjadwalkan eksekusi, Anda harus mengonfigurasi tujuan, dan memperbaiki error validasi.

Untuk membuat jadwal penyiapan data, ikuti langkah-langkah berikut:

Memberi otorisasi pada Akun Google Anda

Untuk mengautentikasi resource dengan kredensial pengguna Akun Google Anda, Anda harus memberikan izin secara manual agar pipeline BigQuery mendapatkan token akses untuk Akun Google Anda dan mengakses data sumber atas nama Anda. Anda dapat memberikan persetujuan manual dengan antarmuka dialog OAuth.

Anda hanya perlu memberikan izin ke pipeline BigQuery satu kali.

Untuk mencabut izin yang Anda berikan, ikuti langkah-langkah berikut:

1. Buka halaman Akun Google Anda.
2. Klik BigQuery Pipelines.
3. Klik Hapus akses.

Mengubah pemilik jadwal penyiapan data dengan memperbarui kredensial juga memerlukan persetujuan manual jika pemilik Akun Google baru belum pernah membuat jadwal sebelumnya.

Menjalankan persiapan data terjadwal secara manual

Saat Anda menjalankan persiapan data secara manual dalam jadwal yang dipilih, BigQuery akan menjalankan persiapan data satu kali, secara terpisah dari jadwal.

Untuk menjalankan persiapan data terjadwal secara manual, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Scheduling.

   Buka Penjadwalan

2. Klik nama jadwal penyiapan data yang dipilih.

3. Di halaman Schedule details, klik Run.

Lihat jadwal

Anda dapat melihat jadwal penyiapan data dari editor penyiapan data atau halaman Penjadwalan.

Mengedit jadwal

Anda dapat mengedit jadwal dari editor penyiapan data atau halaman Penjadwalan.

Menghapus jadwal

Untuk menghapus jadwal secara permanen untuk penyiapan data yang dipilih, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Scheduling.

   Buka Penjadwalan

2. Di baris yang berisi jadwal, klik more_vert Tindakan > Hapus.

Langkah berikutnya

• Pelajari cara membuat persiapan data.
• Pelajari lebih lanjut cara mengelola penyiapan data.