Menjadwalkan notebook

Dokumen ini menjelaskan cara menjadwalkan notebook Colab Enterprise di BigQuery, dan memeriksa eksekusi notebook terjadwal.

Notebook adalah aset kode yang didukung oleh Dataform. Namun, notebook tidak terlihat di Dataform.

Anda dapat menjadwalkan notebook agar berjalan otomatis pada waktu dan frekuensi yang ditentukan—misalnya, untuk melatih model ML, memanggil API eksternal, atau menjalankan kode BigQuery DataFrames.

Perubahan yang Anda buat pada notebook akan disimpan secara otomatis, tetapi hanya tersedia untuk Anda dan pengguna yang memiliki akses ke notebook. Untuk memperbarui jadwal dengan versi baru notebook, Anda perlu men-deploy notebook. Dengan men-deploy notebook, Anda memperbarui jadwalnya dengan versi notebook saat ini. Jadwal menjalankan versi notebook yang di-deploy terbaru.

Setiap jadwal notebook dijalankan menggunakan kredensial pengguna Akun Google Anda atau akun layanan Dataform yang Anda pilih saat mengonfigurasi jadwal.

Dataform menulis output dari eksekusi notebook terjadwal ke bucket Cloud Storage yang dipilih selama pembuatan jadwal.

Jadwal notebook menggunakan runtime E2 standar. Biaya untuk runtime Colab Enterprise berlaku. Anda ditagih untuk pemrosesan runtime berdasarkan jenis mesin E2. Untuk mengetahui informasi tentang harga runtime E2 standar, lihat Harga Colab Enterprise.

Sebelum memulai

Sebelum memulai, buat notebook.

Mengaktifkan penjadwalan notebook

Untuk menjadwalkan notebook, Anda harus memberikan peran berikut ke akun layanan yang akan digunakan untuk jadwal notebook:

Pengguna Eksekutor Notebook (roles/aiplatform.notebookExecutorUser)
Ikuti langkah-langkah di Memberikan satu peran pada project untuk memberikan peran Notebook Executor User ke akun layanan Anda di project yang dipilih.
Storage Admin (roles/storage.admin)
Ikuti Menambahkan akun utama ke kebijakan tingkat bucket untuk menambahkan akun layanan Anda sebagai akun utama ke bucket Cloud Storage yang akan Anda gunakan untuk menyimpan output dari eksekusi notebook terjadwal, dan berikan peran Storage Admin ke akun utama ini.
Pengguna Akun Layanan (roles/iam.serviceAccountUser)
Ikuti Memberikan satu peran di akun layanan untuk menambahkan akun layanan Anda sebagai akun utama ke akun layanan itu sendiri. Dengan kata lain, tambahkan akun layanan sebagai akun utama ke akun layanan yang sama. Kemudian, berikan peran Service Account User kepada akun utama ini.

Selain itu, Anda harus memberikan peran berikut ke akun layanan Dataform default:

Service Account Token Creator (roles/iam.serviceAccountTokenCreator)
Ikuti Memberi akses pembuatan token ke akun layanan Dataform kustom untuk menambahkan akun layanan Dataform default sebagai akun utama ke akun layanan Anda, dan berikan peran Service Account Token Creator kepada akun utama ini.

Untuk mempelajari lebih lanjut akun layanan di Dataform, lihat Tentang akun layanan di Dataform.

Izin yang diperlukan

Untuk membuat jadwal notebook, Anda memerlukan peran berikut:

Untuk menggunakan template runtime notebook saat menjadwalkan notebook, Anda memerlukan peran Notebook Runtime User (roles/aiplatform.notebookRuntimeUser).

Untuk mengedit dan menghapus jadwal notebook, Anda memerlukan peran Dataform Editor (roles/dataform.editor).

Untuk melihat jadwal notebook, Anda memerlukan peran Dataform Viewer (roles/dataform.viewer).

Untuk mengetahui informasi selengkapnya tentang IAM BigQuery, lihat Kontrol akses dengan IAM.

Buat jadwal

Untuk membuat jadwal notebook, ikuti langkah-langkah berikut:

Panel Penjelajah

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project Anda dan folder Notebooks, dan jika perlu, folder Shared notebooks. Klik nama notebook yang ingin Anda jadwalkan.

  3. Di toolbar Notebook, klik Jadwalkan.

    Atau, klik Jadwalkan.

  4. Di panel Schedule Notebook, di kolom Schedule name, masukkan nama untuk jadwal.

  5. Di bagian Authentication, beri otorisasi notebook dengan kredensial pengguna Akun Google Anda atau akun layanan.

    • Untuk menggunakan kredensial pengguna Akun Google Anda (Pratinjau), pilih Jalankan dengan kredensial pengguna saya.
    • Untuk menggunakan akun layanan, pilih Jalankan dengan akun layanan yang dipilih, lalu pilih akun layanan.

  6. Di bagian Notebook options, di kolom Runtime template, pilih template runtime notebook Colab atau spesifikasi runtime default. Untuk mengetahui detail tentang cara membuat template runtime notebook Colab, lihat Membuat template runtime.

  7. Di kolom Cloud Storage bucket, klik Browse lalu pilih atau buat bucket Cloud Storage.

    Akun layanan yang dipilih harus diberi peran IAM Storage Admin (roles/storage.admin) di bucket yang dipilih. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan penjadwalan notebook.

  8. Di bagian Frekuensi jadwal, lakukan tindakan berikut:

    1. Di menu Ulangi, pilih frekuensi eksekusi notebook terjadwal.
    2. Di kolom At time, masukkan waktu untuk menjalankan notebook terjadwal.
    3. Di menu Zona waktu, pilih zona waktu untuk jadwal.

  9. Klik Buat jadwal. Jika Anda memilih Jalankan dengan kredensial pengguna saya untuk metode autentikasi, Anda harus mengizinkan Akun Google Anda (Pratinjau).

Saat Anda membuat jadwal, versi notebook saat ini akan di-deploy secara otomatis. Untuk memperbarui jadwal dengan versi baru notebook, deploy notebook.

Versi notebook yang di-deploy terbaru berjalan pada waktu dan frekuensi yang dipilih.

Halaman Penjadwalan

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka Penjadwalan

  2. Klik Buat, lalu pilih Jadwal notebook dari menu.

  3. Di panel Jadwalkan notebook, di kolom Notebook, pilih notebook yang ingin Anda jadwalkan.

  4. Di kolom Schedule name, masukkan nama untuk jadwal.

  5. Di bagian Authentication, beri otorisasi notebook dengan kredensial pengguna Akun Google Anda atau akun layanan.

    • Untuk menggunakan kredensial pengguna Akun Google Anda (Pratinjau), pilih Jalankan dengan kredensial pengguna saya.
    • Untuk menggunakan akun layanan, pilih Jalankan dengan akun layanan yang dipilih, lalu pilih akun layanan.

  6. Di bagian Notebook options, di kolom Runtime template, pilih template runtime notebook Colab atau spesifikasi runtime default. Untuk mengetahui detail tentang cara membuat template runtime notebook Colab, lihat Membuat template runtime.

  7. Di kolom Cloud Storage bucket, klik Browse lalu pilih atau buat bucket Cloud Storage.

    Akun layanan yang dipilih harus diberi peran IAM Storage Admin (roles/storage.admin) di bucket yang dipilih. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan penjadwalan notebook.

  8. Di bagian Frekuensi jadwal, lakukan tindakan berikut:

    1. Di menu Ulangi, pilih frekuensi eksekusi notebook terjadwal.
    2. Di kolom At time, masukkan waktu untuk menjalankan notebook terjadwal.
    3. Di menu Zona waktu, pilih zona waktu untuk jadwal.

  9. Klik Buat jadwal. Jika Anda memilih Jalankan dengan kredensial pengguna saya untuk metode autentikasi, Anda harus mengizinkan Akun Google Anda (Pratinjau).

Saat Anda membuat jadwal, versi notebook saat ini akan di-deploy secara otomatis. Untuk memperbarui jadwal dengan versi baru notebook, deploy notebook.

Versi notebook yang di-deploy terbaru berjalan pada waktu dan frekuensi yang dipilih.

Memberi otorisasi pada Akun Google Anda

Untuk mengautentikasi resource dengan kredensial pengguna Akun Google Anda, Anda harus memberikan izin secara manual agar pipeline BigQuery mendapatkan token akses untuk Akun Google Anda dan mengakses data sumber atas nama Anda. Anda dapat memberikan persetujuan manual dengan antarmuka dialog OAuth.

Anda hanya perlu memberikan izin ke pipeline BigQuery satu kali.

Untuk mencabut izin yang Anda berikan, ikuti langkah-langkah berikut:

  1. Buka halaman Akun Google Anda.
  2. Klik BigQuery Pipelines.
  3. Klik Hapus akses.

Mengubah pemilik jadwal notebook dengan mengupdate kredensial juga memerlukan persetujuan manual jika pemilik Akun Google baru belum pernah membuat jadwal sebelumnya.

Men-deploy notebook

Men-deploy notebook akan memperbarui jadwalnya dengan versi notebook saat ini. Jadwal menjalankan versi notebook yang di-deploy terbaru.

Jika Anda memiliki jadwal untuk notebook ini, BigQuery akan meminta Anda untuk men-deploy perubahan guna memperbarui jadwal saat Anda mengedit notebook.

Untuk men-deploy notebook, ikuti langkah-langkah berikut:

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project dan folder Notebooks, dan jika perlu, folder Shared notebooks. Klik nama notebook yang dipilih.

  3. Klik Deploy.

Jadwal yang sesuai diperbarui dengan versi notebook saat ini. Versi notebook yang di-deploy terbaru akan berjalan pada waktu yang dijadwalkan.

Menjalankan notebook yang di-deploy secara manual

Saat Anda menjalankan notebook yang di-deploy secara manual dalam jadwal yang dipilih, BigQuery akan menjalankan notebook yang di-deploy satu kali, terlepas dari jadwalnya.

Untuk menjalankan notebook yang di-deploy secara manual, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka Penjadwalan

  2. Klik nama jadwal notebook yang dipilih.

  3. Di halaman Schedule details, klik Run.

Melihat semua jadwal

Untuk melihat semua jadwal notebook di project Anda, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka Penjadwalan

  2. Opsional: Untuk menampilkan kolom tambahan dengan detail jadwal notebook, klik Opsi tampilan kolom, lalu pilih kolom dan klik Oke.

Melihat detail jadwal

Anda dapat melihat detail jadwal yang dipilih di panel Explorer atau di halaman Penjadwalan.

Untuk melihat detail jadwal notebook yang dipilih, ikuti langkah-langkah berikut:

Panel Penjelajah

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project dan folder Notebooks, dan jika perlu, folder Shared notebooks. Klik nama notebook yang dipilih.

  3. Di toolbar Notebook, klik Jadwalkan.

    Atau, klik Jadwalkan.

Halaman Penjadwalan

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka Penjadwalan

  2. Klik nama jadwal notebook yang dipilih.

Melihat eksekusi sebelumnya

Anda dapat melihat eksekusi sebelumnya dari jadwal notebook yang dipilih di panel Explorer atau di halaman Penjadwalan.

Untuk melihat eksekusi sebelumnya dari jadwal notebook yang dipilih, ikuti langkah-langkah berikut:

Panel Penjelajah

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project dan folder Notebooks, dan jika perlu, folder Shared notebooks. Klik nama notebook yang dipilih.

  3. Klik Jadwalkan, lalu klik Lihat eksekusi sebelumnya.

Halaman Penjadwalan

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka Penjadwalan

  2. Klik nama jadwal notebook yang dipilih.

  3. Di halaman Detail jadwal, di bagian Eksekusi sebelumnya, periksa eksekusi sebelumnya.

  4. Opsional: Untuk memuat ulang daftar eksekusi sebelumnya, klik Muat ulang.

Menonaktifkan jadwal

Untuk menjeda proses terjadwal dari notebook yang dipilih tanpa menghapus jadwal, Anda dapat menonaktifkan jadwal.

Untuk menonaktifkan jadwal notebook yang dipilih, ikuti langkah-langkah berikut:

Panel Penjelajah

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project dan folder Notebooks, dan jika perlu, folder Shared notebooks. Klik nama notebook yang dipilih.

  3. Di toolbar Notebook, klik Jadwalkan.

    Atau, klik Jadwalkan.

  4. Di tabel detail jadwal, di baris Status jadwal, klik tombol Jadwal diaktifkan.

Halaman Penjadwalan

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka Penjadwalan

  2. Klik nama notebook yang dipilih.

  3. Di halaman Schedule details, klik Disable.

Mengaktifkan jadwal

Untuk melanjutkan jadwal notebook yang dinonaktifkan, ikuti langkah-langkah berikut:

Panel Penjelajah

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project dan folder Notebooks, dan jika perlu, folder Shared notebooks. Klik nama notebook yang dipilih.

  3. Di toolbar Notebook, klik Jadwalkan.

    Atau, klik Jadwalkan.

  4. Di tabel detail jadwal, di baris Status jadwal, klik tombol Jadwal dinonaktifkan.

Halaman Penjadwalan

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka Penjadwalan

  2. Klik nama notebook yang dipilih.

  3. Di halaman Schedule details, klik Enable.

Mengedit jadwal

Anda dapat mengedit jadwal di panel Explorer atau di halaman Penjadwalan.

Untuk mengedit jadwal, ikuti langkah-langkah berikut:

Panel Penjelajah

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project dan folder Notebooks, dan jika perlu, folder Shared notebooks. Klik nama notebook yang dipilih.

  3. Klik Jadwalkan, lalu klik Edit.

  4. Dalam dialog Detail jadwal, edit jadwal, lalu klik Perbarui jadwal.

Halaman Penjadwalan

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka Penjadwalan

  2. Klik nama jadwal notebook yang dipilih.

  3. Di halaman Schedule details, klik Edit.

  4. Klik Lihat jadwal, lalu klik Edit.

  5. Di dialog Jadwalkan notebook, edit jadwal, lalu klik Perbarui jadwal.

Menghapus jadwal

Untuk menghapus jadwal secara permanen untuk notebook yang dipilih, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka Penjadwalan

  2. Lakukan salah satu hal berikut:

    • Klik nama jadwal yang dipilih, lalu di halaman Schedule details, klik Delete.

    • Di baris yang berisi jadwal yang dipilih, klik Lihat tindakan di kolom Tindakan, lalu klik Hapus.

  3. Pada dialog yang muncul, klik Hapus.

Langkah berikutnya