Menjadwalkan notebook
Dokumen ini menjelaskan cara menjadwalkan notebook Colab Enterprise di BigQuery, dan memeriksa operasi notebook terjadwal.
Notebook adalah aset kode yang didukung oleh Dataform.
Anda dapat menjadwalkan notebook untuk berjalan secara otomatis pada waktu dan frekuensi yang ditentukan—misalnya, untuk melatih model ML, memanggil API eksternal, atau menjalankan kode BigQuery DataFrames.
Perubahan yang Anda buat pada notebook akan otomatis disimpan, tetapi hanya tersedia untuk Anda dan pengguna yang memiliki akses ke notebook. Untuk memperbarui jadwal dengan versi baru notebook, Anda perlu men-deploy notebook. Dengan men-deploy notebook, Anda memperbarui jadwalnya dengan versi notebook saat ini. Jadwal menjalankan notebook versi terbaru yang di-deploy.
Setiap jadwal notebook dijalankan oleh akun layanan, yang Anda pilih selama pembuatan jadwal. Untuk informasi selengkapnya tentang jenis akun layanan di Dataform, lihat Tentang akun layanan di Dataform.
Dataform menulis output dari notebook terjadwal yang dijalankan ke bucket Cloud Storage yang dipilih selama pembuatan jadwal.
Jadwal notebook menggunakan runtime E2 standar. Biaya Colab Enterprise untuk runtime berlaku. Anda dikenai biaya untuk pemrosesan runtime berdasarkan jenis mesin E2. Untuk mengetahui informasi tentang harga runtime E2 standar, lihat Harga Colab Enterprise.
Sebelum memulai
Sebelum memulai, buat notebook.
Mengaktifkan penjadwalan notebook
Untuk menjadwalkan notebook, Anda harus memberikan peran berikut ke akun layanan yang ingin Anda gunakan untuk jadwal notebook:
- Pengguna Notebook Executor (
roles/aiplatform.notebookExecutorUser) - Ikuti Memberikan satu peran di project untuk memberikan peran Notebook Executor User ke akun layanan Anda di project yang dipilih.
- Storage Admin (
roles/storage.admin) - Ikuti Menambahkan akun utama ke kebijakan tingkat bucket untuk menambahkan akun layanan Anda sebagai akun utama ke bucket Cloud Storage yang ingin Anda gunakan untuk menyimpan output eksekusi notebook terjadwal, dan berikan peran Storage Admin ke akun utama ini.
- Service Account User (
roles/iam.serviceAccountUser) - Ikuti Memberikan satu peran di akun layanan untuk menambahkan akun layanan Anda sebagai akun utama ke akun layanan itu sendiri. Dengan kata lain, tambahkan akun layanan sebagai akun utama ke akun layanan yang sama. Kemudian, berikan peran Service Account User kepada akun utama ini.
Selain itu, Anda harus memberikan peran berikut ke akun layanan Dataform default:
- Service Account Token Creator (
roles/iam.serviceAccountTokenCreator) - Ikuti Memberikan akses pembuatan token ke akun layanan Dataform kustom untuk menambahkan akun layanan Dataform default sebagai akun utama ke akun layanan Anda, dan berikan peran Service Account Token Creator ke akun utama ini.
Untuk mempelajari akun layanan di Dataform lebih lanjut, lihat Tentang akun layanan di Dataform.
Izin yang diperlukan
Untuk membuat jadwal notebook, Anda memerlukan peran berikut:
- Dataform Admin (
roles/dataform.admin) - BigQuery Read Session User (
roles/bigquery.readSessionUser) atau BigQuery Studio User (roles/bigquery.studioUser)
Untuk menggunakan template runtime notebook saat menjadwalkan notebook, Anda memerlukan peran
Notebook Runtime User (roles/aiplatform.notebookRuntimeUser).
Untuk mengedit dan menghapus jadwal notebook, Anda memerlukan peran
Dataform Editor (roles/dataform.editor).
Untuk melihat jadwal notebook, Anda memerlukan peran
Dataform Viewer (roles/dataform.viewer).
Untuk mengetahui informasi selengkapnya tentang IAM BigQuery, lihat Kontrol akses dengan IAM.
Buat jadwal
Untuk membuat jadwal notebook, ikuti langkah-langkah berikut:
Panel Penjelajah
Di Google Cloud konsol, buka halaman BigQuery.
Di panel Explorer, luaskan project Anda dan folder Notebooks, dan jika perlu, folder Shared notebooks. Klik nama notebook yang ingin Anda jadwalkan.
Klik Jadwalkan.
Di panel Schedule Notebook, di kolom Schedule name, masukkan nama untuk jadwal.
Di kolom Service account, pilih akun layanan.
Di bagian Notebook options, di kolom Runtime template, pilih template runtime notebook Colab atau spesifikasi runtime default. Untuk mengetahui detail tentang cara membuat template runtime notebook Colab, lihat Membuat template runtime.
Di kolom Cloud Storage bucket, klik Browse, lalu pilih atau buat bucket Cloud Storage.
Akun layanan yang dipilih harus diberi peran IAM Storage Admin (
roles/storage.admin) di bucket yang dipilih. Untuk informasi selengkapnya, lihat Mengaktifkan penjadwalan notebook.Di bagian Schedule frequency, lakukan tindakan berikut:
- Di menu Ulangi, pilih frekuensi pengoperasian notebook terjadwal.
- Di kolom At time, masukkan waktu untuk menjalankan notebook terjadwal.
- Di menu Zona waktu, pilih zona waktu untuk jadwal.
Klik Buat jadwal.
Saat Anda membuat jadwal, versi notebook saat ini akan di-deploy secara otomatis. Untuk memperbarui jadwal dengan versi baru notebook, deploy notebook.
Versi notebook terbaru yang di-deploy berjalan pada waktu dan frekuensi yang dipilih.
Halaman Penjadwalan
Di Google Cloud console, buka halaman Penjadwalan.
Klik Buat, lalu pilih Jadwal notebook dari menu.
Di panel Jadwalkan notebook, di kolom Notebook, pilih notebook yang ingin Anda jadwalkan.
Di kolom Schedule name, masukkan nama untuk jadwal.
Di kolom Service account, pilih akun layanan.
Di bagian Notebook options, di kolom Runtime template, pilih template runtime notebook Colab atau spesifikasi runtime default. Untuk mengetahui detail tentang cara membuat template runtime notebook Colab, lihat Membuat template runtime.
Di kolom Cloud Storage bucket, klik Browse, lalu pilih atau buat bucket Cloud Storage.
Akun layanan yang dipilih harus diberi peran IAM Storage Admin (
roles/storage.admin) di bucket yang dipilih. Untuk informasi selengkapnya, lihat Mengaktifkan penjadwalan notebook.Di bagian Schedule frequency, lakukan tindakan berikut:
- Di menu Ulangi, pilih frekuensi pengoperasian notebook terjadwal.
- Di kolom At time, masukkan waktu untuk menjalankan notebook terjadwal.
- Di menu Zona waktu, pilih zona waktu untuk jadwal.
Klik Buat jadwal.
Saat Anda membuat jadwal, versi notebook saat ini akan di-deploy secara otomatis. Untuk memperbarui jadwal dengan versi baru notebook, deploy notebook.
Versi notebook terbaru yang di-deploy berjalan pada waktu dan frekuensi yang dipilih.
Men-deploy notebook
Men-deploy notebook akan memperbarui jadwalnya dengan versi notebook saat ini. Jadwal menjalankan notebook versi terbaru yang di-deploy.
Untuk men-deploy notebook, ikuti langkah-langkah berikut:
Di Google Cloud konsol, buka halaman BigQuery.
Di panel Penjelajah, luaskan project Anda dan folder Notebook, dan jika perlu, folder Notebook bersama. Klik nama notebook yang dipilih.
Klik Deploy.
Jadwal yang sesuai akan diperbarui dengan versi notebook saat ini. Versi notebook terbaru yang di-deploy akan berjalan pada waktu yang dijadwalkan.
Menjalankan notebook yang di-deploy secara manual
Saat Anda menjalankan notebook yang di-deploy secara manual dalam jadwal yang dipilih, BigQuery akan mengeksekusi notebook yang di-deploy satu kali, secara independen dari jadwal.
Untuk menjalankan notebook yang di-deploy secara manual, ikuti langkah-langkah berikut:
Di Google Cloud console, buka halaman Penjadwalan.
Klik nama jadwal notebook yang dipilih.
Di halaman Schedule details, klik Run.
Melihat semua jadwal
Untuk melihat semua jadwal notebook dalam project Anda, ikuti langkah-langkah berikut:
Di Google Cloud console, buka halaman Penjadwalan.
Opsional: Untuk menampilkan kolom tambahan dengan detail jadwal notebook, klik Column display options, lalu pilih kolom dan klik OK.
Melihat detail jadwal
Anda dapat melihat detail jadwal yang dipilih di panel Explorer atau di halaman Penjadwalan.
Untuk melihat detail jadwal notebook yang dipilih, ikuti langkah-langkah berikut:
Panel Penjelajah
Di Google Cloud konsol, buka halaman BigQuery.
Di panel Explorer, luaskan project Anda dan folder Notebooks, dan jika perlu, folder Shared notebooks. Klik nama notebook yang dipilih.
Klik Lihat jadwal.
Halaman Penjadwalan
Di Google Cloud console, buka halaman Penjadwalan.
Klik nama jadwal notebook yang dipilih.
Melihat eksekusi sebelumnya
Anda dapat melihat eksekusi sebelumnya dari jadwal notebook yang dipilih di panel Penjelajah atau di halaman Penjadwalan.
Untuk melihat eksekusi sebelumnya dari jadwal notebook yang dipilih, ikuti langkah-langkah berikut:
Panel Penjelajah
Di Google Cloud konsol, buka halaman BigQuery.
Di panel Explorer, luaskan project Anda dan folder Notebooks, dan jika perlu, folder Shared notebooks. Klik nama notebook yang dipilih.
Klik Lihat jadwal, lalu klik Lihat eksekusi sebelumnya.
Halaman Penjadwalan
Di Google Cloud console, buka halaman Penjadwalan.
Klik nama jadwal notebook yang dipilih.
Di halaman Detail jadwal, di bagian Eksekusi sebelumnya, periksa eksekusi sebelumnya.
Opsional: Untuk memuat ulang daftar eksekusi sebelumnya, klik Muat ulang.
Menonaktifkan jadwal
Untuk menjeda operasi terjadwal notebook yang dipilih tanpa menghapus jadwal, Anda dapat menonaktifkan jadwal.
Untuk menonaktifkan jadwal notebook yang dipilih, ikuti langkah-langkah berikut:
Panel Penjelajah
Di Google Cloud konsol, buka halaman BigQuery.
Di panel Penjelajah, luaskan project Anda dan folder Notebook, dan jika perlu, folder Notebook bersama. Klik nama notebook yang dipilih.
Klik Lihat jadwal.
Di tabel detail jadwal, di baris Status jadwal, klik tombol Jadwal diaktifkan.
Halaman Penjadwalan
Di Google Cloud console, buka halaman Penjadwalan.
Klik nama notebook yang dipilih.
Di halaman Schedule details, klik Disable.
Mengaktifkan jadwal
Untuk melanjutkan operasi terjadwal dari jadwal notebook yang dinonaktifkan, ikuti langkah-langkah berikut:
Panel Penjelajah
Di Google Cloud konsol, buka halaman BigQuery.
Di panel Penjelajah, luaskan project Anda dan folder Notebook, dan jika perlu, folder Notebook bersama. Klik nama notebook yang dipilih.
Klik Lihat jadwal.
Di tabel detail jadwal, di baris Status jadwal, klik tombol Jadwal dinonaktifkan.
Halaman Penjadwalan
Di Google Cloud console, buka halaman Penjadwalan.
Klik nama notebook yang dipilih.
Di halaman Detail jadwal, klik Aktifkan.
Mengedit jadwal
Anda dapat mengedit jadwal di panel Penjelajah atau di halaman Penjadwalan.
Untuk mengedit jadwal, ikuti langkah-langkah berikut:
Panel Penjelajah
Di Google Cloud konsol, buka halaman BigQuery.
Di panel Explorer, luaskan project Anda dan folder Notebooks, dan jika perlu, folder Shared notebooks. Klik nama notebook yang dipilih.
Klik Lihat jadwal, lalu klik Edit.
Di dialog Jadwalkan notebook, edit jadwal, lalu klik Perbarui jadwal.
Halaman Penjadwalan
Di Google Cloud console, buka halaman Penjadwalan.
Klik nama jadwal notebook yang dipilih.
Di halaman Schedule details, klik Edit.
Klik Lihat jadwal, lalu klik Edit.
Dalam dialog Jadwalkan notebook, edit jadwal, lalu klik Perbarui jadwal.
Menghapus jadwal
Untuk menghapus jadwal secara permanen untuk notebook yang dipilih, ikuti langkah-langkah berikut:
Di Google Cloud console, buka halaman Penjadwalan.
Lakukan salah satu hal berikut:
Klik nama jadwal yang dipilih, lalu di halaman Schedule details, klik Delete.
Di baris yang berisi jadwal yang dipilih, klik Lihat tindakan di kolom Tindakan, lalu klik Hapus.
Pada dialog yang muncul, klik Hapus.
Langkah berikutnya
- Pelajari notebook Colab Enterprise di BigQuery lebih lanjut.
- Pelajari cara membuat notebook.