Dokumen ini menjelaskan dasar-dasar pembuatan tugas Batch: cara membuat dan menjalankan tugas yang didasarkan pada skrip atau image container dan menggunakan variabel yang telah ditentukan sebelumnya dan kustom. Untuk mempelajari lebih lanjut cara membuat dan menjalankan tugas, lihat Ringkasan pembuatan dan eksekusi tugas.
Sebelum memulai
- Jika belum pernah menggunakan Batch, baca Mulai menggunakan Batch dan aktifkan Batch dengan menyelesaikan prasyarat untuk project dan pengguna.
-
Untuk mendapatkan izin yang Anda perlukan untuk membuat tugas, minta administrator Anda untuk memberi Anda peran IAM berikut:
-
Batch Job Editor (
roles/batch.jobsEditor
) di project -
Pengguna Akun Layanan (
roles/iam.serviceAccountUser
) di akun layanan tugas, yang secara default adalah akun layanan Compute Engine default
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
-
Batch Job Editor (
-
Setiap kali Anda membuat tugas, pastikan tugas memiliki konfigurasi jaringan yang valid.
- Jika Anda tidak memiliki persyaratan jaringan tertentu untuk workload atau project dan Anda belum mengubah jaringan default untuk project, tidak ada tindakan yang diperlukan.
- Jika tidak, Anda perlu mengonfigurasi jaringan saat membuat tugas. Pelajari cara mengonfigurasi jaringan untuk tugas sebelum Anda membuat tugas dasar, sehingga Anda dapat mengubah contoh di bawah untuk memenuhi persyaratan jaringan Anda.
-
Setiap kali Anda membuat tugas, pastikan tugas memiliki lingkungan sistem operasi (OS) VM yang valid.
- Jika Anda tidak memiliki persyaratan boot disk atau image OS VM tertentu untuk project atau workload, Anda tidak perlu melakukan tindakan apa pun.
- Jika tidak, Anda perlu menyiapkan opsi lingkungan OS VM yang valid. Sebelum membuat tugas dasar, izinkan konfigurasi default untuk lingkungan OS VM atau pelajari cara menyesuaikan lingkungan OS VM sehingga Anda dapat mengubah contoh di bawah agar sesuai dengan persyaratan Anda.
Membuat tugas dasar
Untuk mengetahui informasi tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat dokumentasi referensi untuk resource REST projects.locations.jobs
.
Singkatnya, tugas terdiri dari array dari satu atau beberapa tugas
yang semuanya menjalankan satu atau beberapa
runnable,
yang merupakan skrip dan/atau container yang dapat dieksekusi untuk tugas Anda.
Untuk membahas dasar-dasarnya, bagian ini menjelaskan cara membuat contoh tugas dengan
hanya satu yang dapat dijalankan, baik skrip maupun image container:
- Jika Anda ingin menggunakan Batch untuk menulis tugas yang menjalankan image container, lihat membuat tugas container.
- Atau, jika Anda tidak yakin apakah ingin menggunakan image container atau tidak, atau jika Anda tidak terbiasa dengan container, sebaiknya buat tugas skrip.
Contoh tugas untuk kedua jenis tugas berisi grup tugas dengan array 4 tugas. Setiap tugas mencetak pesan dan indeksnya ke output standar dan Cloud Logging. Definisi untuk tugas ini menentukan paralelisme 2, yang menunjukkan bahwa tugas harus berjalan di 2 VM agar 2 tugas dapat berjalan sekaligus.
Membuat tugas container dasar
Anda dapat memilih atau membuat image container untuk menyediakan kode dan dependensi agar tugas Anda dapat berjalan dari lingkungan komputasi mana pun. Untuk mengetahui informasi selengkapnya, lihat Bekerja dengan image container dan Menjalankan container pada instance VM.
Anda dapat membuat tugas penampung dasar menggunakan konsol Google Cloud , gcloud CLI, Batch API, Go, Java, Node.js, Python, atau C++.
Konsol
Untuk membuat tugas container dasar menggunakan konsol Google Cloud , lakukan hal berikut:
Di konsol Google Cloud , buka halaman Job list.
Klik
Create. Halaman Create batch job akan terbuka. Di panel kiri, halaman Job details dipilih.Konfigurasi halaman Detail pekerjaan:
Opsional: Di kolom Nama tugas, sesuaikan nama tugas.
Misalnya, masukkan
example-basic-job
.Konfigurasi bagian Detail tugas:
Di jendela Runnable baru, tambahkan setidaknya satu skrip atau penampung agar tugas ini dapat berjalan.
Misalnya, untuk menambahkan satu penampung, lakukan langkah-langkah berikut:
Pilih Container image URL (default).
Di kolom Container image URL, masukkan URL untuk image container yang ingin Anda jalankan untuk setiap tugas dalam pekerjaan ini.
Misalnya, untuk menggunakan image container Docker
busybox
, masukkan URL berikut:gcr.io/google-containers/busybox
Opsional: Untuk mengganti perintah
ENTRYPOINT
image container, masukkan perintah di kolom Titik entri.Misalnya, masukkan yang berikut:
/bin/sh
Opsional: Untuk mengganti perintah
CMD
image container, lakukan hal berikut:Pilih kotak centang Ganti perintah CMD image container. Kolom akan muncul.
Di kolom, masukkan satu atau beberapa perintah, dengan memisahkan setiap perintah dengan baris baru.
Misalnya, masukkan perintah berikut:
-c echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks.
Klik Selesai.
Di kolom Jumlah tugas, masukkan jumlah tugas untuk tugas ini. Nilai harus berupa bilangan bulat antara
1
dan batas tugas per grup tugas.Misalnya, masukkan
4
.Di kolom Paralelisme, masukkan jumlah tugas yang akan dijalankan secara bersamaan. Angka tidak boleh lebih besar dari jumlah total tugas dan harus berupa bilangan bulat antara
1
dan batas tugas paralel per pekerjaan.Misalnya, masukkan
2
.
Konfigurasi halaman Spesifikasi resource:
Di panel kiri, klik Spesifikasi resource. Halaman Spesifikasi resource akan terbuka.
Di bagian VM provisioning model, pilih salah satu opsi berikut untuk provisioning model bagi VM tugas ini:
Jika tugas Anda dapat menahan preemption dan Anda menginginkan VM yang didiskon, pilih Spot.
Jika tidak, pilih Standar.
Misalnya, pilih Standar (default).
Pilih lokasi untuk tugas ini:
Di kolom Region, pilih region.
Misalnya, pilih
us-central1 (Iowa)
(default).Di kolom Zone, lakukan salah satu hal berikut:
Jika Anda ingin membatasi tugas ini agar hanya berjalan di zona tertentu, pilih zona.
Jika tidak, pilih any.
Misalnya, pilih apa saja (default).
Pilih salah satu kelompok mesin berikut:
Untuk workload umum, klik General purpose.
Untuk workload yang membutuhkan performa intensif, klik Compute optimized.
Untuk workload dengan kerja memori intensif, klik Memory optimized.
Untuk workload yang dioptimalkan untuk akselerator, klik GPU. Untuk mengetahui informasi selengkapnya, lihat Membuat dan menjalankan tugas yang menggunakan GPU.
Misalnya, klik General purpose (default).
Di kolom Series, pilih seri mesin untuk VM tugas ini.
Misalnya, jika Anda memilih General purpose untuk kelompok mesin, pilih E2 (default).
Di kolom Machine type, pilih jenis mesin untuk VM tugas ini.
Misalnya, jika Anda memilih E2 untuk seri mesin, pilih e2-medium (2 vCPU, 4 GB memory) (default).
Konfigurasi jumlah resource VM yang diperlukan untuk setiap tugas:
Di kolom Cores, masukkan jumlah vCPUs per tugas.
Misalnya, masukkan
1
(default).Di kolom Memory, masukkan jumlah RAM dalam GB per tugas.
Misalnya, masukkan
0.5
(default).
Opsional: Untuk meninjau konfigurasi tugas, di panel kiri, klik Pratinjau.
Klik Buat.
Halaman Job details menampilkan tugas yang Anda buat.
gcloud
Untuk membuat tugas penampung dasar menggunakan gcloud CLI, lakukan langkah-langkah berikut:
Buat file JSON yang menentukan detail konfigurasi tugas Anda. Misalnya, untuk membuat tugas container dasar, buat file JSON dengan konten berikut. Untuk mengetahui informasi selengkapnya tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat dokumentasi referensi untuk resource REST
projects.locations.jobs
.{ "taskGroups": [ { "taskSpec": { "runnables": [ { "container": { CONTAINER } } ], "computeResource": { "cpuMilli": CORES, "memoryMib": MEMORY }, "maxRetryCount": MAX_RETRY_COUNT, "maxRunDuration": "MAX_RUN_DURATION" }, "taskCount": TASK_COUNT, "parallelism": PARALLELISM } ] }
Ganti kode berikut:
CONTAINER
: container yang menjalankan setiap tugas. Minimal, penampung harus menentukan gambar di subkolomimageUri
, tetapi subkolom tambahan juga mungkin diperlukan. Untuk mengetahui informasi selengkapnya, lihat sub-kolomcontainer
dan contoh tugas penampung di bagian ini.CORES
: Opsional. Jumlah core—khususnya vCPUs, yang biasanya merepresentasikan setengah core fisik—yang akan dialokasikan untuk setiap tugas dalam unit milliCPU. Jika kolomcpuMilli
tidak ditentukan, nilai akan ditetapkan ke2000
(2 vCPU).MEMORY
: Opsional. Jumlah memori yang akan dialokasikan untuk setiap tugas dalam MB. Jika kolommemoryMib
tidak ditentukan, nilai akan disetel ke2000
(2 GB).MAX_RETRY_COUNT
: Opsional. Jumlah maksimum percobaan ulang untuk tugas. Nilai harus berupa bilangan bulat antara0
dan10
. Jika kolommaxRetryCount
tidak ditentukan, nilai akan ditetapkan ke0
, yang berarti tidak mencoba ulang tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRetryCount
, lihat Mengotomatiskan percobaan ulang tugas.MAX_RUN_DURATION
: Opsional. Waktu maksimum tugas diizinkan berjalan sebelum dicoba lagi atau gagal, diformat sebagai nilai dalam detik yang diikuti dengans
—misalnya,3600s
untuk 1 jam. Jika kolommaxRunDuration
tidak ditentukan, nilai akan ditetapkan ke waktu berjalan maksimum untuk tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRunDuration
, lihat Membatasi waktu proses untuk tugas dan runnable menggunakan waktu tunggu.TASK_COUNT
: Opsional. Jumlah tugas untuk tugas. Nilai harus berupa bilangan bulat antara1
dan batas tugas per grup tugas. Jika kolomtaskCount
tidak ditentukan, nilai akan ditetapkan ke1
.PARALLELISM
: Opsional. Jumlah tugas yang dijalankan tugas secara serentak. Angka tidak boleh lebih besar dari jumlah tugas dan harus berupa bilangan bulat antara1
dan batas tugas paralel per pekerjaan. Jika kolomparallelism
tidak ditentukan, nilai akan ditetapkan ke1
.
Buat tugas menggunakan perintah
gcloud batch jobs submit
.gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Ganti kode berikut:
JOB_NAME
: nama tugas.LOCATION
: lokasi tugas.JSON_CONFIGURATION_FILE
: jalur untuk file JSON dengan detail konfigurasi tugas.
Misalnya, untuk membuat tugas yang menjalankan tugas menggunakan
image container Docker busybox
:
Buat file JSON di direktori saat ini bernama
hello-world-container.json
dengan konten berikut:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "container": { "imageUri": "gcr.io/google-containers/busybox", "entrypoint": "/bin/sh", "commands": [ "-c", "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." ] } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 }, "maxRetryCount": 2, "maxRunDuration": "3600s" }, "taskCount": 4, "parallelism": 2 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] }, "labels": { "department": "finance", "env": "testing" }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Jalankan perintah berikut:
gcloud batch jobs submit example-container-job \ --location us-central1 \ --config hello-world-container.json
API
Untuk membuat tugas container dasar menggunakan Batch API, gunakan
metode jobs.create
.
Untuk mengetahui informasi selengkapnya tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat dokumentasi referensi untuk resource REST projects.locations.jobs
.
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"container": {
CONTAINER
}
}
],
"computeResource": {
"cpuMilli": CORES,
"memoryMib": MEMORY
},
"maxRetryCount": MAX_RETRY_COUNT,
"maxRunDuration": "MAX_RUN_DURATION"
},
"taskCount": TASK_COUNT,
"parallelism": PARALLELISM
}
]
}
Ganti kode berikut:
PROJECT_ID
: Project ID project Anda.LOCATION
: lokasi tugas.JOB_NAME
: nama tugas.CONTAINER
: container yang menjalankan setiap tugas. Minimal, penampung harus menentukan gambar di subkolomimageUri
, tetapi subkolom tambahan juga mungkin diperlukan. Untuk mengetahui informasi selengkapnya, lihat sub-kolomcontainer
dan contoh tugas penampung di bagian ini.CORES
: Opsional. Jumlah core—khususnya vCPUs, yang biasanya merepresentasikan setengah core fisik—yang akan dialokasikan untuk setiap tugas dalam unit milliCPU. Jika kolomcpuMilli
tidak ditentukan, nilai akan ditetapkan ke2000
(2 vCPU).MEMORY
: Opsional. Jumlah memori yang akan dialokasikan untuk setiap tugas dalam MB. Jika kolommemoryMib
tidak ditentukan, nilai ditetapkan ke2000
(2 GB).MAX_RETRY_COUNT
: Opsional. Jumlah maksimum percobaan ulang untuk tugas. Nilai harus berupa bilangan bulat antara0
dan10
. Jika kolommaxRetryCount
tidak ditentukan, nilai akan ditetapkan ke0
, yang berarti tidak mencoba ulang tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRetryCount
, lihat Mengotomatiskan percobaan ulang tugas.MAX_RUN_DURATION
: Opsional. Waktu maksimum tugas diizinkan berjalan sebelum dicoba lagi atau gagal, diformat sebagai nilai dalam detik yang diikuti dengans
—misalnya,3600s
untuk 1 jam. Jika kolommaxRunDuration
tidak ditentukan, nilai akan ditetapkan ke waktu proses maksimum untuk tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRunDuration
, lihat Membatasi waktu proses untuk tugas dan runnable menggunakan waktu tunggu.TASK_COUNT
: Opsional. Jumlah tugas untuk pekerjaan, yang harus berupa bilangan bulat antara1
dan batas tugas per grup tugas. Jika kolomtaskCount
tidak ditentukan, nilai akan ditetapkan ke1
.PARALLELISM
: Opsional. Jumlah tugas yang dijalankan tugas secara serentak. Angka tidak boleh lebih besar dari jumlah tugas dan harus berupa bilangan bulat antara1
dan batas tugas paralel per pekerjaan. Jika kolomparallelism
tidak ditentukan, nilai akan ditetapkan ke1
.
Misalnya, untuk membuat tugas yang menjalankan tugas menggunakan
image container Docker busybox
,
gunakan permintaan berikut:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-container-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"container": {
"imageUri": "gcr.io/google-containers/busybox",
"entrypoint": "/bin/sh",
"commands": [
"-c",
"echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
]
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
},
"maxRetryCount": 2,
"maxRunDuration": "3600s"
},
"taskCount": 4,
"parallelism": 2
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
},
"labels": {
"department": "finance",
"env": "testing"
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
dengan PROJECT_ID
adalah
project ID
project Anda.
Go
Go
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Go Batch.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Java
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Java Batch.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Node.js
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Node.js Batch.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Python
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Python Batch.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
C++
C++
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API C++ Batch.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat tugas skrip dasar
Anda dapat membuat tugas skrip dasar menggunakan Google Cloud konsol, gcloud CLI, Batch API, Go, Java, Node.js, Python, atau C++.
Konsol
Untuk membuat tugas skrip dasar menggunakan konsol Google Cloud , lakukan hal berikut:
Di konsol Google Cloud , buka halaman Job list.
Klik
Create. Halaman Create batch job akan terbuka. Di panel kiri, halaman Job details dipilih.Konfigurasi halaman Detail pekerjaan:
Opsional: Di kolom Nama tugas, sesuaikan nama tugas.
Misalnya, masukkan
example-basic-job
.Konfigurasi bagian Detail tugas:
Di jendela Runnable baru, tambahkan setidaknya satu skrip atau penampung agar tugas ini dapat berjalan.
Misalnya, untuk menambahkan satu skrip, lakukan hal berikut:
Pilih Skrip. Kolom akan muncul.
Di kolom, masukkan skrip yang ingin Anda jalankan untuk setiap tugas dalam pekerjaan ini.
Misalnya, masukkan skrip berikut:
echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks.
Klik Selesai.
Di kolom Jumlah tugas, masukkan jumlah tugas untuk tugas ini. Nilai harus berupa bilangan bulat antara
1
dan batas tugas per grup tugas.Misalnya, masukkan
4
.Di kolom Paralelisme, masukkan jumlah tugas yang akan dijalankan secara bersamaan. Angka tidak boleh lebih besar dari jumlah total tugas dan harus berupa bilangan bulat antara
1
dan batas tugas paralel per pekerjaan.Misalnya, masukkan
2
.
Konfigurasi halaman Spesifikasi resource:
Di panel kiri, klik Spesifikasi resource. Halaman Spesifikasi resource akan terbuka.
Di bagian VM provisioning model, pilih salah satu opsi berikut untuk provisioning model bagi VM tugas ini:
Jika tugas Anda dapat menahan preemption dan Anda menginginkan VM yang didiskon, pilih Spot.
Jika tidak, pilih Standar.
Misalnya, pilih Standar (default).
Pilih lokasi untuk tugas ini:
Di kolom Region, pilih region.
Misalnya, pilih
us-central1 (Iowa)
(default).Di kolom Zone, lakukan salah satu hal berikut:
Jika Anda ingin membatasi tugas ini agar hanya berjalan di zona tertentu, pilih zona.
Jika tidak, pilih any.
Misalnya, pilih apa saja (default).
Pilih salah satu kelompok mesin berikut:
Untuk workload umum, klik General purpose.
Untuk workload yang membutuhkan performa intensif, klik Compute optimized.
Untuk workload dengan kerja memori intensif, klik Memory optimized.
Untuk workload yang dioptimalkan untuk akselerator, klik GPU. Untuk mengetahui informasi selengkapnya, lihat Membuat dan menjalankan tugas yang menggunakan GPU.
Misalnya, klik General purpose (default).
Di kolom Series, pilih seri mesin untuk VM tugas ini.
Misalnya, jika Anda memilih General purpose untuk kelompok mesin, pilih E2 (default).
Di kolom Machine type, pilih jenis mesin untuk VM tugas ini.
Misalnya, jika Anda memilih E2 untuk seri mesin, pilih e2-medium (2 vCPU, 4 GB memory) (default).
Konfigurasi jumlah resource VM yang diperlukan untuk setiap tugas:
Di kolom Cores, masukkan jumlah vCPUs per tugas.
Misalnya, masukkan
1
(default).Di kolom Memory, masukkan jumlah RAM dalam GB per tugas.
Misalnya, masukkan
0.5
(default).
Opsional: Untuk meninjau konfigurasi tugas, di panel kiri, klik Pratinjau.
Klik Buat.
Halaman Job details menampilkan tugas yang Anda buat.
gcloud
Untuk membuat tugas skrip dasar menggunakan gcloud CLI, lakukan langkah-langkah berikut:
Buat file JSON yang menentukan detail konfigurasi tugas Anda. Misalnya, untuk membuat tugas skrip dasar, buat file JSON dengan isi berikut. Untuk mengetahui informasi selengkapnya tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat dokumentasi referensi untuk resource REST
projects.locations.jobs
.{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { SCRIPT } } ], "computeResource": { "cpuMilli": CORES, "memoryMib": MEMORY }, "maxRetryCount": MAX_RETRY_COUNT, "maxRunDuration": "MAX_RUN_DURATION" }, "taskCount": TASK_COUNT, "parallelism": PARALLELISM } ] }
Ganti kode berikut:
SCRIPT
: skrip yang dijalankan setiap tugas. Skrip harus ditentukan sebagai teks menggunakan sub-bidangtext
atau sebagai jalur ke file yang dapat diakses menggunakan sub-bidangpath
. Untuk mengetahui informasi selengkapnya, lihat sub-kolomscript
dan contoh tugas skrip di bagian ini.CORES
: Opsional. Jumlah core—khususnya vCPUs, yang biasanya merepresentasikan setengah core fisik—yang akan dialokasikan untuk setiap tugas dalam unit milliCPU. Jika kolomcpuMilli
tidak ditentukan, nilai akan ditetapkan ke2000
(2 vCPU).MEMORY
: Opsional. Jumlah memori yang akan dialokasikan untuk setiap tugas dalam MB. Jika kolommemoryMib
tidak ditentukan, nilai akan disetel ke2000
(2 GB).MAX_RETRY_COUNT
: Opsional. Jumlah maksimum percobaan ulang untuk tugas. Nilai harus berupa bilangan bulat antara0
dan10
. Jika kolommaxRetryCount
tidak ditentukan, nilai akan ditetapkan ke0
, yang berarti tidak mencoba ulang tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRetryCount
, lihat Mengotomatiskan percobaan ulang tugas.MAX_RUN_DURATION
: Opsional. Waktu maksimum tugas diizinkan berjalan sebelum dicoba lagi atau gagal, diformat sebagai nilai dalam detik yang diikuti dengans
—misalnya,3600s
untuk 1 jam. Jika kolommaxRunDuration
tidak ditentukan, nilai akan ditetapkan ke waktu berjalan maksimum untuk tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRunDuration
, lihat Membatasi waktu proses untuk tugas dan runnable menggunakan waktu tunggu.TASK_COUNT
: Opsional. Jumlah tugas untuk tugas. Nilai harus berupa bilangan bulat antara1
dan batas tugas per grup tugas. Jika kolomtaskCount
tidak ditentukan, nilai akan ditetapkan ke1
.PARALLELISM
: Opsional. Jumlah tugas yang dijalankan tugas secara serentak. Angka tidak boleh lebih besar dari jumlah tugas dan harus berupa bilangan bulat antara1
dan batas tugas paralel per pekerjaan. Jika kolomparallelism
tidak ditentukan, nilai akan ditetapkan ke1
.
Buat tugas menggunakan perintah
gcloud batch jobs submit
.gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Ganti kode berikut:
JOB_NAME
: nama tugas.LOCATION
: lokasi tugas.JSON_CONFIGURATION_FILE
: jalur untuk file JSON dengan detail konfigurasi tugas.
Misalnya, untuk membuat tugas yang menjalankan tugas menggunakan skrip:
Buat file JSON di direktori saat ini bernama
hello-world-script.json
dengan konten berikut:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 }, "maxRetryCount": 2, "maxRunDuration": "3600s" }, "taskCount": 4, "parallelism": 2 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] }, "labels": { "department": "finance", "env": "testing" }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Jalankan perintah berikut:
gcloud batch jobs submit example-script-job \ --location us-central1 \ --config hello-world-script.json
API
Untuk membuat tugas skrip dasar menggunakan Batch API, gunakan
metode jobs.create
.
Untuk mengetahui informasi selengkapnya tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat dokumentasi referensi untuk resource REST projects.locations.jobs
.
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
SCRIPT
}
}
],
"computeResource": {
"cpuMilli": CORES,
"memoryMib": MEMORY
},
"maxRetryCount": MAX_RETRY_COUNT,
"maxRunDuration": "MAX_RUN_DURATION"
},
"taskCount": TASK_COUNT,
"parallelism": PARALLELISM
}
]
}
Ganti kode berikut:
PROJECT_ID
: Project ID project Anda.LOCATION
: lokasi tugas.JOB_NAME
: nama tugas.SCRIPT
: skrip yang dijalankan setiap tugas. Skrip harus ditentukan sebagai teks menggunakan sub-bidangtext
atau sebagai jalur ke file yang dapat diakses menggunakan sub-bidangpath
. Untuk mengetahui informasi selengkapnya, lihat sub-kolomscript
dan contoh tugas skrip di bagian ini.CORES
: Opsional. Jumlah core—khususnya vCPUs, yang biasanya merepresentasikan setengah core fisik—yang akan dialokasikan untuk setiap tugas dalam unit milliCPU. Jika kolomcpuMilli
tidak ditentukan, nilai akan ditetapkan ke2000
(2 vCPU).MEMORY
: Opsional. Jumlah memori yang akan dialokasikan untuk setiap tugas dalam MB. Jika kolommemoryMib
tidak ditentukan, nilai ditetapkan ke2000
(2 GB).MAX_RETRY_COUNT
: Opsional. Jumlah maksimum percobaan ulang untuk tugas. Nilai harus berupa bilangan bulat antara0
dan10
. Jika kolommaxRetryCount
tidak ditentukan, nilai akan ditetapkan ke0
, yang berarti tidak mencoba ulang tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRetryCount
, lihat Mengotomatiskan percobaan ulang tugas.MAX_RUN_DURATION
: Opsional. Waktu maksimum tugas diizinkan berjalan sebelum dicoba lagi atau gagal, diformat sebagai nilai dalam detik yang diikuti dengans
—misalnya,3600s
untuk 1 jam. Jika kolommaxRunDuration
tidak ditentukan, nilai akan ditetapkan ke waktu proses maksimum untuk tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRunDuration
, lihat Membatasi waktu proses untuk tugas dan runnable menggunakan waktu tunggu.TASK_COUNT
: Opsional. Jumlah tugas untuk tugas. Nilai harus berupa bilangan bulat antara1
dan batas tugas per grup tugas. Jika kolomtaskCount
tidak ditentukan, nilai akan ditetapkan ke1
.PARALLELISM
: Opsional. Jumlah tugas yang dijalankan tugas secara serentak. Angka tidak boleh lebih besar dari jumlah tugas dan harus berupa bilangan bulat antara1
dan batas tugas paralel per pekerjaan. Jika kolomparallelism
tidak ditentukan, nilai akan ditetapkan ke1
.
Misalnya, untuk membuat tugas yang menjalankan tugas menggunakan skrip, gunakan permintaan berikut:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-script-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
},
"maxRetryCount": 2,
"maxRunDuration": "3600s"
},
"taskCount": 4,
"parallelism": 2
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
},
"labels": {
"department": "finance",
"env": "testing"
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
dengan PROJECT_ID
adalah
project ID
project Anda.
Go
Go
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Go Batch.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Java
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Java Batch.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Node.js
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Node.js Batch.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Python
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Python Batch.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
C++
C++
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API C++ Batch.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Menggunakan variabel lingkungan
Gunakan variabel lingkungan saat Anda menulis image atau skrip container yang ingin Anda jalankan tugasnya. Anda dapat menggunakan variabel lingkungan yang telah ditentukan sebelumnya untuk semua tugas Batch dan variabel lingkungan kustom yang Anda tentukan saat membuat tugas.
Menggunakan variabel lingkungan standar
Secara default, runnable dalam tugas Anda dapat menggunakan variabel lingkungan yang telah ditentukan sebelumnya berikut:
BATCH_TASK_COUNT
: jumlah total tugas dalam grup tugas ini.BATCH_TASK_INDEX
: nomor indeks tugas ini dalam grup tugas. Indeks tugas pertama adalah0
dan bertambah untuk setiap tugas tambahan.BATCH_HOSTS_FILE
: jalur ke file yang mencantumkan semua instance VM yang berjalan dalam grup tugas ini. Untuk menggunakan variabel lingkungan ini, kolomrequireHostsFile
harus ditetapkan ketrue
.BATCH_TASK_RETRY_ATTEMPT
: jumlah percobaan yang telah dilakukan untuk tugas ini. Nilainya adalah0
selama percobaan pertama tugas dan bertambah untuk setiap percobaan ulang berikutnya. Jumlah total percobaan ulang yang diizinkan untuk suatu tugas ditentukan oleh nilai kolommaxRetryCount
, yaitu0
jika tidak ditentukan. Untuk mengetahui informasi selengkapnya tentang percobaan ulang, lihat Mengotomatiskan percobaan ulang tugas.
Untuk contoh cara menggunakan variabel lingkungan standar, lihat runnable contoh sebelumnya di Membuat tugas dasar dalam dokumen ini.
Menentukan dan menggunakan variabel lingkungan kustom
Secara opsional, Anda dapat menentukan satu atau beberapa variabel lingkungan kustom dalam tugas.
Anda menentukan setiap variabel di lingkungan tertentu berdasarkan cakupan data yang diinginkan:
Untuk variabel yang memiliki nilai yang sama untuk semua tugas, gunakan salah satu opsi berikut:
Jika variabel memiliki nilai yang sama untuk semua runnable, gunakan lingkungan semua runnable (sub-bidang
environment
daritaskSpec
).Jika tidak, jika variabel memiliki nilai terpisah untuk semua runnable, gunakan satu atau beberapa lingkungan runnable tertentu (subbidang
environment
darirunnables[]
).
Jika tidak, untuk variabel array yang memiliki nilai terpisah untuk setiap tugas, gunakan lingkungan semua tugas (
taskEnvironment
).
Di lingkungan yang dipilih, Anda menentukan nama dan nilai setiap variabel menggunakan salah satu sub-kolom lingkungan berikut:
Untuk menentukan variabel secara langsung dalam file JSON konfigurasi tugas, gunakan sub-bidang variabel standar (
variables
), seperti yang ditunjukkan di bagian ini. Opsi ini direkomendasikan untuk data yang tidak ingin Anda enkripsi.Untuk menentukan variabel menggunakan data terenkripsi, Anda dapat menggunakan Secret Manager atau Cloud Key Management Service:
Untuk menggunakan konten terenkripsi dari secret Secret Manager yang ada, gunakan sub-bidang variabel secret (
secretVariables
). Untuk mengetahui informasi selengkapnya tentang cara menggunakan secret dalam tugas, lihat Melindungi data sensitif menggunakan Secret Manager.Untuk menggunakan konten terenkripsi dari kunci Cloud Key Management Service yang ada, gunakan sub-bidang encrypted variables (
encryptedVariables
). Untuk mengetahui informasi selengkapnya tentang kunci Cloud KMS, lihat dokumentasi untuk Cloud Key Management Service.
Anda dapat menentukan dan menggunakan variabel lingkungan kustom untuk tugas menggunakan gcloud CLI atau Batch API. Contoh berikut menjelaskan cara membuat dua tugas yang menentukan dan menggunakan variabel standar. Contoh tugas pertama memiliki variabel untuk runnable tertentu. Contoh tugas kedua memiliki variabel array, yang memiliki nilai berbeda untuk setiap tugas.
gcloud
Jika Anda ingin menentukan tugas yang meneruskan variabel lingkungan ke runnable yang dijalankan setiap tugas, lihat contoh cara Menentukan dan menggunakan variabel lingkungan untuk runnable. Jika tidak, jika Anda ingin menentukan tugas yang meneruskan daftar variabel lingkungan ke tugas yang berbeda berdasarkan indeks tugas, lihat contoh cara Menentukan dan menggunakan variabel lingkungan untuk setiap tugas.
Menentukan dan menggunakan variabel lingkungan untuk runnable
Untuk membuat tugas yang meneruskan variabel lingkungan ke runnable menggunakan
gcloud CLI, gunakan
perintah gcloud batch jobs submit
dan tentukan variabel lingkungan dalam file konfigurasi tugas.
Misalnya, untuk membuat tugas skrip yang menentukan variabel lingkungan dan meneruskannya ke skrip 3 tugas, buat permintaan berikut:
Buat file JSON di direktori saat ini bernama
hello-world-environment-variables.json
dengan konten berikut:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello ${VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." }, "environment": { "variables": { "VARIABLE_NAME": "VARIABLE_VALUE" } } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 } }, "taskCount": 3, "parallelism": 1 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] } }
Ganti kode berikut:
VARIABLE_NAME
: nama variabel lingkungan yang diteruskan ke setiap tugas. Menurut konvensi, nama variabel lingkungan ditulis dengan huruf kapital.VARIABLE_VALUE
: Opsional. Nilai variabel lingkungan yang diteruskan ke setiap tugas.
Jalankan perintah berikut:
gcloud batch jobs submit example-environment-variables-job \ --location us-central1 \ --config hello-world-environment-variables.json
Menentukan dan menggunakan variabel lingkungan untuk setiap tugas
Untuk membuat tugas yang meneruskan variabel lingkungan ke tugas berdasarkan indeks tugas menggunakan gcloud CLI, gunakan
perintah gcloud batch jobs submit
dan tentukan kolom array taskEnvironments
dalam file konfigurasi tugas.
Misalnya, untuk membuat tugas yang menyertakan array 3 variabel lingkungan dengan nama yang cocok dan nilai yang berbeda, serta meneruskan variabel lingkungan ke skrip tugas yang indeksnya cocok dengan indeks variabel lingkungan dalam array:
Buat file JSON di direktori saat ini bernama
hello-world-task-environment-variables.json
dengan konten berikut:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello ${TASK_VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." }, } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 } }, "taskCount": 3, "taskEnvironments": [ { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_0" } }, { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_1" } }, { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_2" } } ] } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] } }
Ganti kode berikut:
TASK_VARIABLE_NAME
: nama variabel lingkungan tugas yang diteruskan ke tugas dengan indeks yang cocok. Menurut konvensi, nama variabel lingkungan ditulis dengan huruf kapital.TASK_VARIABLE_VALUE_0
: nilai variabel lingkungan yang diteruskan ke tugas pertama, denganBATCH_TASK_INDEX
sama dengan0
.TASK_VARIABLE_VALUE_1
: nilai variabel lingkungan yang diteruskan ke tugas kedua, denganBATCH_TASK_INDEX
sama dengan1
.TASK_VARIABLE_VALUE_2
: nilai variabel lingkungan yang diteruskan ke tugas ketiga, denganBATCH_TASK_INDEX
sama dengan2
.
Jalankan perintah berikut:
gcloud batch jobs submit example-task-environment-variables-job \ --location us-central1 \ --config hello-world-task-environment-variables.json
API
Jika Anda ingin menentukan tugas yang meneruskan variabel lingkungan ke runnable yang dijalankan setiap tugas, lihat contoh cara Menentukan dan menggunakan variabel lingkungan untuk runnable. Jika tidak, jika Anda ingin menentukan tugas yang meneruskan daftar variabel lingkungan ke tugas yang berbeda berdasarkan indeks tugas, lihat contoh cara Menentukan dan menggunakan variabel lingkungan untuk setiap tugas.
Menentukan dan menggunakan variabel lingkungan untuk runnable
Untuk membuat tugas yang meneruskan variabel lingkungan ke runnable menggunakan
Batch API, gunakan
perintah gcloud batch jobs submit
dan tentukan variabel lingkungan di kolom environment
.
Misalnya, untuk membuat tugas yang menyertakan variabel lingkungan dan meneruskannya ke skrip 3 tugas, buat permintaan berikut:
POST https://batch.googleapis.com/v1/projects/<var>PROJECT_ID</var>/locations/us-central1/jobs?job_id=example-environment-variables-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello ${VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
},
"environment": {
"variables": {
"VARIABLE_NAME": "VARIABLE_VALUE"
}
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
}
},
"taskCount": 3,
"parallelism": 1
}
],
"allocationPolicy": {
"instances": [
{
"policy": {
"machineType": "e2-standard-4"
}
}
]
}
}
Ganti kode berikut:
PROJECT_ID
: Project ID project Anda.VARIABLE_NAME
: nama variabel lingkungan yang diteruskan ke setiap tugas. Menurut konvensi, nama variabel lingkungan ditulis dengan huruf kapital.VARIABLE_VALUE
: nilai variabel lingkungan yang diteruskan ke setiap tugas.
Menentukan dan menggunakan variabel lingkungan untuk setiap tugas
Untuk membuat tugas yang meneruskan variabel lingkungan ke tugas berdasarkan indeks tugas menggunakan Batch API, gunakan metode jobs.create
dan tentukan variabel lingkungan di kolom array taskEnvironments
.
Misalnya, untuk membuat tugas yang menyertakan array 3 variabel lingkungan dengan nama yang cocok dan nilai yang berbeda, serta meneruskan variabel lingkungan ke skrip 3 tugas berdasarkan indeksnya, buat permintaan berikut:
POST https://batch.googleapis.com/v1/projects/<var>PROJECT_ID</var>/locations/us-central1/jobs?job_id=example-task-environment-variables-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello ${TASK_VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
},
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
}
},
"taskCount": 3,
"taskEnvironments": [
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_0"
}
},
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_1"
}
},
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_2"
}
}
]
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
}
}
Ganti kode berikut:
PROJECT_ID
: Project ID project Anda.TASK_VARIABLE_NAME
: nama variabel lingkungan yang diteruskan ke tugas dengan indeks yang cocok. Menurut konvensi, nama variabel lingkungan menggunakan huruf besar.TASK_VARIABLE_VALUE_0
: nilai variabel lingkungan yang diteruskan ke tugas pertama, denganBATCH_TASK_INDEX
sama dengan0
.TASK_VARIABLE_VALUE_1
: nilai variabel lingkungan yang diteruskan ke tugas kedua, denganBATCH_TASK_INDEX
sama dengan1
.TASK_VARIABLE_VALUE_2
: nilai variabel lingkungan yang diteruskan ke tugas ketiga, denganBATCH_TASK_INDEX
sama dengan2
.
Langkah berikutnya
- Jika Anda mengalami masalah saat membuat atau menjalankan tugas, lihat Pemecahan masalah.
- Melihat tugas.
- Pelajari lebih lanjut opsi pembuatan tugas.