Untuk melihat daftar tugas Dataflow, buka halaman Dataflow > Jobs di konsol Google Cloud.
Daftar tugas Dataflow akan muncul beserta statusnya.
Tugas dapat memiliki status berikut:
- —: antarmuka pemantauan belum menerima status dari layanan Dataflow.
- Running: tugas sedang berjalan.
- Starting...: tugas dibuat, tetapi sistem memerlukan waktu beberapa saat untuk bersiap sebelum diluncurkan.
- Diantrekan: Tugas FlexRS diantrekan atau tugas Template Flex sedang diluncurkan (yang mungkin memerlukan waktu beberapa menit).
- Membatalkan...: tugas sedang dibatalkan.
- Dibatalkan: tugas dibatalkan.
- Draining...: tugas sedang dihapus.
- Drained: tugas habis.
- Memperbarui...: tugas sedang diperbarui.
- Diperbarui: tugas diperbarui.
- Berhasil: tugas berhasil diselesaikan.
- Gagal: tugas gagal diselesaikan.
Mengakses visualisasi tugas
Untuk mengakses diagram guna memantau tugas Anda, klik nama tugas dalam antarmuka pemantauan Dataflow. Halaman Detail tugas akan ditampilkan, yang berisi informasi berikut:
- Grafik tugas: representasi visual pipeline Anda
- Detail eksekusi: alat untuk mengoptimalkan performa pipeline
- Metrik tugas: metrik tentang pengoperasian tugas Anda
- Biaya: metrik tentang perkiraan biaya tugas Anda
- Penskalaan otomatis: metrik yang terkait dengan peristiwa penskalaan otomatis tugas streaming
- Panel info tugas: informasi deskriptif tentang pipeline Anda
- Log tugas: log yang dihasilkan oleh layanan Dataflow di tingkat tugas
- Log pekerja: log yang dihasilkan oleh layanan Dataflow di tingkat pekerja
- Diagnostik: tabel yang menunjukkan tempat terjadinya error di sepanjang linimasa yang dipilih dan kemungkinan rekomendasi untuk pipeline Anda
- Sampling data: alat yang memungkinkan Anda mengamati data di setiap langkah pipeline
Di halaman Detail tugas, Anda dapat beralih tampilan tugas dengan tab Grafik tugas, Detail eksekusi, Metrik tugas, Biaya, dan Penskalaan otomatis.
Menggunakan Google Cloud CLI untuk mencantumkan tugas
Anda juga dapat menggunakan Google Cloud CLI untuk mendapatkan daftar tugas Dataflow.
Untuk mencantumkan tugas Dataflow dalam project Anda, gunakan perintah dataflow jobs list:
gcloud dataflow jobs list
Perintah ini menampilkan daftar tugas Anda saat ini. Berikut adalah contoh output:
ID NAME TYPE CREATION_TIME STATE REGION 2015-06-03_16_39_22-4020553808241078833 wordcount-janedoe-0603233849 Batch 2015-06-03 16:39:22 Done us-central1 2015-06-03_16_38_28-4363652261786938862 wordcount-johndoe-0603233820 Batch 2015-06-03 16:38:28 Done us-central1 2015-05-21_16_24_11-17823098268333533078 bigquerytornadoes-johndoe-0521232402 Batch 2015-05-21 16:24:11 Done europe-west1 2015-05-21_13_38_06-16409850040969261121 bigquerytornadoes-johndoe-0521203801 Batch 2015-05-21 13:38:06 Done us-central1 2015-05-21_13_17_18-18349574013243942260 bigquerytornadoes-johndoe-0521201710 Batch 2015-05-21 13:17:18 Done europe-west1 2015-05-21_12_49_37-9791290545307959963 wordcount-johndoe-0521194928 Batch 2015-05-21 12:49:37 Done us-central1 2015-05-20_15_54_51-15905022415025455887 wordcount-johndoe-0520225444 Batch 2015-05-20 15:54:51 Failed us-central1 2015-05-20_15_47_02-14774624590029708464 wordcount-johndoe-0520224637 Batch 2015-05-20 15:47:02 Done us-central1
Untuk menampilkan informasi selengkapnya tentang tugas, gunakan perintah
dataflow jobs describe:
gcloud dataflow jobs describe JOB_ID
Ganti JOB_ID dengan tugas ID. Output dari perintah ini akan terlihat seperti berikut:
createTime: '2015-02-09T19:39:41.140Z' currentState: JOB_STATE_DONE currentStateTime: '2015-02-09T19:56:39.510Z' id: 2015-02-09_11_39_40-15635991037808002875 name: tfidf-bchambers-0209193926 projectId: google.com:clouddfe type: JOB_TYPE_BATCH
Untuk memformat hasilnya menjadi JSON, jalankan perintah dengan opsi --format=json:
gcloud --format=json dataflow jobs describe JOB_ID