Daftar tugas Dataflow

Untuk melihat daftar tugas Dataflow Anda, buka halaman Dataflow > Jobs di konsol Google Cloud .

Buka Tugas

Daftar tugas Dataflow akan muncul beserta statusnya.

Tugas dapat memiliki status berikut:

• —: antarmuka pemantauan belum menerima status dari layanan Dataflow.
• Berjalan: tugas sedang berjalan.
• Memulai...: tugas dibuat, tetapi sistem memerlukan waktu untuk bersiap sebelum diluncurkan.
• Dalam antrean: baik tugas FlexRS sedang dalam antrean atau tugas Template Flex sedang diluncurkan (yang mungkin memerlukan waktu beberapa menit).
• Membatalkan...: tugas sedang dibatalkan.
• Dibatalkan: tugas dibatalkan.
• Menguras...: tugas sedang dikuras.
• Drained: tugas telah dihentikan.
• Memperbarui...: tugas sedang diperbarui.
• Diperbarui: tugas diperbarui.
• Berhasil: tugas telah berhasil diselesaikan.
• Gagal: tugas gagal diselesaikan.

Mengakses visualisasi tugas

Untuk mengakses diagram guna memantau tugas Anda, klik nama tugas dalam antarmuka pemantauan Dataflow. Halaman Detail tugas akan ditampilkan, yang berisi informasi berikut:

• Grafik tugas: representasi visual pipeline Anda
• Detail eksekusi: alat untuk mengoptimalkan performa pipeline Anda
• Metrik tugas: metrik tentang jalannya tugas Anda
• Biaya: metrik tentang perkiraan biaya tugas Anda
• Penskalaan otomatis: metrik yang terkait dengan peristiwa penskalaan otomatis tugas streaming
• Panel info tugas: informasi deskriptif tentang pipeline Anda
• Log tugas: log yang dihasilkan oleh layanan Dataflow di tingkat tugas
• Log pekerja: log yang dibuat oleh layanan Dataflow di tingkat pekerja
• Diagnostik: tabel yang menunjukkan tempat terjadinya error di sepanjang linimasa yang dipilih dan kemungkinan rekomendasi untuk pipeline Anda
• Sampling data: alat yang memungkinkan Anda mengamati data di setiap langkah pipeline

Di halaman Detail tugas, Anda dapat beralih tampilan tugas dengan tab Grafik tugas, Detail eksekusi, Metrik tugas, Biaya, dan Penskalaan otomatis.

Menggunakan Google Cloud CLI untuk mencantumkan tugas

Anda juga dapat menggunakan Google Cloud CLI untuk mendapatkan daftar tugas Dataflow Anda.

Untuk mencantumkan tugas Dataflow di project Anda, gunakan perintah dataflow jobs list:

gcloud dataflow jobs list

Perintah ini akan menampilkan daftar tugas Anda saat ini. Berikut adalah contoh output:

  ID                                        NAME                                    TYPE   CREATION_TIME        STATE   REGION
  2015-06-03_16_39_22-4020553808241078833   wordcount-janedoe-0603233849            Batch  2015-06-03 16:39:22  Done    us-central1
  2015-06-03_16_38_28-4363652261786938862   wordcount-johndoe-0603233820            Batch  2015-06-03 16:38:28  Done    us-central1
  2015-05-21_16_24_11-17823098268333533078  bigquerytornadoes-johndoe-0521232402    Batch  2015-05-21 16:24:11  Done    europe-west1
  2015-05-21_13_38_06-16409850040969261121  bigquerytornadoes-johndoe-0521203801    Batch  2015-05-21 13:38:06  Done    us-central1
  2015-05-21_13_17_18-18349574013243942260  bigquerytornadoes-johndoe-0521201710    Batch  2015-05-21 13:17:18  Done    europe-west1
  2015-05-21_12_49_37-9791290545307959963   wordcount-johndoe-0521194928            Batch  2015-05-21 12:49:37  Done    us-central1
  2015-05-20_15_54_51-15905022415025455887  wordcount-johndoe-0520225444            Batch  2015-05-20 15:54:51  Failed  us-central1
  2015-05-20_15_47_02-14774624590029708464  wordcount-johndoe-0520224637            Batch  2015-05-20 15:47:02  Done    us-central1

Untuk menampilkan informasi selengkapnya tentang tugas, gunakan perintah dataflow jobs describe:

gcloud dataflow jobs describe JOB_ID

Ganti JOB_ID dengan tugas ID. Output dari perintah ini akan terlihat seperti berikut:

createTime: '2015-02-09T19:39:41.140Z'
currentState: JOB_STATE_DONE
currentStateTime: '2015-02-09T19:56:39.510Z'
id: 2015-02-09_11_39_40-15635991037808002875
name: tfidf-bchambers-0209193926
projectId: google.com:clouddfe
type: JOB_TYPE_BATCH

Untuk memformat hasilnya ke dalam JSON, jalankan perintah dengan opsi --format=json:

gcloud --format=json dataflow jobs describe JOB_ID

Mengarsipkan (menyembunyikan) tugas Dataflow dari daftar

Saat Anda mengarsipkan tugas Dataflow, tugas tersebut akan dihapus dari daftar tugas di halaman Jobs Dataflow di konsol. Lowongan dipindahkan ke daftar lowongan yang diarsipkan. Anda hanya dapat mengarsipkan tugas yang telah selesai, yang mencakup tugas dalam status berikut:

• JOB_STATE_CANCELLED
• JOB_STATE_DRAINED
• JOB_STATE_DONE
• JOB_STATE_FAILED
• JOB_STATE_UPDATED

Untuk mengetahui informasi selengkapnya tentang cara memverifikasi status ini, lihat Mendeteksi penyelesaian tugas Dataflow.

Untuk mengetahui informasi pemecahan masalah saat Anda mengarsipkan tugas, lihat Error tugas pengarsipan di "Memecahkan masalah error Dataflow".

Semua tugas yang diarsipkan akan dihapus setelah periode retensi 30 hari.

Mengarsipkan pekerjaan

Ikuti langkah-langkah berikut untuk menghapus tugas yang telah selesai dari daftar tugas utama di halaman Tugas Dataflow.

PUT https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived

{
  "job_metadata": {
    "userDisplayProperties": {
      "archived": "true"
    }
  }
}

curl -X PUT \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PUT `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived" | Select-Object -Expand Content

{
  "id": "JOB_ID",
  "projectId": "PROJECT_ID",
  "currentState": "JOB_STATE_DONE",
  "currentStateTime": "2025-05-20T20:54:41.651442Z",
  "createTime": "2025-05-20T20:51:06.031248Z",
  "jobMetadata": {
    "userDisplayProperties": {
      "archived": "true"
    }
  },
  "startTime": "2025-05-20T20:51:06.031248Z"
}

Melihat dan memulihkan tugas yang diarsipkan

Ikuti langkah-langkah berikut untuk melihat tugas yang diarsipkan atau memulihkan tugas yang diarsipkan ke daftar tugas utama di halaman Tugas Dataflow.

PUT https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived

{
  "job_metadata": {
    "userDisplayProperties": {
      "archived": "false"
    }
  }
}

curl -X PUT \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PUT `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived" | Select-Object -Expand Content

{
  "id": "JOB_ID",
  "projectId": "PROJECT_ID",
  "currentState": "JOB_STATE_DONE",
  "currentStateTime": "2025-05-20T20:54:41.651442Z",
  "createTime": "2025-05-20T20:51:06.031248Z",
  "jobMetadata": {
    "userDisplayProperties": {
      "archived": "false"
    }
  },
  "startTime": "2025-05-20T20:51:06.031248Z"
}