Memantau log Dataplex Universal Catalog

Log tugas Dataplex Universal Catalog dapat dilihat, ditelusuri, difilter, dan diarsipkan di Cloud Logging.

Untuk memahami biaya, lihat harga Google Cloud Observability.

Untuk mengetahui informasi selengkapnya tentang retensi logging, lihat Periode retensi log.

Untuk menonaktifkan semua log atau mengecualikan log dari Logging, lihat Filter pengecualian.

Untuk merutekan log dari Logging ke Cloud Storage, BigQuery, atau Pub/Sub, lihat Ringkasan perutean dan penyimpanan.

Mengakses log layanan Dataplex Universal Catalog di Logging

Dataplex Universal Catalog memublikasikan log layanan berikut ke Cloud Logging.

Jenis log Nama log logName kueri Deskripsi log
Log peristiwa pemindaian data dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Log peristiwa untuk tugas pemindaian data yang menunjukkan status, hasil, dan statistik tugas
Log hasil aturan pemindaian kualitas data dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Hasil aturan pemindaian kualitas data dalam tugas kualitas data
Log penemuan dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Progres dan pembaruan penemuan aset di zona
Log tugas metadata dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Log tentang tugas impor metadata dan item impor dalam file impor metadata
Log proses dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Menjalankan tugas yang dihasilkan dari tugas pemrosesan data

Ganti kode berikut:

  • PROJECT_ID: ID project Anda

Untuk mengakses Logging, Anda dapat menggunakan Logs Explorer di konsolGoogle Cloud , perintah gcloud logging, atau Logging API.

Log peristiwa pemindaian data kueri

Saat Anda menggunakan Dataplex Universal Catalog untuk membuat dan menjalankan pemindaian data, log peristiwa pemindaian data dibuat di Logging untuk tugas yang dihasilkan.

Konsol

  1. Di konsol Google Cloud , buka halaman Logs Explorer.

    Buka Logs Explorer

  2. Di tampilan Logs Explorer, temukan tab Query.

  3. Klik menu Resource.

  4. Pilih Cloud Dataplex DataScan. Klik Terapkan.

  5. Klik menu Log name.

  6. Di kolom Search log names, masukkan dataplex.googleapis.com%2Fdata_scan. Pilih data_scan dan klik Terapkan.

  7. Opsional: Filter log ke ID atau lokasi pemindaian data tertentu dengan menambahkan filter berikut dalam kueri log:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Klik Run query.

gcloud

Untuk membaca entri log peristiwa pemindaian data, gunakan perintah gcloud logging read dengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Untuk mencantumkan entri log, gunakan metode entries.list.

Mengkueri log hasil aturan pemindaian kualitas data

Saat Anda menggunakan Dataplex Universal Catalog untuk membuat dan menjalankan pemindaian kualitas data, log hasil aturan pemindaian kualitas data akan dibuat di Logging untuk tugas yang dihasilkan.

Konsol

  1. Di konsol Google Cloud , buka halaman Logs Explorer.

    Buka Logs Explorer

  2. Di tampilan Logs Explorer, temukan tab Query.

  3. Klik menu Resource.

  4. Pilih Cloud Dataplex DataScan. Klik Terapkan.

  5. Klik menu Log name.

  6. Di kolom Search log names, masukkan dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Pilih data_quality_scan_rule_result, lalu klik Terapkan.

  7. Opsional: Filter log ke ID atau lokasi pemindaian data tertentu dengan menambahkan filter berikut dalam kueri log:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Klik Run query.

gcloud

Untuk membaca entri log hasil aturan pemindaian kualitas data, gunakan perintah gcloud logging read dengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Untuk mencantumkan entri log, gunakan metode entries.list.

Membuat kueri log penemuan

Saat Anda menggunakan Dataplex Universal Catalog untuk menemukan data dalam aset, log penemuan akan dibuat di Logging.

Konsol

  1. Di konsol Google Cloud , buka halaman Logs Explorer.

    Buka Logs Explorer

  2. Di tampilan Logs Explorer, temukan tab Query.

  3. Klik menu Resource.

  4. Pilih Cloud Dataplex Zone. Klik Terapkan.

  5. Klik menu Log name.

  6. Di kolom Search log names, masukkan dataplex.googleapis.com%2Fdiscovery. Pilih penemuan, lalu klik Terapkan.

  7. Opsional: Memfilter log ke aset tertentu dengan menambahkan filter berikut dalam kueri log:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

  8. Klik Run query.

gcloud

Untuk membaca entri log penemuan, gunakan perintah gcloud logging read dengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Untuk mencantumkan entri log, gunakan metode entries.list.

Mengkueri log tugas metadata

Saat Anda menjalankan tugas impor metadata, log tugas metadata akan dibuat di Logging.

Konsol

  1. Di konsol Google Cloud , buka halaman Logs Explorer.

    Buka Logs Explorer

  2. Di tampilan Logs Explorer, temukan tab Query.

  3. Klik menu Resource.

  4. Pilih Cloud Dataplex Metadata Job.

  5. Opsional: Untuk memfilter log ke lokasi atau ID tugas metadata tertentu, pilih lokasi atau ID tugas.

  6. Klik Terapkan.

  7. Klik menu Log name.

  8. Ketik dataplex.googleapis.com%2Fmetadata_job, lalu pilih metadata_job.

  9. Klik Terapkan.

gcloud

Untuk membaca entri log tugas metadata, gunakan perintah gcloud logging read dengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

Untuk mencantumkan entri log, gunakan metode entries.list.

Membuat kueri log proses

Saat Anda menggunakan Dataplex Universal Catalog untuk menjadwalkan dan menjalankan tugas, log proses akan dibuat di Logging untuk tugas yang dihasilkan.

Konsol

  1. Di konsol Google Cloud , buka halaman Logs Explorer.

    Buka Logs Explorer

  2. Di tampilan Logs Explorer, temukan tab Query.

  3. Klik menu Resource.

  4. Pilih Cloud Dataplex Task. Klik Terapkan.

  5. Klik menu Log name.

  6. Di kolom Search log names, masukkan dataplex.googleapis.com%2Fprocess. Pilih process, lalu klik Apply.

  7. Opsional: Memfilter log ke tugas tertentu dengan menambahkan filter berikut dalam kueri log:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

  8. Klik Run query.

gcloud

Untuk membaca entri log proses, gunakan perintah gcloud logging read dengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Untuk mencantumkan entri log, gunakan metode entries.list.

Langkah berikutnya