Membuat kueri temuan Perlindungan Data Sensitif di BigQuery

Halaman ini memberikan contoh kueri yang dapat Anda gunakan untuk menganalisis temuan Sensitive Data Protection yang diekspor ke BigQuery.

Anda dapat mengonfigurasi tugas pemeriksaan atau pemicu tugas untuk menyimpan temuan ke BigQuery. Dengan begitu, Anda dapat mengkueri temuan untuk analisis lebih lanjut. Saat temuan Anda diekspor ke BigQuery, data ditulis ke tabel baru atau yang sudah ada.

Untuk mengetahui informasi selengkapnya tentang semua tindakan yang dapat dilakukan Perlindungan Data Sensitif setelah inspeksi, lihat topik konseptual Tindakan.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat artikel berikut:

• Menjalankan tugas kueri interaktif dan batch
• Menggunakan alat command line bq

Kolom tabel BigQuery

Kolom tabel temuan yang diekspor didasarkan pada atribut objek Finding.

Menautkan hasil kembali ke baris yang berisi temuan

Jika Anda mengonfigurasi pemeriksaan tabel BigQuery, Anda dapat menyiapkan tugas atau pemicu tugas sehingga temuan yang diekspor akan berisi ID baris. Dengan begitu, Anda dapat menautkan kembali temuan pemeriksaan ke baris yang memuatnya.

Dalam tugas inspeksi atau pemicu tugas, tetapkan kolom berikut ke nama kolom yang secara unik mengidentifikasi setiap baris dalam tabel—yaitu, kolom yang berfungsi sebagai kunci primer:

• Jika Anda menggunakan konsol Google Cloud , tetapkan kolom Kolom identifikasi (dipisahkan dengan koma).
• Jika Anda menggunakan DLP API, tetapkan properti identifyingFields.

Setelah pemeriksaan selesai dan temuan diekspor ke BigQuery, setiap temuan akan berisi nilai yang sesuai dari kolom yang Anda tentukan. Nilai tersebut akan ada di kolom location.content_locations.record_location.record_key.id_values. Anda kemudian dapat menggunakan nilai tersebut untuk menautkan kembali temuan ke baris tertentu dalam tabel BigQuery yang diperiksa.

Sampel kueri

Anda dapat menggunakan contoh kueri berikut untuk menganalisis temuan Anda. Anda juga dapat menggunakan kueri dalam alat visualisasi seperti Looker Studio. Kueri ini disediakan untuk membantu Anda mulai membuat kueri data temuan.

Di setiap kueri berikut, ganti kode berikut:

• PROJECT_ID: ID project
• DATASET: nama set data BigQuery
• TABLE_ID: ID tabel

Pilih jumlah setiap infoType

SELECT info_type.name,
COUNT(info_type.name) AS count
FROM `PROJECT_ID.DATASET.TABLE_ID`
GROUP BY info_type.name
ORDER BY count DESC;

bq query --use_legacy_sql=false ' SELECT info_type.name,
COUNT(info_type.name) AS count
FROM `PROJECT_ID.DATASET.TABLE_ID`
GROUP BY info_type.name ORDER BY count DESC;'

Pilih jumlah setiap infoType menurut hari

SELECT info_type.name, cast(TIMESTAMP_SECONDS(create_time.seconds) as date) as day,
COUNT(locations.container_name) AS count
FROM `PROJECT_ID.DATASET.TABLE_ID`,
UNNEST(location.content_locations) AS locations
GROUP BY info_type.name, day
ORDER BY count DESC;

bq query --use_legacy_sql=false ' SELECT info_type.name,
cast(TIMESTAMP_SECONDS(create_time.seconds) as date) as day,
COUNT(locations.container_name) AS count FROM `PROJECT_ID.DATASET.TABLE_ID`,
UNNEST(location.content_locations) AS locations
GROUP BY info_type.name, day ORDER BY count DESC;'

Memilih jumlah setiap infoType di setiap penampung

SELECT info_type.name, locations.container_name,
COUNT(locations.container_name) AS count
FROM `PROJECT_ID.DATASET.TABLE_ID`,
UNNEST(location.content_locations) AS locations
GROUP BY locations.container_name, info_type.name
ORDER BY count DESC;

bq query --use_legacy_sql=false ' SELECT info_type.name, locations.container_name,
COUNT(locations.container_name) AS count FROM `PROJECT_ID.DATASET.TABLE_ID`,
UNNEST(location.content_locations) AS locations
GROUP BY locations.container_name,info_type.name ORDER BY count DESC;'

Memilih jenis temuan yang ditemukan untuk setiap kolom tabel

Kueri ini akan mengelompokkan semua temuan menurut nama kolom dan dimaksudkan untuk memproses temuan dari tugas pemeriksaan BigQuery. Kueri ini berguna jika Anda mencoba mengidentifikasi kemungkinan jenis untuk kolom tertentu. Anda dapat menyesuaikan setelan dengan mengubah klausa WHERE dan HAVING. Misalnya, jika beberapa hasil tabel disertakan dalam tabel temuan, Anda dapat membatasinya hanya pada satu eksekusi tugas atau satu nama tabel.

SELECT
  table_counts.field_name,
  STRING_AGG( CONCAT(" ",table_counts.name," [count: ",CAST(table_counts.count_total AS String),"]")
  ORDER BY
    table_counts.count_total DESC) AS infoTypes
FROM (
  SELECT
    locations.record_location.field_id.name AS field_name,
    info_type.name,
    COUNT(*) AS count_total
  FROM
    `PROJECT_ID.DATASET.TABLE_ID`,
    UNNEST(location.content_locations) AS locations
  WHERE
    (likelihood = 'LIKELY'
      OR likelihood = 'VERY_LIKELY'
      OR likelihood = 'POSSIBLE')
  GROUP BY
    locations.record_location.field_id.name,
    info_type.name
  HAVING
    count_total>200 ) AS table_counts
GROUP BY
  table_counts.field_name
ORDER BY
  table_counts.field_name

Kueri di atas dapat menghasilkan hasil seperti ini untuk tabel contoh, dengan kolom infoTypes memberi tahu kita berapa banyak instance setiap infoType yang ditemukan untuk kolom tertentu tersebut.