Membuat profil data Vertex AI dalam satu project

Halaman ini menjelaskan cara mengonfigurasi penemuan data Vertex AI di tingkat project. Jika Anda ingin membuat profil organisasi atau folder, lihat Membuat profil data Vertex AI di organisasi atau folder.

Untuk mengetahui informasi selengkapnya tentang layanan penemuan, lihat Profil data.

Sebelum memulai

  1. Pastikan Cloud Data Loss Prevention API diaktifkan di project Anda:

    1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    3. Make sure that billing is enabled for your Google Cloud project.

    4. Enable the required API.

      Enable the API

    5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    6. Make sure that billing is enabled for your Google Cloud project.

    7. Enable the required API.

      Enable the API

      8.

    8. Pastikan Anda memiliki izin IAM yang diperlukan untuk mengonfigurasi profil data di tingkat project.

    9. Anda harus memiliki template inspeksi di setiap region tempat Anda memiliki data yang akan diprofilkan. Jika ingin menggunakan satu template untuk beberapa region, Anda dapat menggunakan template yang disimpan di region global. Jika kebijakan organisasi mencegah Anda membuat template inspeksi di region global, Anda harus menetapkan template inspeksi khusus untuk setiap region. Untuk mengetahui informasi selengkapnya, lihat Pertimbangan residensi data.

      Tugas ini memungkinkan Anda membuat template pemeriksaan hanya di region global. Jika Anda memerlukan template inspeksi khusus untuk satu atau beberapa wilayah, Anda harus membuat template tersebut sebelum melakukan tugas ini.

    10. Anda dapat mengonfigurasi Sensitive Data Protection untuk mengirim notifikasi ke Pub/Sub saat peristiwa tertentu terjadi, seperti saat Sensitive Data Protection memprofilkan set data baru. Jika ingin menggunakan fitur ini, Anda harus membuat topik Pub/Sub terlebih dahulu.

      11. Membuat konfigurasi pemindaian

      1. Buka halaman Buat konfigurasi pemindaian.

        Buka Buat konfigurasi pemindaian

      2. Buka project Anda. Di toolbar, klik pemilih project, lalu pilih project Anda.

      Bagian berikut memberikan informasi selengkapnya tentang langkah-langkah di halaman Buat konfigurasi pemindaian. Di akhir setiap bagian, klik Lanjutkan.

      Pilih jenis penemuan

      Pilih Vertex AI.

      Pilih cakupan

      Lakukan salah satu hal berikut:

      • Jika Anda ingin memindai satu set data, pilih Pindai satu set data.

        Untuk setiap set data, Anda hanya dapat memiliki satu konfigurasi pemindaian sumber tunggal. Untuk mengetahui informasi selengkapnya, lihat Membuat profil satu set data.

        Isi detail set data yang ingin Anda buat profilnya.

      • Jika Anda ingin melakukan pembuatan profil tingkat project standar, pilih Scan selected project.

      Mengelola jadwal

      Jika frekuensi pembuatan profil default sesuai dengan kebutuhan Anda, Anda dapat melewati bagian ini di halaman Buat konfigurasi pemindaian.

      Konfigurasi bagian ini karena alasan berikut:

      • Untuk melakukan penyesuaian terperinci pada frekuensi pembuatan profil semua data Anda atau subkumpulan data tertentu.
      • Untuk menentukan set data yang tidak ingin Anda buat profilnya.
      • Untuk menentukan set data yang tidak ingin Anda buat profilnya lebih dari sekali.

      Untuk melakukan penyesuaian terperinci pada frekuensi pembuatan profil, ikuti langkah-langkah berikut:

      1. Klik Tambahkan jadwal.

      2. Di bagian Filter, Anda menentukan satu atau beberapa filter yang menentukan dataset mana yang berada dalam cakupan jadwal. Set data dianggap berada dalam cakupan jadwal jika cocok dengan setidaknya satu filter yang ditentukan.

        Untuk mengonfigurasi filter, tentukan project ID atau ekspresi reguler yang menentukan satu atau beberapa project.

        Ekspresi reguler harus mengikuti sintaksis RE2.

        Misalnya, jika Anda ingin semua set data dalam project disertakan dalam filter, masukkan project ID di kolom Project ID.

        Jika Anda ingin menambahkan filter lainnya, klik Tambahkan filter, lalu ulangi langkah ini.

      3. Klik Frekuensi.

      4. Di bagian Frekuensi, tentukan apakah layanan penemuan harus membuat profil set data yang Anda pilih dan, jika ya, seberapa sering:

        • Jika Anda tidak ingin set data diprofilkan, nonaktifkan Lakukan pembuatan profil data ini.

        • Jika Anda ingin set data diprofilkan setidaknya sekali, aktifkan Profilkan data ini.

          Di kolom berikutnya di bagian ini, Anda menentukan apakah sistem harus memprofilkan ulang data Anda dan peristiwa apa yang harus memicu operasi pemrofilan ulang. Untuk mengetahui informasi selengkapnya, lihat Frekuensi pembuatan profil data.

          1. Untuk Sesuai jadwal, tentukan seberapa sering Anda ingin himpunan data diprofilkan ulang. Dataset akan diprofilkan ulang terlepas dari apakah dataset tersebut mengalami perubahan atau tidak.
          2. Untuk Saat memeriksa perubahan template, tentukan apakah Anda ingin data Anda diprofil ulang saat template pemeriksaan terkait diperbarui, dan jika ya, seberapa sering.

            Perubahan template inspeksi terdeteksi saat salah satu hal berikut terjadi:

            • Nama template pemeriksaan berubah dalam konfigurasi pemindaian Anda.
            • updateTime template inspeksi berubah.

            3. Misalnya, jika Anda menetapkan template inspeksi untuk region us-west1 dan Anda memperbarui template inspeksi tersebut, hanya data di region us-west1 yang akan diprofilkan ulang.

      5. Opsional: Klik Kondisi.

        Di bagian Kondisi, Anda menentukan kondisi apa pun yang harus dipenuhi oleh set data—yang ditentukan dalam filter Anda—sebelum Sensitive Data Protection memprofilkannya.

        Jika perlu, tetapkan hal berikut:

        • Kondisi minimum: Jika Anda ingin menunda pembuatan profil set data hingga mencapai usia tertentu, aktifkan opsi ini. Kemudian, masukkan durasi minimum.

        • Kondisi waktu: Jika Anda tidak ingin set data lama diprofilkan, aktifkan opsi ini. Kemudian, gunakan pemilih tanggal untuk memilih tanggal dan waktu. Setiap set data yang dibuat pada atau sebelum stempel waktu yang Anda pilih akan dikecualikan dari pembuatan profil.

        Contoh kondisi

        Misalkan Anda memiliki konfigurasi berikut:

        • Kondisi minimum

          • Durasi minimum: 24 jam

        • Kondisi waktu

          • Stempel waktu: 05/4/22, 23.59

        Dalam hal ini, Sensitive Data Protection mengecualikan semua set data yang dibuat pada atau sebelum 4 Mei 2022, pukul 23.59. Di antara set data yang dibuat setelah tanggal dan waktu tersebut, Sensitive Data Protection hanya memprofilkan set data yang berusia minimal 24 jam.

      6. Klik Selesai.

      7. Opsional: Untuk menambahkan jadwal lainnya, klik Add schedule, lalu ulangi langkah-langkah sebelumnya.

      8. Untuk menentukan prioritas antar-jadwal, urutkan ulang jadwal menggunakan panah atas dan bawah .

        Urutan jadwal menentukan cara konflik antar-jadwal diselesaikan. Jika set data cocok dengan filter dua jadwal yang berbeda, jadwal yang lebih tinggi dalam daftar jadwal akan menentukan frekuensi pembuatan profil untuk set data tersebut.

      9. Opsional: Edit atau nonaktifkan Jadwal umum.

        Jadwal terakhir dalam daftar adalah jadwal umum. Jadwal ini mencakup set data dalam cakupan yang Anda pilih yang tidak cocok dengan jadwal yang Anda buat. Jadwal umum mengikuti frekuensi pembuatan profil default sistem.

        • Untuk menyesuaikan jadwal catch-all, klik Edit jadwal, lalu sesuaikan setelan sesuai kebutuhan.
        • Untuk mencegah Perlindungan Data Sensitif membuat profil resource yang tercakup dalam jadwal umum, nonaktifkan Buat profil resource yang tidak cocok dengan jadwal kustom.

      Pilih template pemeriksaan

      Bergantung pada cara Anda ingin memberikan konfigurasi inspeksi, pilih salah satu opsi berikut. Apa pun opsi yang Anda pilih, Sensitive Data Protection memindai data Anda di region tempat data tersebut disimpan. Artinya, data Anda tidak akan keluar dari wilayah asalnya.

      Opsi 1: Membuat template inspeksi

      Pilih opsi ini jika Anda ingin membuat template inspeksi baru di wilayah global.

      1. Klik Buat template pemeriksaan baru.

      2. Opsional: Untuk mengubah pilihan infoType default, klik Kelola infoType.

        Untuk mengetahui informasi selengkapnya tentang cara mengelola infoType bawaan dan kustom, lihat Mengelola infoType melalui Google Cloud konsol.

        Anda harus memilih setidaknya satu infoType untuk melanjutkan.

      3. Opsional: Konfigurasi template pemeriksaan lebih lanjut dengan menambahkan kumpulan aturan dan menetapkan nilai minimum keyakinan. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi deteksi.

      Saat membuat konfigurasi pemindaian, Sensitive Data Protection akan menyimpan template pemeriksaan baru ini di region global.

      Opsi 2: Menggunakan template inspeksi yang ada

      Pilih opsi ini jika Anda memiliki template pemeriksaan yang ada dan ingin digunakan.

      1. Klik Pilih template pemeriksaan yang ada.
      2. Masukkan nama resource lengkap template pemeriksaan yang ingin Anda gunakan. Kolom Region akan otomatis diisi dengan nama region tempat template inspeksi Anda disimpan.

        Template inspeksi yang Anda masukkan harus berada di region yang sama dengan data yang akan dibuat profilnya.

        Untuk mematuhi residensi data, Perlindungan Data Sensitif tidak menggunakan template pemeriksaan di luar wilayah tempat template tersebut disimpan.

        Untuk menemukan nama resource lengkap template pemeriksaan, ikuti langkah-langkah berikut:

        1. Buka daftar template inspeksi Anda. Halaman ini akan terbuka di tab terpisah.

          Buka template inspeksi

        2. Beralih ke project yang berisi template pemeriksaan yang ingin Anda gunakan.
        3. Di tab Templates, klik ID template yang ingin Anda gunakan.
        4. Di halaman yang terbuka, salin nama lengkap resource template. Nama lengkap resource mengikuti format ini: 
          projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID
        5. Di halaman Create scan configuration, di kolom Template name, tempel nama resource lengkap template.
      3. Untuk menambahkan template pemeriksaan untuk wilayah lain, klik Tambahkan template pemeriksaan dan masukkan nama resource lengkap template. Ulangi langkah ini untuk setiap wilayah tempat Anda memiliki template inspeksi khusus.
      4. Opsional: Tambahkan template pemeriksaan yang disimpan di region global. Sensitive Data Protection secara otomatis menggunakan template tersebut untuk data di region tempat Anda tidak memiliki template pemeriksaan khusus.

      Tambah tindakan

      Bagian ini menjelaskan cara menentukan tindakan yang Anda inginkan dilakukan oleh Perlindungan Data Sensitif setelah memprofilkan set data. Tindakan ini berguna jika Anda ingin mengirimkan hasil analisis yang dikumpulkan dari profil data ke layananGoogle Cloud lainnya.

      Publikasikan ke Security Command Center

      Temuan dari profil data memberikan konteks saat Anda melakukan triase dan mengembangkan rencana respons untuk temuan kerentanan dan ancaman di Security Command Center.

      Sebelum Anda dapat menggunakan tindakan ini, Security Command Center harus diaktifkan di level organisasi. Mengaktifkan Security Command Center di tingkat organisasi memungkinkan alur temuan dari layanan terintegrasi seperti Sensitive Data Protection. Sensitive Data Protection berfungsi dengan Security Command Center di semua tingkat layanan.

      Jika Security Command Center tidak diaktifkan di level organisasi, temuan Sensitive Data Protection tidak akan muncul di Security Command Center. Untuk mengetahui informasi selengkapnya, lihat Memeriksa tingkat aktivasi Security Command Center.

      Untuk mengirimkan hasil profil data Anda ke Security Command Center, pastikan opsi Publikasikan ke Security Command Center diaktifkan.

      Untuk mengetahui informasi selengkapnya, lihat Memublikasikan profil data ke Security Command Center.

      Simpan salinan profil data ke BigQuery

      Perlindungan Data Sensitif menyimpan salinan setiap profil data yang dibuat dalam tabel BigQuery. Jika Anda tidak memberikan detail tabel pilihan Anda, Sensitive Data Protection akan membuat set data dan tabel di project. Secara default, set data diberi nama sensitive_data_protection_discovery dan tabel diberi nama discovery_profiles.

      Tindakan ini memungkinkan Anda menyimpan histori semua profil yang dihasilkan. Histori ini dapat berguna untuk membuat laporan audit dan memvisualisasi profil data. Anda juga dapat memuat informasi ini ke dalam sistem lain.

      Selain itu, opsi ini memungkinkan Anda melihat semua profil data dalam satu tampilan, terlepas dari region tempat data Anda berada. Meskipun Anda juga dapat melihat profil data melalui Google Cloud konsol, konsol hanya menampilkan profil di satu wilayah dalam satu waktu.

      Jika gagal membuat profil set data, Sensitive Data Protection akan mencoba lagi secara berkala. Untuk meminimalkan derau dalam data yang diekspor, Perlindungan Data Sensitif hanya mengekspor profil yang berhasil dibuat ke BigQuery.

      Sensitive Data Protection mulai mengekspor profil sejak Anda mengaktifkan opsi ini. Profil yang dibuat sebelum Anda mengaktifkan ekspor tidak disimpan ke BigQuery.

      Untuk contoh kueri yang dapat Anda gunakan saat menganalisis profil data, lihat Menganalisis profil data.

      Menyimpan temuan penemuan sampel ke BigQuery

      Perlindungan Data Sensitif dapat menambahkan contoh temuan ke tabel BigQuery pilihan Anda. Contoh temuan mewakili sebagian kecil dari semua temuan dan mungkin tidak mewakili semua infoType yang ditemukan. Biasanya, sistem menghasilkan sekitar 10 temuan sampel per set data, tetapi jumlah ini dapat bervariasi untuk setiap proses penemuan.

      Setiap temuan mencakup string sebenarnya (juga disebut kutipan) yang terdeteksi dan lokasi persisnya.

      Tindakan ini berguna jika Anda ingin mengevaluasi apakah konfigurasi pemeriksaan Anda cocok dengan jenis informasi yang ingin Anda tandai sebagai sensitif. Dengan menggunakan profil data yang diekspor dan temuan sampel yang diekspor, Anda dapat menjalankan kueri untuk mendapatkan informasi selengkapnya tentang item tertentu yang ditandai, infoType yang cocok, lokasi persisnya, tingkat sensitivitas yang dihitung, dan detail lainnya.

      Untuk menyimpan temuan sampel ke tabel BigQuery, ikuti langkah-langkah berikut:

      1. Aktifkan Simpan temuan penemuan sampel ke BigQuery.

      2. Masukkan detail tabel BigQuery tempat Anda ingin menyimpan temuan sampel.

        Tabel yang Anda tentukan untuk tindakan ini harus berbeda dengan tabel yang digunakan untuk tindakan Simpan salinan profil data ke BigQuery.

        • Untuk Project ID, masukkan ID project yang sudah ada tempat Anda ingin mengekspor temuan.

        • Untuk Dataset ID, masukkan nama set data yang ada dalam project.

        • Untuk Table ID, masukkan nama tabel BigQuery tempat Anda ingin menyimpan temuan. Jika tabel ini tidak ada, Sensitive Data Protection akan otomatis membuatnya untuk Anda menggunakan nama yang Anda berikan.

      Untuk mengetahui informasi tentang konten setiap temuan yang disimpan dalam tabel BigQuery, lihat DataProfileFinding.

      Publikasikan ke Pub/Sub

      Dengan mengaktifkan Publikasikan ke Pub/Sub, Anda dapat melakukan tindakan terprogram berdasarkan hasil pembuatan profil. Anda dapat menggunakan notifikasi Pub/Sub untuk mengembangkan alur kerja dalam menangkap dan memperbaiki temuan dengan risiko atau sensitivitas data yang signifikan.

      Untuk mengirim notifikasi ke topik Pub/Sub, ikuti langkah-langkah berikut:

      1. Aktifkan Publikasikan ke Pub/Sub.

        Daftar opsi akan muncul. Setiap opsi menjelaskan peristiwa yang menyebabkan Sensitive Data Protection mengirim notifikasi ke Pub/Sub.

      2. Pilih peristiwa yang akan memicu notifikasi Pub/Sub.

        Jika Anda memilih Kirim notifikasi Pub/Sub setiap kali profil diperbarui, Sensitive Data Protection akan mengirimkan notifikasi jika ada perubahan pada tingkat sensitivitas, tingkat risiko data, infoType yang terdeteksi, akses publik, dan metrik penting lainnya di profil.

      3. Untuk setiap acara yang Anda pilih, ikuti langkah-langkah berikut:

        1. Masukkan nama topik. Nama harus dalam format berikut:

          projects/PROJECT_ID/topics/TOPIC_ID

          Ganti kode berikut:

          • PROJECT_ID: ID project yang terkait dengan topik Pub/Sub.
          • TOPIC_ID: ID topik Pub/Sub.

        2. Tentukan apakah akan menyertakan profil set data lengkap dalam notifikasi, atau hanya nama resource lengkap dari set data yang diprofilkan.

        3. Tetapkan tingkat risiko dan sensitivitas data minimum yang harus dipenuhi agar Sensitive Data Protection mengirimkan notifikasi.

        4. Tentukan apakah hanya satu atau kedua kondisi risiko dan sensitivitas data yang harus dipenuhi. Misalnya, jika Anda memilih AND, maka kondisi risiko data dan sensitivitas harus dipenuhi sebelum Sensitive Data Protection mengirimkan notifikasi.

      Mengirim ke Dataplex Universal Catalog sebagai aspek

      Tindakan ini memungkinkan Anda menambahkan aspek Katalog Universal Dataplex ke set data yang diprofilkan berdasarkan insight dari profil data. Tindakan ini hanya diterapkan pada profil baru dan yang diperbarui. Profil yang ada dan tidak diperbarui tidak akan dikirim ke Katalog Universal Dataplex.

      Saat Anda mengaktifkan tindakan ini, Perlindungan Data Sensitif akan melampirkan aspek Sensitive Data Protection profile ke entri Dataplex Universal Catalog untuk setiap set data baru atau yang diperbarui yang Anda buat profilnya. Aspek yang dihasilkan berisi insight yang dikumpulkan dari profil data. Kemudian, Anda dapat menelusuri organisasi dan project untuk menemukan entri dengan nilai aspek Sensitive Data Protection profile tertentu.

      Untuk mengirim profil data ke Dataplex Universal Catalog, pastikan opsi Kirim ke Dataplex Catalog sebagai aspek diaktifkan.

      Untuk mengetahui informasi selengkapnya, lihat Menambahkan aspek Katalog Universal Dataplex berdasarkan insight dari profil data.

      Menetapkan lokasi pemrosesan fallback untuk gambar

      Secara umum, Perlindungan Data Sensitif memproses data Anda di lokasi tempat data disimpan. Namun, gambar hanya dapat diproses di multi-region atau di region global. Jika Anda menetapkan lokasi penggantian, maka Sensitive Data Protection akan menggunakan lokasi penggantian Anda untuk memproses gambar yang tidak berada di multi-region atau di region global. Jika Anda melewati bagian ini, gambar tersebut tidak akan diproses.

      Untuk menetapkan lokasi penggantian untuk pemrosesan gambar, pilih salah satu atau kedua opsi berikut:

      • Melakukan penggantian ke multi-region: Jika gambar tidak dapat diproses di lokasi aslinya, gambar tersebut akan diproses di multi-region yang sesuai dengan lokasi asli gambar. Jika lokasi asli gambar tidak memiliki multi-region yang sesuai, gambar akan dilewati.
      • Kembali ke global: Jika gambar tidak dapat diproses di lokasi aslinya, gambar tersebut akan diproses di region global.

      Jika Anda memilih kedua opsi, Perlindungan Data Sensitif akan memilih lokasi mana yang akan digunakan sebagai lokasi penggantian.

      Menyetel lokasi untuk menyimpan konfigurasi

      Klik daftar Lokasi resource, lalu pilih region tempat Anda ingin menyimpan konfigurasi pemindaian ini. Semua konfigurasi pemindaian yang Anda buat nanti juga akan disimpan di lokasi ini.

      Tempat Anda memilih untuk menyimpan konfigurasi pemindaian tidak memengaruhi data yang akan dipindai. Data Anda dipindai di region yang sama dengan tempat data tersebut disimpan. Untuk mengetahui informasi selengkapnya, lihat Pertimbangan residensi data.

      Tinjau dan buat

      1. Jika Anda ingin memastikan bahwa pembuatan profil tidak dimulai secara otomatis setelah Anda membuat konfigurasi pemindaian, pilih Buat pemindaian dalam mode dijeda.

        Opsi ini berguna dalam kasus berikut:

        • Anda memilih untuk menyimpan profil data ke BigQuery dan Anda ingin memastikan agen layanan memiliki akses tulis ke tabel BigQuery tempat salinan profil data akan disimpan.
        • Anda memilih untuk menyimpan temuan penemuan sampel ke BigQuery dan Anda ingin memastikan bahwa agen layanan memiliki akses tulis ke tabel BigQuery tempat temuan sampel akan disimpan.
        • Anda telah mengonfigurasi notifikasi Pub/Sub dan ingin memberikan akses publikasi kepada agen layanan.
      2. Tinjau setelan Anda, lalu klik Buat.

        Perlindungan Data Sensitif membuat konfigurasi pemindaian dan menambahkannya ke daftar konfigurasi pemindaian penemuan.

      Untuk melihat atau mengelola konfigurasi pemindaian, lihat Mengelola konfigurasi pemindaian.

      Langkah berikutnya

    11. Pelajari cara mengelola profil data.
    12. Pelajari cara mengelola konfigurasi pemindaian.
    13. Pelajari cara menerima dan mengurai pesan Pub/Sub yang dipublikasikan oleh profiler data.
    14. Pelajari cara memecahkan masalah terkait profil data.