Menggunakan set data Storage Insights

Halaman ini menunjukkan cara membuat dan mengelola set data dan konfigurasi set data Storage Insights. Pelajari lebih lanjut kumpulan data Insight Penyimpanan.

Sebelum memulai

Sebelum Anda mulai membuat dan mengelola set data dan konfigurasi set data, ikuti petunjuk di subbagian berikutnya.

Mendapatkan peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat dan mengelola set data, minta administrator untuk memberi Anda peran IAM berikut di project sumber Anda:

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat dan mengelola set data. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat dan mengelola set data:

  • Buat konfigurasi set data: storageinsights.datasetConfigs.create
  • Lihat konfigurasi set data:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
  • Mengelola konfigurasi set data:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
  • Tautkan ke set data BigQuery: storageinsights.datasetConfigs.linkDataset
  • Batalkan tautan ke set data BigQuery: storageinsights.datasetConfigs.unlinkDataset
  • Mengkueri set data tertaut BigQuery: bigquery.jobs.create or bigquery.jobs.*

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Mengaktifkan Storage Insights API

Konsol

Aktifkan storageinsights.googleapis.com API

Command line

Untuk mengaktifkan Storage Insights API di project saat ini, jalankan perintah berikut:

gcloud services enable storageinsights.googleapis.com

Untuk mengetahui detail selengkapnya tentang cara mengaktifkan layanan untuk project Google Cloud , lihat Mengaktifkan dan menonaktifkan layanan.

Mengonfigurasi Storage Intelligence

Pastikan Storage Intelligence dikonfigurasi di project, folder, atau organisasi yang ingin Anda analisis dengan set data.

Membuat konfigurasi set data

Untuk membuat konfigurasi set data dan membuat set data, ikuti langkah-langkah berikut. Untuk mengetahui informasi selengkapnya tentang kolom yang dapat Anda tentukan saat membuat konfigurasi set data, lihat Properti konfigurasi set data.

Konsol

  1. Di Google Cloud konsol, buka halaman Storage Insights Cloud Storage.

    Buka Analisis Penyimpanan

  2. Klik Configure dataset.

  3. Di bagian Beri nama set data Anda, masukkan nama untuk set data Anda. Secara opsional, masukkan deskripsi untuk set data.

  4. Di bagian Tentukan cakupan set data, lakukan hal berikut:

    • Pilih salah satu opsi berikut:

      • Untuk mendapatkan metadata penyimpanan untuk semua project di organisasi saat ini, pilih Sertakan organisasi.

      • Untuk mendapatkan metadata penyimpanan untuk semua project di folder yang dipilih, pilih Sertakan folder(Sub-organisasi/departemen). Untuk mengetahui informasi tentang cara mendapatkan ID folder, lihat Melihat atau mencantumkan folder dan project. Untuk menambahkan folder, lakukan hal berikut:

        1. Di kolom Folder 1, masukkan ID folder.
        2. Jika perlu, untuk menambahkan beberapa ID folder, klik + Tambahkan folder lain.
      • Untuk mendapatkan metadata penyimpanan untuk project yang dipilih, pilih Sertakan project dengan memberikan nomor project. Untuk mempelajari cara menemukan nomor project, lihat Menemukan nama, nomor, dan ID project. Untuk menambahkan project, lakukan hal berikut:

        1. Di kolom Project 1, masukkan nomor project.
        2. Jika perlu, untuk menambahkan beberapa nomor project, klik + Tambahkan project lain.
      • Untuk menambahkan project atau folder secara massal, pilih Upload daftar project /folder melalui file CSV. File CSV harus berisi nomor project atau ID folder yang ingin Anda sertakan dalam set data.

    • Tentukan apakah Anda ingin menyertakan bucket mendatang secara otomatis dalam resource yang dipilih.

    • Secara opsional, untuk menentukan filter pada bucket berdasarkan wilayah dan awalan bucket, luaskan bagian Filter (opsional). Filter diterapkan secara aditif pada bucket.

      Anda dapat menyertakan atau mengecualikan bucket dari wilayah tertentu. Misalnya, Anda dapat mengecualikan bucket yang berada di region me-central1 dan me-central2. Anda juga dapat menyertakan atau mengecualikan bucket menurut awalan. Misalnya, jika Anda ingin mengecualikan bucket yang diawali dengan my-bucket, masukkan awalan my-bucket*.

  5. Klik Lanjutkan.

  6. Di bagian Pilih periode retensi, pilih periode retensi untuk data dalam set data.

  7. Di bagian Pilih lokasi untuk menyimpan set data yang dikonfigurasi, pilih lokasi untuk menyimpan set data dan konfigurasi set data.

  8. Di bagian Select service account type, pilih jenis agen layanan untuk set data Anda. Agen layanan ini dibuat untuk Anda saat Anda membuat konfigurasi set data. Anda dapat memilih salah satu agen layanan berikut:

    • Akun layanan cakupan konfigurasi: Agen layanan ini hanya dapat mengakses dan menulis set data yang dihasilkan oleh konfigurasi set data tertentu.
    • Agen layanan cakupan project: Agen layanan ini dapat mengakses dan menulis set data yang dihasilkan dari semua konfigurasi set data dalam project.

    Setelah membuat agen layanan, Anda harus memberikan izin yang diperlukan kepada agen layanan. Untuk mengetahui informasi selengkapnya tentang agen layanan ini, lihat Properti konfigurasi set data.

  9. Klik Configure. Mungkin perlu waktu hingga 48 jam agar Anda dapat melihat pemuatan data pertama di set data tertaut setelah Anda mengonfigurasi set data.

Command line

  1. Untuk membuat konfigurasi set data, jalankan perintah gcloud storage insights dataset-configs create dengan flag yang diperlukan:

    gcloud storage insights dataset-configs create DATASET_CONFG_ID \
      --source-projects=SOURCE_PROJECT_NUMBERS \
      --location=LOCATION \
      --retention-period-days=RETENTION_PERIOD_DAYS \
      --organization=ORGANIZATION_ID

    Ganti:

    • DATASET_CONFIG_ID dengan nama yang ingin Anda berikan ke konfigurasi set data Anda. Nama digunakan sebagai ID konfigurasi set data dan dapat diubah. Nama dapat berisi hingga 128 karakter menggunakan huruf, angka, dan garis bawah.

    • SOURCE_PROJECT_NUMBERS dengan angka project yang ingin Anda sertakan dalam set data. Misalnya, 464036093014. Anda dapat menentukan satu atau beberapa project. Untuk mempelajari cara menemukan nomor project Anda, lihat Menemukan nama, nomor, dan ID project.

      Sebagai alternatif untuk menggunakan tanda --source-projects, Anda dapat menggunakan tanda --source-projects-file=FILE_PATH, yang memungkinkan Anda menentukan beberapa nomor project sekaligus dengan mengupload file yang berisi nomor project. File harus dalam format CSV dan harus diupload ke Cloud Storage.

    • LOCATION dengan location tempat konfigurasi set data dan set data akan disimpan.

    • RETENTION_PERIOD_DAYS dengan periode retensi untuk data dalam set data.

    • ORGANIZATION_ID dengan ID resource organisasi tempat project sumber berada. Project sumber di luar lokasi yang ditentukan dikecualikan dari konfigurasi set data. Untuk mempelajari cara menemukan ID organisasi Anda, lihat Mendapatkan ID resource organisasi Anda.

    Secara opsional, Anda dapat menggunakan flag tambahan untuk mengonfigurasi set data secara mendetail:

    • Gunakan --include-buckets=BUCKET_NAMES_OR_REGEX untuk menyertakan bucket tertentu menurut nama atau ekspresi reguler. Jika tanda ini digunakan, --exclude-buckets tidak dapat digunakan.

    • Gunakan --exclude-buckets=BUCKET_NAMES_OR_REGEX untuk mengecualikan bucket tertentu menurut nama atau ekspresi reguler. Jika tanda ini digunakan, --include-buckets tidak dapat digunakan.

    • Gunakan --project=DESTINATION_PROJECT_ID untuk menentukan project yang akan digunakan untuk menyimpan konfigurasi set data dan set data yang dihasilkan. Jika tidak digunakan, project tujuan akan menjadi project aktif Anda. Untuk mengetahui informasi selengkapnya tentang ID project, lihat Membuat dan mengelola project.

    • Gunakan --auto-add-new-buckets untuk otomatis menyertakan bucket yang ditambahkan ke project sumber di masa mendatang.

    • Gunakan --skip-verification untuk melewati pemeriksaan dan kegagalan dari proses verifikasi, yang mencakup pemeriksaan izin IAM yang diperlukan. Jika digunakan, beberapa atau semua bucket mungkin dikecualikan dari set data.

    • Gunakan --identity=IDENTITY_TYPE untuk menentukan jenis agen layanan yang dibuat bersama konfigurasi set data. Nilainya adalah IDENTITY_TYPE_PER_CONFIG atau IDENTITY_TYPE_PER_PROJECT. Jika tidak ditentukan, defaultnya adalah IDENTITY_TYPE_PER_CONFIG.

    • Gunakan --description=DESCRIPTION untuk menulis deskripsi konfigurasi set data.

REST API

JSON API

  1. Menginstal dan melakukan inisialisasi gcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

  2. Buat file JSON yang berisi informasi berikut:

    {
      "organizationNumber": "ORGANIZATION_ID",
      "sourceProjects": {
        "project_numbers": ["PROJECT_NUMBERS", ...]
      },
      "retentionPeriodDays": "RETENTION_PERIOD_DAYS",
      "identity": {
        "type": "IDENTITY_TYPE"
      }
    }

    Ganti:

    • ORGANIZATION_ID dengan ID resource organisasi yang memiliki project sumber. Untuk mempelajari cara menemukan ID organisasi Anda, lihat Mendapatkan ID resource organisasi Anda.

    • PROJECT_NUMBERS dengan nomor project yang ingin Anda sertakan dalam set data. Anda dapat menentukan satu atau beberapa project. Project harus ditentukan sebagai daftar string.

      Atau, Anda dapat menambahkan organisasi, atau satu atau beberapa folder yang berisi bucket dan objek yang ingin Anda perbarui metadatanya. Untuk menyertakan folder atau organisasi, gunakan kolom sourceFolders atau organizationScope. Untuk informasi selengkapnya, lihat referensi DatasetConfig.

    • RETENTION_PERIOD_DAYS dengan jumlah hari data yang akan diambil dalam snapshot set data. Contoh, 90.

    • IDENTITY_TYPE dengan jenis akun layanan yang dibuat bersamaan dengan konfigurasi set data. Nilainya adalah IDENTITY_TYPE_PER_CONFIG atau IDENTITY_TYPE_PER_PROJECT.

  3. Untuk membuat konfigurasi set data, gunakan cURL untuk memanggil JSON API dengan permintaan Create DatasetConfig:

    curl -X POST --data-binary @JSON_FILE_NAME \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs?datasetConfigId=DATASET_CONFIG_ID" \
      --header "Authorization: Bearer ACCESS_TOKEN" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json"

    Ganti:

    • JSON_FILE_NAME dengan jalur ke file JSON yang Anda buat di langkah sebelumnya. Atau, Anda dapat meneruskan instance DatasetConfig di isi permintaan.

    • PROJECT_ID dengan ID project yang akan menjadi tujuan konfigurasi set data dan set data.

    • LOCATION dengan lokasi tempat set data dan konfigurasi set data akan berada. Contohnya, us-central1.

    • DATASET_CONFIG_ID dengan nama yang ingin Anda berikan ke konfigurasi set data. Nama digunakan sebagai ID konfigurasi set data dan tidak bersifat tetap. Nama dapat berisi hingga 128 karakter menggunakan huruf, angka, dan garis bawah. Nama harus diawali dengan huruf.

    • ACCESS_TOKEN dengan token akses yang Anda buat saat menginstal dan melakukan inisialisasi Google Cloud CLI.

Untuk memecahkan masalah error pemrosesan snapshot yang dicatat di error_attributes_view, lihat Error set data Storage Insights.

Memberikan izin yang diperlukan kepada agen layanan

Google Cloud membuat agen layanan dengan cakupan konfigurasi atau cakupan project untuk Anda saat Anda membuat konfigurasi set data. Agen layanan mengikuti format penamaan service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com dan muncul di halaman IAM di konsol Google Cloud saat Anda mencentang kotak Sertakan pemberian peran yang disediakan Google. Anda juga dapat menemukan nama agen layanan dengan melihat resource DatasetConfig menggunakan JSON API.

Guna mengaktifkan Insight Penyimpanan untuk membuat dan menulis set data, minta administrator Anda untuk memberikan peran Layanan Pengumpul Insight Penyimpanan (roles/storage.insightsCollectorService) kepada agen layanan di organisasi yang berisi project sumber. Peran ini harus diberikan kepada setiap agen layanan yang tercakup dalam konfigurasi yang dibuat untuk setiap konfigurasi set data yang datanya Anda inginkan. Jika Anda menggunakan agen layanan yang tercakup dalam project, peran ini hanya boleh diberikan satu kali agar agen layanan dapat membaca dan menulis set data untuk semua konfigurasi set data dalam project.

Untuk mengetahui petunjuk tentang cara memberikan peran pada project, lihat Mengelola akses.

Untuk menautkan set data ke BigQuery, selesaikan langkah-langkah berikut:

  1. Di Google Cloud konsol, buka halaman Storage Insights Cloud Storage.

    Buka Analisis Penyimpanan

  2. Klik nama konfigurasi set data yang menghasilkan set data yang ingin Anda tautkan.

  3. Di bagian Set data tertaut BigQuery, klik Tautkan set data untuk menautkan set data Anda.

  1. Untuk menautkan set data ke BigQuery, jalankan perintah gcloud storage insights dataset-configs create-link:

    gcloud storage insights dataset-configs create-link DATASET_CONFIG_ID --location=LOCATION

    Ganti:

    • DATASET_CONFIG_ID dengan nama konfigurasi set data yang menghasilkan set data yang ingin Anda tautkan.

    • LOCATION dengan lokasi set data Anda. Misalnya, us-central1.

    Sebagai alternatif untuk menentukan DATASET_CONFIG_NAME dan LOCATION, Anda dapat menentukan jalur konfigurasi set data lengkap. Contoh:

    gcloud storage insights dataset-configs create-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID_

    Ganti:

    • DESTINATION_PROJECT_ID dengan ID project yang berisi konfigurasi set data. Untuk mengetahui informasi selengkapnya tentang ID project, lihat Membuat dan mengelola project.

    • DATASET_CONFIG_ID dengan nama konfigurasi set data yang menghasilkan set data yang ingin Anda tautkan.

    • LOCATION dengan lokasi set data dan konfigurasi set data Anda. Misalnya, us-central1.

  1. Menginstal dan melakukan inisialisasi gcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

  2. Buat file JSON yang berisi informasi berikut:

    {
      "name": "DATASET_NAME"
    }

    Ganti:

    • DATASET_NAME dengan nama set data yang ingin Anda tautkan. Contoh, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.
  3. Gunakan cURL untuk memanggil JSON API dengan permintaan linkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:linkDataset?" \
      --header "Authorization: Bearer ACCESS_TOKEN" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json" \
    

    Ganti:

    • JSON_FILE_NAME dengan jalur ke file JSON yang Anda buat di langkah sebelumnya.

    • PROJECT_ID dengan ID project yang memiliki konfigurasi set data.

    • LOCATION dengan lokasi tempat set data dan konfigurasi set data berada. Contohnya, us-central1.

    • DATASET_CONFIG_ID dengan nama konfigurasi set data yang menghasilkan set data yang ingin Anda tautkan.

    • ACCESS_TOKEN dengan token akses yang Anda buat saat menginstal dan melakukan inisialisasi Google Cloud CLI.

Melihat dan membuat kueri set data tertaut

Untuk melihat dan membuat kueri set data tertaut, ikuti langkah-langkah berikut:

  1. Di Google Cloud konsol, buka halaman Storage Insights Cloud Storage.

    Buka Analisis Penyimpanan

    Daftar konfigurasi set data yang dibuat di project Anda akan muncul.

  2. Klik set data tertaut BigQuery dari konfigurasi set data yang ingin Anda lihat.

    Set data tertaut BigQuery akan muncul di konsol Google Cloud . Untuk mengetahui informasi tentang skema set data metadata, lihat Skema set data metadata.

  3. Anda dapat mengkueri tabel dan tampilan di set data tertaut dengan cara yang sama seperti menjalankan kueri pada tabel BigQuery lainnya.

Untuk menghentikan konfigurasi set data agar tidak dipublikasikan ke set data BigQuery, batalkan tautan set data. Untuk membatalkan tautan set data, selesaikan langkah-langkah berikut:

  1. Di Google Cloud konsol, buka halaman Storage Insights Cloud Storage.

    Buka Analisis Penyimpanan

  2. Klik nama konfigurasi set data yang membuat set data yang ingin Anda batalkan tautannya.

  3. Di bagian Set data tertaut BigQuery, klik Batalkan tautan set data untuk membatalkan tautan set data Anda.

  1. Untuk membatalkan tautan set data, jalankan perintah gcloud storage insights dataset-configs delete-link:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Ganti:

    • DATASET_CONFIG_ID dengan nama konfigurasi set data yang menghasilkan set data yang ingin Anda batalkan tautannya.

    • LOCATION dengan lokasi set data dan konfigurasi set data Anda. Misalnya, us-central1.

    Sebagai alternatif untuk menentukan DATASET_CONFIG_NAME dan LOCATION, Anda dapat menentukan jalur konfigurasi set data lengkap. Contoh:

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Ganti:

    • DESTINATION_PROJECT_ID dengan ID project yang berisi konfigurasi set data. Untuk mengetahui informasi selengkapnya tentang ID project, lihat Membuat dan mengelola project.

    • DATASET_CONFIG_ID dengan nama konfigurasi set data yang menghasilkan set data yang ingin Anda batalkan tautannya.

    • LOCATION dengan lokasi set data dan konfigurasi set data Anda. Misalnya, us-central1.

  1. Menginstal dan melakukan inisialisasi gcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

  2. Buat file JSON yang berisi informasi berikut:

    {
      "name": "DATASET_NAME"
    }

    Ganti:

    • DATASET_NAME dengan nama set data yang ingin Anda batalkan tautannya. Contoh, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.
  3. Gunakan cURL untuk memanggil JSON API dengan permintaan unlinkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:unlinkDataset?" \
      --header "Authorization: Bearer ACCESS_TOKEN" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json" \
    

    Ganti:

    • JSON_FILE_NAME dengan jalur ke file JSON yang Anda buat di langkah sebelumnya.

    • PROJECT_ID dengan ID project yang memiliki konfigurasi set data.

    • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

    • DATASET_CONFIG_ID dengan nama konfigurasi set data yang menghasilkan set data yang ingin Anda batalkan tautannya.

    • ACCESS_TOKEN dengan token akses yang Anda buat saat menginstal dan melakukan inisialisasi Google Cloud CLI.

Melihat konfigurasi set data

Untuk melihat konfigurasi set data, selesaikan langkah-langkah berikut:

Konsol

  1. Di Google Cloud konsol, buka halaman Storage Insights Cloud Storage.

    Buka Analisis Penyimpanan

  2. Klik nama konfigurasi set data yang ingin Anda lihat.

    Detail konfigurasi set data akan ditampilkan.

Command line

  1. Untuk mendeskripsikan konfigurasi set data, jalankan perintah gcloud storage insights dataset-configs describe:

    gcloud storage insights dataset-configs describe DATASET_CONFG_ID \
      --location=LOCATION

    Ganti:

    • DATASET_CONFIG_ID dengan nama konfigurasi set data.

    • LOCATION dengan lokasi set data dan konfigurasi set data.

    Sebagai alternatif untuk menentukan DATASET_CONFIG_NAME dan LOCATION, Anda dapat menentukan jalur konfigurasi set data lengkap. Contoh:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Ganti:

    • DESTINATION_PROJECT_ID dengan ID project yang berisi konfigurasi set data. Untuk mengetahui informasi selengkapnya tentang ID project, lihat Membuat dan mengelola project.

    • DATASET_CONFIG_ID dengan nama konfigurasi set data yang menghasilkan set data yang ingin Anda lihat.

    • LOCATION dengan lokasi set data dan konfigurasi set data Anda. Misalnya, us-central1.

REST API

JSON API

  1. Menginstal dan melakukan inisialisasi gcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

  2. Gunakan cURL untuk memanggil JSON API dengan permintaan Get DatasetConfig:

    curl -X GET \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
      --header "Authorization: Bearer ACCESS_TOKEN" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json" \
    

    Ganti:

    • PROJECT_ID dengan ID project yang memiliki konfigurasi set data.

    • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

    • DATASET_CONFIG_ID dengan nama konfigurasi set data.

    • ACCESS_TOKEN dengan token akses yang Anda buat saat menginstal dan melakukan inisialisasi Google Cloud CLI.

Mencantumkan konfigurasi set data

Untuk membuat daftar konfigurasi set data dalam project, selesaikan langkah-langkah berikut:

Konsol

  1. Di Google Cloud konsol, buka halaman Storage Insights Cloud Storage.

    Buka Analisis Penyimpanan

    Daftar konfigurasi set data akan ditampilkan.

Command line

  1. Untuk mencantumkan konfigurasi set data dalam sebuah project, jalankan perintah gcloud storage insights dataset-configs list:

    gcloud storage insights dataset-configs list --location=LOCATION

    Ganti:

    • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

    Anda dapat menggunakan tanda opsional berikut untuk menentukan perilaku panggilan listingan:

    • Gunakan --page-size untuk menentukan jumlah maksimum hasil yang akan ditampilkan per halaman.

    • Gunakan --filter=FILTER untuk memfilter hasil. Untuk mengetahui informasi selengkapnya tentang cara menggunakan tanda --filter, jalankan gcloud topic filters dan lihat dokumentasinya.

    • Gunakan --sort-by=SORT_BY_VALUE untuk menentukan daftar nama kunci kolom resource yang dipisahkan koma untuk diurutkan. Contoh, --sort-by=DATASET_CONFIG_NAME.

REST API

JSON API

  1. Menginstal dan melakukan inisialisasi gcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

  2. Gunakan cURL untuk memanggil JSON API dengan permintaan Get DatasetConfig:

    curl -X GET \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
      --header "Authorization: Bearer ACCESS_TOKEN" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json" \
    

    Ganti:

    • PROJECT_ID dengan ID project yang memiliki konfigurasi set data.

    • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

    • ACCESS_TOKEN dengan token akses yang Anda buat saat menginstal dan melakukan inisialisasi Google Cloud CLI.

Memperbarui konfigurasi set data

Untuk memperbarui konfigurasi set data, selesaikan langkah-langkah berikut:

Konsol

  1. Di Google Cloud konsol, buka halaman Storage Insights Cloud Storage.

    Buka Analisis Penyimpanan

  2. Klik nama konfigurasi set data yang ingin Anda perbarui.

  3. Di tab Konfigurasi set data yang muncul, klik Edit untuk memperbarui kolom.

Command line

  1. Untuk memperbarui konfigurasi set data, jalankan perintah gcloud storage insights dataset-configs update:

    gcloud storage insights dataset-configs update DATASET_CONFG_ID \
      --location=LOCATION

    Ganti:

    • DATASET_CONFIG_ID dengan nama konfigurasi set data.

    • LOCATION dengan lokasi set data dan konfigurasi set data.

    Gunakan tanda berikut untuk memperbarui properti konfigurasi set data:

    • Gunakan --skip-verification untuk melewati pemeriksaan dan kegagalan dari proses verifikasi, yang mencakup pemeriksaan izin IAM yang diperlukan. Jika digunakan, beberapa atau semua bucket mungkin dikecualikan dari set data.

    • Gunakan --retention-period-days=DAYS untuk menentukan jumlah hari data bergerak yang akan diambil dalam snapshot set data. Contoh, 90.

    • Gunakan --description=DESCRIPTION untuk menulis deskripsi konfigurasi set data.

REST API

JSON API

  1. Menginstal dan melakukan inisialisasi gcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

  2. Buat file JSON yang berisi informasi opsional berikut:

    {
      "organization_number": "ORGANIZATION_ID",
      "source_projects": {
        "project_numbers": "PROJECT_NUMBERS"
      },
      "retention_period_days": RETENTION_PERIOD"
    }

    Ganti:

    • ORGANIZATION_ID dengan ID resource organisasi yang memiliki project sumber.

    • PROJECT_NUMBERS dengan nomor project yang ingin Anda sertakan dalam set data. Anda dapat menentukan satu project atau beberapa project. Project harus ditentukan dalam format daftar.

    • RETENTION_PERIOD dengan jumlah hari data yang bergerak untuk diambil dalam snapshot set data. Contoh, 90.

  3. Untuk memperbarui konfigurasi set data, gunakan cURL untuk memanggil JSON API dengan permintaan Patch DatasetConfig:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=RETENTION_PERIOD" \
      --header "Authorization: Bearer ACCESS_TOKEN" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json" \
    

    Ganti:

    • JSON_FILE_NAME dengan jalur ke file JSON yang Anda buat di langkah sebelumnya.

    • PROJECT_ID dengan ID project yang memiliki konfigurasi set data.

    • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

    • DATASET_CONFIG_ID dengan nama konfigurasi set data yang ingin Anda perbarui.

    • RETENTION_PERIOD dengan jumlah hari data yang bergerak untuk diambil dalam snapshot set data. Contoh, 90.

    • ACCESS_TOKEN dengan token akses yang Anda buat saat menginstal dan melakukan inisialisasi Google Cloud CLI.

Menghapus konfigurasi set data

Untuk menghapus konfigurasi set data, selesaikan langkah-langkah berikut:

Konsol

  1. Di Google Cloud konsol, buka halaman Storage Insights Cloud Storage.

    Buka Analisis Penyimpanan

  2. Klik nama konfigurasi set data yang ingin Anda hapus.

  3. Klik Hapus .

Command line

  1. Untuk menghapus konfigurasi set data, jalankan perintah gcloud storage insights dataset-configs delete:

    gcloud storage insights dataset-configs delete DATASET_CONFG_ID \
      --location=LOCATION

    Ganti:

    • DATASET_CONFIG_ID dengan nama konfigurasi set data yang ingin Anda hapus.

    • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

    Gunakan tanda berikut untuk memperbarui properti konfigurasi set data:

    • Gunakan --auto-delete-link untuk membatalkan tautan set data yang dibuat dari konfigurasi set data yang ingin Anda hapus. Anda harus membatalkan tautan set data sebelum dapat menghapus konfigurasi set data yang membuat set data.

    • Gunakan --retention-period-days=DAYS untuk menentukan jumlah hari data yang akan diambil dalam snapshot set data. Contoh, 90.

    Sebagai alternatif untuk menentukan DATASET_CONFIG_NAME dan LOCATION, Anda dapat menentukan jalur konfigurasi set data lengkap. Contoh:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

REST API

JSON API

  1. Menginstal dan melakukan inisialisasi gcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

  2. Gunakan cURL untuk memanggil JSON API dengan permintaan Delete DatasetConfig:

    curl -X DELETE \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
      --header "Authorization: Bearer ACCESS_TOKEN" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json" \
    

    Ganti:

    • PROJECT_ID dengan ID project yang memiliki konfigurasi set data.

    • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

    • DATASET_CONFIG_ID dengan nama konfigurasi set data yang ingin Anda hapus.

    • ACCESS_TOKEN dengan token akses yang Anda buat saat menginstal dan melakukan inisialisasi Google Cloud CLI.

Langkah berikutnya