Mengelola resource Dataproc menggunakan batasan kustom

Google Cloud Kebijakan Organisasi memberi Anda kontrol terpusat dan terprogram atas resource organisasi. Sebagai administrator kebijakan organisasi, Anda dapat menentukan kebijakan organisasi, yang merupakan serangkaian batasan yang disebut batasan yang berlaku untuk Google Cloud resource dan turunan dari resource tersebut dalam hierarki resource.Google Cloud Anda dapat menerapkan kebijakan organisasi di level organisasi, folder, atau project.

Kebijakan Organisasi memberikan batasan yang telah ditetapkan untuk berbagai layananGoogle Cloud . Namun, jika menginginkan kontrol yang lebih terperinci dan dapat disesuaikan atas kolom tertentu yang dibatasi dalam kebijakan organisasi, Anda juga dapat membuat batasan khusus dan menggunakan batasan khusus tersebut dalam kebijakan organisasi kustom.

Manfaat

Anda dapat menggunakan kebijakan organisasi kustom untuk mengizinkan atau menolak operasi tertentu pada cluster Dataproc. Misalnya, jika permintaan untuk membuat atau mengupdate cluster gagal memenuhi validasi batasan kustom sebagaimana ditetapkan oleh kebijakan organisasi Anda, permintaan akan gagal, dan error akan ditampilkan kepada pemanggil.

Pewarisan kebijakan

Secara default, kebijakan organisasi diwarisi oleh turunan resource tempat Anda menerapkan kebijakan tersebut. Misalnya, jika Anda menerapkan kebijakan pada folder, Google Cloud akan menerapkan kebijakan tersebut pada semua project di folder tersebut. Untuk mempelajari lebih lanjut perilaku ini dan cara mengubahnya, lihat Aturan evaluasi hierarki.

Harga

Layanan Kebijakan Organisasi, termasuk kebijakan organisasi yang telah ditetapkan dan khusus, ditawarkan tanpa biaya.

Sebelum memulai

  1. Menyiapkan project Anda
    1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    3. Make sure that billing is enabled for your Google Cloud project.

    4. Enable the Dataproc API.

      Enable the API

    5. Install the Google Cloud CLI.

    6. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

    7. To initialize the gcloud CLI, run the following command: 

      gcloud init

    8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    9. Make sure that billing is enabled for your Google Cloud project.

    10. Enable the Dataproc API.

      Enable the API

    11. Install the Google Cloud CLI.

    12. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

    13. To initialize the gcloud CLI, run the following command: 

      gcloud init
    14. Pastikan Anda mengetahui ID organisasi Anda.

      15. Peran yang diperlukan

      Untuk mendapatkan izin yang diperlukan untuk mengelola kebijakan organisasi, minta administrator Anda untuk memberi Anda peran IAM berikut:

      Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

      Peran bawaan ini berisi izin yang diperlukan untuk mengelola kebijakan organisasi. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

      Izin yang diperlukan

      Izin berikut diperlukan untuk mengelola kebijakan organisasi:

      • orgpolicy.constraints.list
      • orgpolicy.policies.create
      • orgpolicy.policies.delete
      • orgpolicy.policies.list
      • orgpolicy.policies.update
      • orgpolicy.policy.get
      • orgpolicy.policy.set

      Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

      Membuat batasan khusus

      Batasan kustom ditentukan dalam file YAML oleh resource, metode, kondisi, dan tindakan yang diterapkan padanya. Dataproc mendukung batasan kustom yang diterapkan pada metode CREATE dan UPDATE dari resource CLUSTER (lihat Batasan Dataproc pada resource dan operasi).

      Untuk membuat file YAML untuk batasan khusus Dataproc:

      name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes: 
- METHOD
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

      Ganti kode berikut:

      • ORGANIZATION_ID: ID organisasi Anda, seperti 123456789.

      • CONSTRAINT_NAME: nama yang Anda inginkan untuk batasan kustom baru. Batasan kustom harus dimulai dengan custom., dan hanya boleh menyertakan huruf besar, huruf kecil, atau angka, misalnya, custom.dataprocEnableComponentGateway. Panjang maksimum kolom ini adalah 70 karakter, tidak menghitung awalan, misalnya, organizations/123456789/customConstraints/custom.

      • METHOD: Saat membuat batasan pembuatan cluster, tentukan CREATE. Saat membuat batasan UPDATE cluster, tentukan keduanya sebagai berikut: 
        methodTypes:
- CREATE
- UPDATE

      • CONDITION: kondisi CEL yang ditulis berdasarkan representasi resource layanan yang didukung. Kolom ini memiliki panjang maksimal 1000 karakter. Lihat Resource yang didukung untuk mengetahui informasi selengkapnya tentang resource yang tersedia untuk menulis kondisi. Contohnya, "resource.config.endpointConfig.enableHttpPortAccess==true"

      • ACTION: tindakan yang akan diambil jika condition terpenuhi. Ini dapat berupa ALLOW atau DENY.

      • DISPLAY_NAME: nama yang mudah dibaca manusia untuk batasan, misalnya, "Terapkan pengaktifan Gateway Komponen Dataproc". Kolom ini memiliki panjang maksimal 200 karakter.

      • DESCRIPTION: deskripsi batasan yang mudah dipahami untuk ditampilkan sebagai pesan error saat kebijakan dilanggar, misalnya, "Hanya izinkan pembuatan cluster Dataproc jika Gateway Komponen diaktifkan". Kolom ini memiliki panjang maksimal 2000 karakter.

      Untuk mengetahui informasi selengkapnya tentang cara membuat batasan kustom, lihat Menentukan batasan kustom.

      Menyiapkan batasan kustom

      Setelah membuat file YAML untuk batasan khusus baru, Anda harus menyiapkannya agar tersedia untuk kebijakan organisasi di organisasi Anda. Untuk menyiapkan batasan kustom, gunakan perintah gcloud org-policies set-custom-constraint: 
      gcloud org-policies set-custom-constraint CONSTRAINT_PATH
       Ganti CONSTRAINT_PATH dengan jalur lengkap ke file batasan kustom Anda. Contohnya, /home/user/customconstraint.yaml Setelah selesai, batasan khusus Anda tersedia sebagai kebijakan organisasi dalam daftar kebijakan organisasi. Google Cloud Untuk memverifikasi bahwa ada batasan kustom, gunakan perintah gcloud org-policies list-custom-constraints: 
      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
       Ganti ORGANIZATION_ID dengan ID resource organisasi Anda. Untuk mengetahui informasi selengkapnya, lihat Melihat kebijakan organisasi.

      Menerapkan batasan khusus

      Anda dapat menerapkan batasan dengan membuat kebijakan organisasi yang mereferensikannya, lalu menerapkan kebijakan organisasi tersebut ke resource Google Cloud .

      Konsol

      1. Di konsol Google Cloud , buka halaman Kebijakan organisasi.

        Buka Organization policies

      2. Dari pemilih project, pilih project yang ingin Anda tetapkan kebijakan organisasinya.
      3. Dari daftar di halaman Kebijakan organisasi, pilih batasan Anda untuk melihat halaman Detail kebijakan untuk batasan tersebut.
      4. Untuk mengonfigurasi kebijakan organisasi untuk resource ini, klik Manage policy.
      5. Di halaman Edit kebijakan, pilih Ganti kebijakan induk.
      6. Klik Add a rule.
      7. Di bagian Penerapan, pilih apakah penerapan kebijakan organisasi ini diaktifkan atau dinonaktifkan.
      8. Opsional: Untuk membuat kebijakan organisasi bersyarat pada tag, klik Tambahkan kondisi. Perhatikan bahwa jika menambahkan aturan kondisional ke kebijakan organisasi, Anda harus menambahkan setidaknya satu aturan tanpa syarat atau kebijakan tidak dapat disimpan. Untuk mengetahui informasi selengkapnya, lihat Menetapkan kebijakan organisasi dengan tag.
      9. Klik Uji perubahan untuk menyimulasikan efek kebijakan organisasi. Simulasi kebijakan tidak tersedia untuk batasan terkelola lama. Untuk mengetahui informasi selengkapnya, lihat Menguji perubahan kebijakan organisasi dengan Policy Simulator.
      10. Untuk menyelesaikan dan menerapkan kebijakan organisasi, klik Set policy. Kebijakan ini memerlukan waktu hingga 15 menit untuk diterapkan.

      gcloud

      Untuk membuat kebijakan organisasi dengan aturan boolean, buat file YAML kebijakan yang merujuk batasan: 

            name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

      Ganti kode berikut:

      • PROJECT_ID: project tempat Anda ingin menerapkan batasan.
      • CONSTRAINT_NAME: nama yang Anda tentukan untuk batasan kustom. Contoh, custom.dataprocEnableComponentGateway

      Untuk menerapkan kebijakan organisasi yang berisi batasan, jalankan perintah berikut: 

          gcloud org-policies set-policy POLICY_PATH

      Ganti POLICY_PATH dengan jalur lengkap ke file YAML kebijakan organisasi Anda. Kebijakan ini memerlukan waktu hingga 15 menit untuk diterapkan.

      Menguji batasan khusus

      Contoh pembuatan cluster berikut mengasumsikan bahwa kebijakan organisasi kustom telah dibuat dan diterapkan pada pembuatan cluster untuk mewajibkan pengaktifan Component Gateway (resource.config.endpointConfig.enableHttpPortAccess==true).

      gcloud dataproc clusters create example-cluster \
    --project=PROJECT_ID \
    --zone=COMPUTE_ZONE

      Contoh output (secara default, Gateway Komponen tidak diaktifkan saat cluster Dataproc dibuat):

      Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]

      Batasan Dataproc pada resource dan operasi

      Kolom batasan kustom Dataproc berikut tersedia untuk digunakan saat Anda membuat atau memperbarui cluster Dataproc. Perhatikan bahwa saat memperbarui cluster, hanya batasan yang terkait dengan parameter cluster yang dapat diedit yang didukung (lihat Memperbarui cluster).

      • Konfigurasi jaringan Compute Engine (networkUri, internalIpOnly, serviceAccount, dan metadata)
        • resource.config.gceClusterConfig.networkUri
        • resource.config.gceClusterConfig.internalIpOnly
        • resource.config.gceClusterConfig.serviceAccount
        • resource.config.gceClusterConfig.metadata
      • Konfigurasi grup instance Compute Engine (imageUri dan machineTypeUri)
        • resource.config.masterConfig.imageUri
        • resource.config.masterConfig.machineTypeUri
        • resource.config.workerConfig.imageUri
        • resource.config.workerConfig.machineTypeUri
        • resource.config.secondaryWorkerConfig.imageUri
        • resource.config.secondaryWorkerConfig.machineTypeUri
      • Konfigurasi disk grup instance Compute Engine (bootDiskType, bootDiskSizeGb, numLocalSsds, dan localSsdInterface)
        • resource.config.masterConfig.diskConfig.bootDiskType
        • resource.config.workerConfig.diskConfig.bootDiskType
        • resource.config.secondaryWorkerConfig.diskConfig.bootDiskType
        • resource.config.masterConfig.diskConfig.bootDiskSizeGb
        • resource.config.workerConfig.diskConfig.bootDiskSizeGb
        • resource.config.secondaryWorkerConfig.diskConfig.bootDiskSizeGb
        • resource.config.masterConfig.diskConfig.numLocalSsds
        • resource.config.workerConfig.diskConfig.numLocalSsds
        • resource.config.secondaryWorkerConfig.diskConfig.numLocalSsds
        • resource.config.masterConfig.diskConfig.localSsdInterface
        • resource.config.workerConfig.diskConfig.localSsdInterface
        • resource.config.secondaryWorkerConfig.diskConfig.localSsdInterface
      • Tindakan inisialisasi (executableFile)
        • resource.config.initializationActions.executableFile
      • Konfigurasi software (imageVersion, properties, dan optionalComponents)
        • resource.config.softwareConfig.imageVersion
        • resource.config.softwareConfig.properties
        • resource.config.softwareConfig.optionalComponents
      • Konfigurasi Kerberos (enableKerberos dan crossRealmTrustKdc)
        • resource.config.securityConfig.kerberosConfig.enableKerberos
        • resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
      • Component gateway (enableHttpPortAccess)
        • resource.config.endpointConfig.enableHttpPortAccess
      • Konfigurasi Metastore (dataprocMetastoreService)
        • resource.config.metastoreConfig.dataprocMetastoreService
      • CMEK Persistent Disk (gcePdKmsKeyName)
        • resource.config.encryptionConfig.gcePdKmsKeyName
      • Label cluster
        • resource.labels
      • Ukuran cluster
        • resource.config.masterConfig.numInstances
        • resource.config.workerConfig.numInstances
        • resource.config.secondaryWorkerConfig.numInstances
      • Penskalaan otomatis
        • resource.config.autoscalingConfig.policyUri

      Contoh batasan kustom untuk kasus penggunaan umum

      Tabel berikut memberikan contoh batasan kustom:

      Deskripsi Sintaksis batasan
      Batasi jumlah instance pekerja Dataproc hingga 10 atau kurang saat cluster dibuat atau diperbarui. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10"
    actionType: DENY
    displayName: Total number of worker instances cannot be larger than 10
    description: Cluster cannot have more than 10 workers, including primary and
    secondary workers.
      Mencegah master aplikasi berjalan di worker yang dapat dihentikan cluster Dataproc. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)"
    actionType: ALLOW
    displayName: Application master cannot run on preemptible workers
    description: Property "dataproc:am.primary_only" must be "true".
      Jangan izinkan properti Hive kustom di cluster Dataproc. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))"
    actionType: ALLOW
    displayName: Cluster cannot have custom Hive properties
    description: Only allow Dataproc cluster creation if no property
    starts with Hive prefix "hive:".
      Melarang penggunaan jenis mesin n1-standard-2 untuk instance master Dataproc. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')"
    actionType: DENY
    displayName: Master cannot use the n1-standard-2 machine type
    description:  Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
      Menerapkan penggunaan skrip tindakan inisialisasi yang ditentukan. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')"
    actionType: ALLOW
    displayName: Initialization action script "gs://some/init-action.sh" must be used
    description:  Only allow Dataproc cluster creation if the "gs://some/init-action.sh"
    initialization action script is used.
      Menerapkan penggunaan kunci enkripsi persistent disk tertentu. 
          name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'"
    actionType: ALLOW
    displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring
    description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
      Menerapkan batasan label cluster. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition:  "('env' in resource.labels) && (resource.labels.env=='test')"
    actionType: DENY
    displayName: Cluster cannot have the "env=test" label
    description:  Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".
      Menerapkan penggunaan jaringan non-default. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoDefaultNetwork
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "resource.config.gceClusterConfig.networkUri.contains('networks/default')"
    actionType: DENY
    displayName: Cluster cannot be created in the default network
    description:  Deny Dataproc cluster creation if the cluster will be created in the default network.

      Langkah berikutnya