Utilizzare vincoli personalizzati

I criteri dell'organizzazione Google Cloud ti offrono un controllo centralizzato e programmatico sulle risorse della tua organizzazione. In qualità di amministratore dei criteri dell'organizzazione, puoi definire un criterio dell'organizzazione, ovvero un insieme di limitazioni chiamate vincoli che si applicano alle risorse Google Cloud e ai relativi discendenti nella gerarchia delle risorse Google Cloud. Puoi applicare i criteri dell'organizzazione a livello di organizzazione, cartella o progetto.

I criteri dell'organizzazione forniscono vincoli predefiniti per vari servizi Google Cloud. Tuttavia, se vuoi un controllo più granulare e personalizzabile sui campi specifici limitati nei criteri dell'organizzazione, puoi anche creare vincoli personalizzati e utilizzarli in un criterio dell'organizzazione.

Vantaggi

Puoi utilizzare un criterio dell'organizzazione personalizzato per consentire o negare operazioni specifiche sui batch Dataproc Serverless. Ad esempio, se una richiesta di creazione di un carico di lavoro batch non soddisfa la convalida dei vincoli personalizzati impostata dai criteri dell'organizzazione, la richiesta non andrà a buon fine e verrà restituito un errore all'autore della chiamata.

Ereditarietà delle norme

Per impostazione predefinita, i criteri dell'organizzazione vengono ereditati dai discendenti delle risorse su cui applichi il criterio. Ad esempio, se applichi un criterio a una cartella, Google Cloud lo applica a tutti i progetti nella cartella. Per scoprire di più su questo comportamento e su come modificarlo, consulta Regole di valutazione della gerarchia.

Prezzi

Il servizio Norme dell'organizzazione, inclusi i vincoli predefiniti e personalizzati, viene offerto senza costi.

Prima di iniziare

1. Configurare il progetto
   1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

   2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

   3. Make sure that billing is enabled for your Google Cloud project.

   4. Enable the Dataproc Serverless API.

      Enable the API

   5. Install the Google Cloud CLI.

   6. To initialize the gcloud CLI, run the following command:

      gcloud init

   7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

   8. Make sure that billing is enabled for your Google Cloud project.

   9. Enable the Dataproc Serverless API.

      Enable the API

   10. Install the Google Cloud CLI.

   11. To initialize the gcloud CLI, run the following command:

       gcloud init

   12. Assicurati di conoscere il ID organizzazione.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per gestire i criteri dell'organizzazione, chiedi all'amministratore di concederti il ruolo IAM Amministratore dei criteri dell'organizzazione (roles/orgpolicy.policyAdmin) nella risorsa dell'organizzazione. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per gestire i criteri dell'organizzazione. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Creare un vincolo personalizzato

Un vincolo personalizzato viene definito in un file YAML dalle risorse, dai metodi, dalle condizioni e dalle azioni a cui viene applicato. Dataproc Serverless supporta vincoli personalizzati che vengono applicati al metodo CREATE della risorsa BATCH (consulta Vincoli di Dataproc Serverless su risorse e operazioni).

Per creare un file YAML per un vincolo personalizzato Dataproc Serverless:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Batch
methodTypes: 
- CREATE
condition: CONDITION
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Sostituisci quanto segue:

• ORGANIZATION_ID: l'ID della tua organizzazione, ad esempio 123456789.

• CONSTRAINT_NAME: il nome che vuoi assegnare al nuovo vincolo personalizzato. Una limitazione personalizzata deve iniziare con custom. e può includere solo lettere maiuscole, lettere minuscole o numeri, ad esempio custom.batchMustHaveSpecifiedCategoryLabel. La lunghezza massima di questo campo è di 70 caratteri, senza contare il prefisso, ad esempioorganizations/123456789/customConstraints/custom.

• CONDITION: una condizione CEL scritta in base a una rappresentazione di una risorsa di servizio supportata. Questo campo ha una lunghezza massima di 1000 caratteri. Consulta la sezione Risorse supportate per maggiori informazioni sulle risorse disponibili per la scrittura delle condizioni. Condizione di esempio: ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service']).

• ACTION: l'azione da eseguire se la condizione è soddisfatta. Può essere ALLOW o DENY.

• DISPLAY_NAME: un nome facile da ricordare per la limitazione. Nome visualizzato di esempio: "Applica il requisito dell'etichetta "categoria" per il batch". Questo campo ha una lunghezza massima di 200 caratteri.

• DESCRIPTION: una descrizione comprensibile del vincolo da visualizzare come messaggio di errore in caso di violazione del criterio. Questo campo ha una lunghezza massima di 2000 caratteri. Descrizione di esempio: "Consenti la creazione di batch Dataproc solo se è presente un'etichetta "category" con un valore "retail", "ads" o "service"".

Per saperne di più su come creare un vincolo personalizzato, consulta Definire vincoli personalizzati.

Configurare un vincolo personalizzato

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

Applicare un vincolo personalizzato

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true
    

    gcloud org-policies set-policy POLICY_PATH
    

Testa il vincolo personalizzato

Il seguente esempio di creazione di batch presuppone che sia stato creato e applicato un vincolo personalizzato alla creazione del batch per richiedere che al batch sia associata un'etichetta "category" con un valore di "retail", "ads" o "service:("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service'])". Tieni presente che l'etichetta "category" nell'esempio non ha uno dei valori richiesti.

gcloud dataproc batches submit spark \
  --region us-west1
  --jars file:///usr/lib/spark/examples/jars/spark-examples.jar \
  --class org.apache.spark.examples.SparkPi  \
  --network default \
  --labels category=foo \
  -- 100

Esempio di output:

Operation denied by custom org policies: ["customConstraints/custom.batchMustHaveSpecifiedCategoryLabel": ""Only allow Dataproc batch creation if it has a 'category' label with
  a 'retail', 'ads', or 'service' value""]

Vincoli di Dataproc Serverless su risorse e operazioni

I seguenti vincoli personalizzati di Dataproc Serverless sono disponibili per l'utilizzo quando crei (invii) un carico di lavoro batch.

Generali

• resource.labels

PySparkBatch

• resource.pysparkBatch.mainPythonFileUri
• resource.pysparkBatch.args
• resource.pysparkBatch.pythonFileUris
• resource.pysparkBatch.jarFileUris
• resource.pysparkBatch.fileUris
• resource.pysparkBatch.archiveUris

SparkBatch

• resource.sparkBatch.mainJarFileUri
• resource.sparkBatch.mainClass
• resource.sparkBatch.args
• resource.sparkBatch.jarFileUris
• resource.sparkBatch.fileUris
• resource.sparkBatch.archiveUris

SparRBatch

• resource.sparkRBatch.mainRFileUri
• resource.sparkRBatch.args
• resource.sparkRBatch.fileUris
• resource.sparkRBatch.archiveUris

SparkSqlBatch

• resource.sparkSqlBatch.queryFileUri
• resource.sparkSqlBatch.queryVariables
• resource.sparkSqlBatch.jarFileUris

RuntimeConfig

• resource.runtimeConfig.version
• resource.runtimeConfig.containerImage
• resource.runtimeConfig.properties
• resource.runtimeConfig.repositoryConfig.pypiRepositoryConfig.pypiRepository
• resource.runtimeConfig.autotuningConfig.scenarios
• resource.runtimeConfig.cohort

ExecutionConfig

• resource.environmentConfig.executionConfig.serviceAccount
• resource.environmentConfig.executionConfig.networkUri
• resource.environmentConfig.executionConfig.subnetworkUri
• resource.environmentConfig.executionConfig.networkTags
• resource.environmentConfig.executionConfig.kmsKey
• resource.environmentConfig.executionConfig.idleTtl
• resource.environmentConfig.executionConfig.ttl
• resource.environmentConfig.executionConfig.stagingBucket

PeripheralsConfig

• resource.environmentConfig.peripheralsConfig.metastoreService
• resource.environmentConfig.peripheralsConfig.sparkHistoryServerConfig.dataprocCluster

Esempi di vincoli personalizzati per casi d'uso comuni

La tabella seguente fornisce esempi di vincoli personalizzati per i job batch Dataproc Serverless:

    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustHaveSpecifiedCategoryLabel
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition: ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service'])
    actionType: ALLOW
    displayName: Enforce batch "category" label requirement.
    description: Only allow batch creation if it attaches a "category" label with an allowable value.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustUseAllowedVersion
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition:  (has(resource.runtimeConfig.version)) && (resource.runtimeConfig.version in ["2.0.45", "2.0.48"])
    actionType: ALLOW
    displayName: Enforce batch runtime version.
    description: Only allow batch creation if it sets an allowable runtime version.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustUseSparkSQL
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition: (has(resource.sparkSqlBatch))
    actionType: ALLOW
    displayName: Enforce batch only use SparkSQL Batch.
    description: Only allow creation of SparkSQL Batch.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustSetLessThan2hTtl
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition:  (has(resource.environmentConfig.executionConfig.ttl)) && (resource.environmentConfig.executionConfig.ttl <= duration('2h'))
    actionType: ALLOW
    displayName: Enforce batch TTL.
    description: Only allow batch creation if it sets an allowable TTL.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchInitialExecutorMax20
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition: (has(resource.runtimeConfig.properties)) && ('spark.executor.instances' in resource.runtimeConfig.properties)
     && (int(resource.runtimeConfig.properties['spark.executor.instances'])>20)
    actionType: DENY
    displayName: Enforce maximum number of batch Spark executor instances.
    description: Deny batch creation if it specifies more than 20 Spark executor instances.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchDynamicAllocationInitialExecutorMax20
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition: (has(resource.runtimeConfig.properties)) && ('spark.dynamicAllocation.initialExecutors' in resource.runtimeConfig.properties)
     && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.initialExecutors'])>20)
    actionType: DENY
    displayName: Enforce maximum number of batch dynamic allocation initial executors.
    description: Deny batch creation if it specifies more than 20 Spark dynamic allocation initial executors.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchDynamicAllocationMaxExecutorMax20
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition: (resource.runtimeConfig.properties['spark.dynamicAllocation.enabled']=='false') || (('spark.dynamicAllocation.maxExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.maxExecutors'])<=20))
    actionType: ALLOW
    displayName: Enforce batch maximum number of dynamic allocation executors.
    description:  Only allow batch creation if dynamic allocation is disabled or
    the maximum number of dynamic allocation executors is set to less than or equal to 20.

    name: organizations/ORGANIZATION_ID/custom.batchKmsPattern
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition:  matches(resource.environmentConfig.executionConfig.kmsKey, '^keypattern[a-z]$')
    actionType: ALLOW
    displayName: Enforce batch KMS Key pattern.
    description: Only allow batch creation if it sets the KMS key to an allowable pattern.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchStagingBucketPrefix
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition:  resource.environmentConfig.executionConfig.stagingBucket.startsWith(ALLOWED_PREFIX)
    actionType: ALLOW
    displayName: Enforce batch staging bucket prefix.
    description: Only allow batch creation if it sets the staging bucket prefix to ALLOWED_PREFIX.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchExecutorMemoryMax
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition:  ('spark.executor.memory' in resource.runtimeConfig.properties) && (resource.runtimeConfig.properties['spark.executor.memory'].endsWith('m')) && (int(resource.runtimeConfig.properties['spark.executor.memory'].split('m')[0])<20000)
    actionType: ALLOW
    displayName: Enforce batch executor maximum memory.
    description: Only allow batch creation if the executor memory setting ends with an 'm' suffix and is less than 20000 m.

Passaggi successivi

• Per saperne di più sui criteri dell'organizzazione, consulta la Introduzione al servizio Criteri dell'organizzazione.
• Scopri di più su come creare e gestire i criteri dell'organizzazione.
• Consulta l'elenco completo dei vincoli dei criteri dell'organizzazione predefiniti.