Gestire le risorse Dataflow utilizzando vincoli personalizzati

I criteri dell'organizzazione Google Cloud ti offrono un controllo centralizzato e programmatico sulle risorse della tua organizzazione. In qualità di amministratore dei criteri dell'organizzazione, puoi definire un criterio dell'organizzazione, ovvero un insieme di limitazioni chiamate vincoli che si applicano alle risorse Google Cloud e ai relativi discendenti nella gerarchia delle risorse Google Cloud. Puoi applicare i criteri dell'organizzazione a livello di organizzazione, cartella o progetto.

I criteri dell'organizzazione forniscono vincoli predefiniti per vari servizi Google Cloud. Tuttavia, se vuoi un controllo più granulare e personalizzabile sui campi specifici limitati nelle norme dell'organizzazione, puoi anche creare norme dell'organizzazione personalizzate.

Vantaggi

Puoi utilizzare un criterio dell'organizzazione personalizzato per consentire o negare la creazione di job Dataflow con condizioni basate su attributi delle risorse supportati, come nome, tipo e opzioni di servizio del job.

Ereditarietà delle norme

Per impostazione predefinita, i criteri dell'organizzazione vengono ereditati dai discendenti delle risorse su cui applichi il criterio. Ad esempio, se applichi un criterio a una cartella, Google Cloud lo applica a tutti i progetti nella cartella. Per scoprire di più su questo comportamento e su come modificarlo, consulta Regole di valutazione della gerarchia.

Prezzi

Il servizio di criteri dell'organizzazione, inclusi i criteri dell'organizzazione predefiniti e personalizzati, viene fornito senza costi.

Limitazioni

  • I vincoli personalizzati per le risorse Dataflow Job possono essere configurati solo utilizzando la console Google Cloud o Google Cloud CLI.

  • I vincoli personalizzati possono essere applicati solo al metodo CREATE per le risorse Job di Dataflow.

  • I vincoli personalizzati appena applicati non si applicano alle risorse esistenti.

Prima di iniziare

Per saperne di più su cosa sono i vincoli e i criteri dell'organizzazione e su come funzionano, consulta la Introduzione al servizio Organization Policy.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per gestire le norme dell'organizzazione, chiedi all'amministratore di concederti il ruolo IAM Amministratore delle norme dell'organizzazione (roles/orgpolicy.policyAdmin) nell'organizzazione. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per gestire i criteri dell'organizzazione. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per gestire le norme dell'organizzazione sono necessarie le seguenti autorizzazioni:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Creare un vincolo personalizzato

Un vincolo personalizzato viene definito in un file YAML dalle risorse, dai metodi, dalle condizioni e dalle azioni supportate dal servizio su cui stai applicando il criterio dell'organizzazione. Le condizioni per i vincoli personalizzati vengono definite utilizzando Common Expression Language (CEL). Per ulteriori informazioni su come creare condizioni nei vincoli personalizzati utilizzando CEL, consulta la sezione CEL di Creare e gestire vincoli personalizzati.

Per creare un file YAML per un vincolo personalizzato:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Sostituisci quanto segue:

  • ORGANIZATION_ID: l'ID della tua organizzazione, ad esempio 123456789.

  • CONSTRAINT_NAME: il nome che vuoi assegnare al nuovo vincolo personalizzato. Un vincolo personalizzato deve iniziare con custom. e può includere solo lettere maiuscole, lettere minuscole o numeri, ad esempio custom.denyPrimeJobs. La lunghezza massima di questo campo è di 70 caratteri, senza contare il prefisso, ad esempioorganizations/123456789/customConstraints/custom.

  • RESOURCE_NAME: il nome (non l'URI) della risorsa REST dell'API Dataflow contenente l'oggetto e il campo che vuoi limitare. Ad esempio, Job.

  • CONDITION: una condizione CEL scritta in base a una rappresentazione di una risorsa di servizio supportata. Questo campo ha una lunghezza massima di 1000 caratteri. Consulta la sezione Risorse supportate per ulteriori informazioni sulle risorse disponibili per la scrittura delle condizioni. Ad esempio, "resource.environment.serviceOptions.exists(value, value=='enable_prime')".

  • ACTION: l'azione da intraprendere se viene soddisfatto il criterio condition. I valori supportati sono ALLOW e DENY.

  • DISPLAY_NAME: un nome facile da ricordare per la limitazione. Questo campo ha una lunghezza massima di 200 caratteri.

  • DESCRIPTION: una descrizione comprensibile del vincolo da visualizzare come messaggio di errore in caso di violazione del criterio. Questo campo ha una lunghezza massima di 2000 caratteri.

Per saperne di più su come creare un vincolo personalizzato, consulta Definire vincoli personalizzati.

Configurare un vincolo personalizzato

Dopo aver creato il file YAML per un nuovo vincolo personalizzato, devi configurarlo per renderlo disponibile per i criteri dell'organizzazione nella tua organizzazione. Per impostare un vincolo personalizzato, utilizza il comando gcloud org-policies set-custom-constraint:
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
Sostituisci CONSTRAINT_PATH con il percorso completo del file delle limitazioni personalizzate. Ad esempio: /home/user/customconstraint.yaml. Al termine, i vincoli personalizzati sono disponibili come criteri dell'organizzazione nell'elenco dei criteri dell'organizzazione di Google Cloud. Per verificare che la limitazione personalizzata esista, utilizza il comando gcloud org-policies list-custom-constraints:
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
Sostituisci ORGANIZATION_ID con l'ID della risorsa della tua organizzazione. Per ulteriori informazioni, consulta Visualizzare i criteri dell'organizzazione.

Applicare un criterio dell'organizzazione personalizzato

Puoi applicare un vincolo booleano creando un criterio dell'organizzazione che lo richiami e poi applicando questo criterio dell'organizzazione a una risorsa Google Cloud.

Console

  1. Nella console Google Cloud, vai alla pagina Norme dell'organizzazione.

    Vai a Criteri dell'organizzazione

  2. Nel selettore di progetti, seleziona il progetto per cui vuoi impostare il criterio dell'organizzazione.
  3. Nell'elenco della pagina Criteri organizzazione, seleziona il vincolo per visualizzare la pagina Dettagli criteri relativa al vincolo in questione.
  4. Per configurare il criterio dell'organizzazione per questa risorsa, fai clic su Gestisci criterio.
  5. Nella pagina Modifica criterio, seleziona Ignora criterio della risorsa padre.
  6. Fai clic su Aggiungi una regola.
  7. Nella sezione Applicazione, seleziona se l'applicazione di questo criterio dell'organizzazione è attivata o disattivata.
  8. (Facoltativo) Per rendere il criterio dell'organizzazione condizionale su un tag, fai clic su Aggiungi condizione. Tieni presente che se aggiungi una regola condizionale a un criterio dell'organizzazione, devi aggiungere almeno una regola non condizionale, altrimenti il criterio non può essere salvato. Per ulteriori informazioni, consulta Impostare un criterio dell'organizzazione con tag.
  9. Se si tratta di un vincolo personalizzato, puoi fare clic su Prova modifiche per simulare l'effetto di questo criterio dell'organizzazione. Per ulteriori informazioni, consulta Testare le modifiche ai criteri dell'organizzazione con Policy Simulator.
  10. Per completare e applicare il criterio dell'organizzazione, fai clic su Imposta criterio. L'applicazione del criterio può richiedere fino a 15 minuti.

gcloud

Per creare un criterio dell'organizzazione che applichi un vincolo booleano, crea un file YAML del criterio che faccia riferimento al vincolo:

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true
    

Sostituisci quanto segue:

  • PROJECT_ID: il progetto su cui vuoi applicare il vincolo.
  • CONSTRAINT_NAME: il nome definito per il vincolo personalizzato. Ad esempio, custom.denyPrimeJobs.

Per applicare il criterio dell'organizzazione contenente la limitazione, esegui il seguente comando:

    gcloud org-policies set-policy POLICY_PATH
    

Sostituisci POLICY_PATH con il percorso completo del file YAML del criterio dell'organizzazione. L'applicazione del criterio può richiedere fino a 15 minuti.

Esempio: crea una limitazione per negare la creazione di un job con Prime abilitato

gcloud

  1. Crea un file di vincoli denyPrimeJobs.yaml con le seguenti informazioni. Sostituisci ORGANIZATION_ID con l'ID della tua organizzazione.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
    resource_types: dataflow.googleapis.com/Job
    condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
    action_type: DENY
    method_types: CREATE
    display_name: Restrict creation of job with prime enabled
    description: Deny creation of jobs with prime enabled.
  2. Imposta il vincolo personalizzato.

    gcloud org-policies set-custom-constraint denyPrimeJobs.yaml
    
  3. Crea un file di criteri enforce-policy-denyPrimeJobs.yaml con le seguenti informazioni. In questo esempio, il vincolo viene applicato a livello di progetto. Puoi impostare questo vincolo anche a livello di organizzazione o cartella. Sostituisci PROJECT_ID con l'ID del tuo progetto.

          name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
          spec:
            rules:
    enforce: true
  4. Applica il criterio eseguendo il seguente comando.

    gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml
    

  5. Per testare la limitazione, prova a creare un job Dataflow con l'opzioneenable_prime. Segui la guida rapida su come creare una pipeline Dataflow utilizzando Java per creare un job WordCount.

    mvn -Pdataflow-runner compile \
    exec:java \
    -Dexec.mainClass=org.apache.beam.examples.WordCount \
    -Dexec.args="--project=PROJECT_ID \
    --gcpTempLocation=gs://BUCKET_NAME/temp/ \
    --output=gs://BUCKET_NAME/output \
    --runner=DataflowRunner \
    --region=us-central1 \
    --dataflowServiceOptions=enable_prime" \
    -Pdataflow-runner
    

    L'output è simile al seguente esempio:

    "details" : [ {
      "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
      "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
    }]

    Il log di controllo deve mostrare i dettagli della violazione come segue:

      policyViolationInfo: {
        orgPolicyViolationInfo: {
        violationInfo: [
        0: {
          constraint: "customConstraints/custom.denyPrimeJobs"
          errorMessage: "Restrict creation of job with prime enabled"
          policyType: "CUSTOM_CONSTRAINT"
        }]}}

Campi di espressione per le condizioni

La tabella seguente contiene i campi delle espressioni che puoi utilizzare per creare condizioni. Le condizioni sono scritte in Common Expression Language (CEL). Il valore dei campi dell'espressione è sensibile alle maiuscole.

Per le descrizioni dei seguenti campi di espressione e dei valori che puoi specificare, consulta la rappresentazione JSON di Job di Dataflow.

Campo di espressione Tipo di valore
name string
type string
transformNameMapping map
location string
environment message
environment.serviceOptions list of string
environment.serviceKmsKeyName string
environment.serviceAccountEmail string
environment.workerRegion string
environment.workerZone string
environment.streamingMode string
environment.debugOptions message
environment.debugOptions.enableHotKeyLogging bool

Esempi di casi d'uso

Alcuni casi d'uso di esempio sono elencati nella tabella seguente.

Caso d'uso Azione Vincolo personalizzato
Non consentire l'utilizzo del job principale DENY resource.environment.serviceOptions.exists(value, value=='enable_prime')
Impedisce alle VM di accettare le chiavi SSH archiviate nei metadati del progetto. DENY !resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')
Non consentire i job senza impostare il numero massimo di secondi di esecuzione DENY !resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')

Passaggi successivi