Gestire le risorse Dataflow utilizzando vincoli personalizzati

Google Cloud I criteri dell'organizzazione offrono un controllo centralizzato e programmatico sulle risorse della tua organizzazione. In qualità di amministratore dei criteri dell'organizzazione, puoi definire un criterio dell'organizzazione, ovvero un insieme di restrizioni chiamate vincoli che si applicano alle Google Cloud risorse e ai relativi discendenti nella Google Cloud gerarchia delle risorse. Puoi applicare i criteri dell'organizzazione a livello di organizzazione, cartella o progetto.

Policy dell'organizzazione fornisce vincoli predefiniti per vari serviziGoogle Cloud . Tuttavia, se vuoi un controllo più granulare e personalizzabile sui campi specifici limitati nelle norme della tua organizzazione, puoi anche creare norme dell'organizzazione personalizzate.

Vantaggi

Puoi utilizzare un criterio dell'organizzazione personalizzato per consentire o negare la creazione di job Dataflow con condizioni basate su attributi delle risorse supportati, come nome, tipo e opzioni di servizio del job.

Ereditarietà delle norme

Per impostazione predefinita, i criteri dell'organizzazione vengono ereditati dai discendenti delle risorse su cui applichi il criterio. Ad esempio, se applichi un criterio a una cartella, Google Cloud il criterio viene applicato a tutti i progetti nella cartella. Per scoprire di più su questo comportamento e su come modificarlo, consulta Regole di valutazione della gerarchia.

Prezzi

Il servizio criteri dell'organizzazione, inclusi i criteri dell'organizzazione predefiniti e personalizzati, viene offerto senza costi.

Limitazioni

  • I vincoli personalizzati per le risorse Dataflow Job possono essere configurati solo utilizzando la console Google Cloud o Google Cloud CLI.

  • I vincoli personalizzati possono essere applicati solo al metodo CREATE per le risorse Dataflow Job.

  • I vincoli personalizzati appena applicati non si applicano alle risorse esistenti.

Prima di iniziare

Per saperne di più su cosa sono le policy e i vincoli dell'organizzazione e su come funzionano, consulta la pagina Introduzione al servizio Policy dell'organizzazione.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per gestire le policy dell'organizzazione, chiedi all'amministratore di concederti il ruolo IAM Amministratore policy dell'organizzazione (roles/orgpolicy.policyAdmin) nell'organizzazione. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per gestire le norme dell'organizzazione. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per gestire le policy dell'organizzazione sono necessarie le seguenti autorizzazioni:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Creare un vincolo personalizzato

Un vincolo personalizzato viene definito in un file YAML dalle risorse, dai metodi, dalle condizioni e dalle azioni supportati dal servizio su cui stai applicando il criterio dell'organizzazione. Le condizioni per i vincoli personalizzati sono definite utilizzando Common Expression Language (CEL). Per ulteriori informazioni su come creare condizioni nei vincoli personalizzati utilizzando CEL, consulta la sezione CEL di Creazione e gestione di vincoli personalizzati.

Per creare un file YAML per un vincolo personalizzato:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Sostituisci quanto segue:

  • ORGANIZATION_ID: l'ID organizzazione, ad esempio 123456789.

  • CONSTRAINT_NAME: il nome che vuoi assegnare al nuovo vincolo personalizzato. Un vincolo personalizzato deve iniziare con custom. e può includere solo lettere maiuscole, minuscole o numeri, ad esempio custom.denyPrimeJobs. La lunghezza massima di questo campo è di 70 caratteri, senza contare il prefisso, ad esempio, organizations/123456789/customConstraints/custom.

  • RESOURCE_NAME: il nome (non l'URI) della risorsa REST dell'API Dataflow contenente l'oggetto e il campo che vuoi limitare. Ad esempio, Job.

  • CONDITION: una condizione CEL scritta in base a una rappresentazione di una risorsa di servizio supportata. Questo campo ha una lunghezza massima di 1000 caratteri. Per saperne di più sulle risorse disponibili per scrivere condizioni, consulta Risorse supportate. Ad esempio, "resource.environment.serviceOptions.exists(value, value=='enable_prime')".

  • ACTION: l'azione da intraprendere se la condizione condition è soddisfatta. I valori supportati sono ALLOW e DENY.

  • DISPLAY_NAME: un nome facile da ricordare per il vincolo. Questo campo ha una lunghezza massima di 200 caratteri.

  • DESCRIPTION: una descrizione comprensibile del vincolo da visualizzare come messaggio di errore in caso di violazione della policy. Questo campo ha una lunghezza massima di 2000 caratteri.

Per saperne di più su come creare un vincolo personalizzato, consulta Definizione di vincoli personalizzati.

Configurare un vincolo personalizzato

Dopo aver creato il file YAML per un nuovo vincolo personalizzato, devi configurarlo per renderlo disponibile per i criteri dell'organizzazione nella tua organizzazione. Per configurare un vincolo personalizzato, utilizza il comando gcloud org-policies set-custom-constraint: 
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
 Sostituisci CONSTRAINT_PATH con il percorso completo del tuo file di vincoli personalizzati. Ad esempio: /home/user/customconstraint.yaml. Una volta completati, i vincoli personalizzati sono disponibili come policy dell'organizzazione nell'elenco delle policy dell'organizzazione Google Cloud . Per verificare che il vincolo personalizzato esista, utilizza il comando gcloud org-policies list-custom-constraints: 
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
 Sostituisci ORGANIZATION_ID con l'ID della risorsa dell'organizzazione. Per saperne di più, consulta Visualizzare le policy dell'organizzazione.

Applicare una policy dell'organizzazione personalizzata

Puoi applicare un vincolo creando un criterio dell'organizzazione che lo fa riferimento e poi applicando questo criterio dell'organizzazione a una risorsa. Google Cloud

Console

  1. Nella console Google Cloud , vai alla pagina Policy dell'organizzazione.

    Vai a Policy dell'organizzazione

  2. Nel selettore di progetti, seleziona il progetto per cui vuoi impostare il criterio dell'organizzazione.
  3. Dall'elenco nella pagina Criteri organizzazione, seleziona il vincolo per visualizzare la pagina Dettagli criterio relativa a quel vincolo.
  4. Per configurare la policy dell'organizzazione per questa risorsa, fai clic su Gestisci policy.
  5. Nella pagina Modifica policy, seleziona Esegui override della policy dell'unità organizzativa principale.
  6. Fai clic su Aggiungi una regola.
  7. Nella sezione Applicazione, seleziona se l'applicazione di questa policy dell'organizzazione è attiva o disattivata.
  8. (Facoltativo) Per rendere la policy dell'organizzazione condizionale in base a un tag, fai clic su Aggiungi condizione. Tieni presente che se aggiungi una regola condizionale a una policy dell'organizzazione, devi aggiungere almeno una regola incondizionata o la policy non può essere salvata. Per saperne di più, vedi Impostazione di un criterio dell'organizzazione con tag.
  9. Fai clic su Testa modifiche per simulare l'effetto della policy dell'organizzazione. La simulazione delle policy non è disponibile per i vincoli gestiti legacy. Per saperne di più, consulta Testare le modifiche alle policy dell'organizzazione con Policy Simulator.
  10. Per completare e applicare la policy dell'organizzazione, fai clic su Imposta policy. L'applicazione del criterio richiede fino a 15 minuti.

gcloud

Per creare una policy dell'organizzazione con regole booleane, crea un file YAML della policy che faccia riferimento al vincolo: 

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

Sostituisci quanto segue:

  • PROJECT_ID: il progetto su cui vuoi applicare il vincolo.
  • CONSTRAINT_NAME: il nome che hai definito per il vincolo personalizzato. Ad esempio, custom.denyPrimeJobs.

Per applicare il criterio dell'organizzazione contenente il vincolo, esegui questo comando: 

    gcloud org-policies set-policy POLICY_PATH

Sostituisci POLICY_PATH con il percorso completo del file YAML del criterio dell'organizzazione. L'applicazione del criterio richiede fino a 15 minuti.

Esempio: crea un vincolo per impedire la creazione di un job con Prime abilitato

gcloud

  1. Crea un file di vincoli denyPrimeJobs.yaml con le seguenti informazioni. Sostituisci ORGANIZATION_ID con l'ID organizzazione.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
resource_types: dataflow.googleapis.com/Job
condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
action_type: DENY
method_types: CREATE
display_name: Restrict creation of job with prime enabled
description: Deny creation of jobs with prime enabled.

  2. Imposta il vincolo personalizzato.

    gcloud org-policies set-custom-constraint denyPrimeJobs.yaml

  3. Crea un file di criteri enforce-policy-denyPrimeJobs.yaml con le seguenti informazioni. In questo esempio, il vincolo viene applicato a livello di progetto. Puoi impostare questo vincolo anche a livello di organizzazione o cartella. Sostituisci PROJECT_ID con l'ID progetto.

          name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
      spec:
        rules:
        – enforce: true

  4. Applica la policy eseguendo il seguente comando. 

    gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml

  5. Per testare il vincolo, prova a creare un job Dataflow con l'opzione enable_prime. Segui la Guida rapida per creare una pipeline Dataflow utilizzando Java per creare un job WordCount.

    mvn -Pdataflow-runner compile \
exec:java \
-Dexec.mainClass=org.apache.beam.examples.WordCount \
-Dexec.args="--project=PROJECT_ID \
--gcpTempLocation=gs://BUCKET_NAME/temp/ \
--output=gs://BUCKET_NAME/output \
--runner=DataflowRunner \
--region=us-central1 \
--dataflowServiceOptions=enable_prime" \
-Pdataflow-runner

    L'output è simile al seguente esempio:

    "details" : [ {
  "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
  "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
}]

    Il log di controllo dovrebbe mostrare i dettagli della violazione come segue: 

      policyViolationInfo: {
    orgPolicyViolationInfo: {
    violationInfo: [
    0: {
      constraint: "customConstraints/custom.denyPrimeJobs"
      errorMessage: "Restrict creation of job with prime enabled"
      policyType: "CUSTOM_CONSTRAINT"
    }]}}

Campi dell'espressione per le condizioni

La tabella seguente contiene i campi dell'espressione che puoi utilizzare per creare condizioni. Le condizioni sono scritte in Common Expression Language (CEL). Il valore dei campi dell'espressione è sensibile alle maiuscole.

Per le descrizioni dei seguenti campi dell'espressione e dei valori che puoi specificare, consulta la rappresentazione JSON di Dataflow Job.

Campo Espressione Tipo di valore
name string
type string
transformNameMapping map
location string
environment message
environment.serviceOptions list of string
environment.serviceKmsKeyName string
environment.serviceAccountEmail string
environment.workerRegion string
environment.workerZone string
environment.streamingMode string
environment.debugOptions message
environment.debugOptions.enableHotKeyLogging bool

Esempi di casi d'uso

Nella tabella seguente sono elencati alcuni casi d'uso di esempio.

Use Case Azione Vincolo personalizzato
Non consentire l'utilizzo del job principale DENY resource.environment.serviceOptions.exists(value, value=='enable_prime')
Impedisce alle VM di accettare le chiavi SSH archiviate nei metadati del progetto. DENY !resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')
Non consentire i job senza impostare il numero massimo di secondi per l'esecuzione del job DENY !resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')

Passaggi successivi