Gestire le risorse Dataproc utilizzando vincoli personalizzati
Google Cloud I criteri dell'organizzazione offrono un controllo centralizzato e programmatico sulle risorse della tua organizzazione. In qualità di amministratore dei criteri dell'organizzazione, puoi definire un criterio dell'organizzazione, ovvero un insieme di restrizioni chiamate vincoli che si applicano a Google Cloud risorse e discendenti di queste risorse nella Google Cloud gerarchia delle risorse. Puoi applicare i criteri dell'organizzazione a livello di organizzazione, cartella o progetto.
Policy dell'organizzazione fornisce vincoli predefiniti per vari serviziGoogle Cloud . Tuttavia, se vuoi un controllo più granulare e personalizzabile sui campi specifici limitati nelle norme della tua organizzazione, puoi anche creare vincoli personalizzati e utilizzarli in una norma dell'organizzazione personalizzata.
Vantaggi
Puoi utilizzare un criterio dell'organizzazione personalizzato per consentire o negare operazioni specifiche sui cluster Dataproc. Ad esempio, se una richiesta di creazione o aggiornamento di un cluster non soddisfa la convalida dei vincoli personalizzati come impostato dalla policy dell'organizzazione, la richiesta non andrà a buon fine e verrà restituito un errore al chiamante.
Ereditarietà delle norme
Per impostazione predefinita, i criteri dell'organizzazione vengono ereditati dai discendenti delle risorse su cui applichi il criterio. Ad esempio, se applichi un criterio a una cartella, Google Cloud il criterio viene applicato a tutti i progetti nella cartella. Per scoprire di più su questo comportamento e su come modificarlo, consulta le regole di valutazione della gerarchia.
Prezzi
Il servizio criteri dell'organizzazione, inclusi i criteri dell'organizzazione predefiniti e personalizzati, viene offerto senza costi.
Prima di iniziare
- Configurare il progetto
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Dataproc API.
-
Install the Google Cloud CLI.
-
If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Dataproc API.
-
Install the Google Cloud CLI.
-
If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.
-
To initialize the gcloud CLI, run the following command:
gcloud init
- Assicurati di conoscere il tuo ID organizzazione.
-
Amministratore criteri dell'organizzazione (
roles/orgpolicy.policyAdmin
) sulla risorsa dell'organizzazione -
Per creare o aggiornare un cluster Dataproc:
Amministratore Dataproc o Editor Dataproc (
roles/dataproc.admin
oroles/dataproc.editor
) nella risorsa del progetto -
orgpolicy.constraints.list
-
orgpolicy.policies.create
-
orgpolicy.policies.delete
-
orgpolicy.policies.list
-
orgpolicy.policies.update
-
orgpolicy.policy.get
-
orgpolicy.policy.set
ORGANIZATION_ID
: l'ID organizzazione, ad esempio123456789
.CONSTRAINT_NAME
: il nome che vuoi assegnare al nuovo vincolo personalizzato. Un vincolo personalizzato deve iniziare concustom.
e può includere solo lettere maiuscole, minuscole o numeri, ad esempio custom.dataprocEnableComponentGateway. La lunghezza massima di questo campo è di 70 caratteri, senza contare il prefisso, ad esempio,organizations/123456789/customConstraints/custom
.METHOD
: quando crei un vincolo di creazione del cluster, specificaCREATE
. Quando crei un vincoloUPDATE
per il cluster, specifica entrambi come segue:methodTypes: - CREATE - UPDATE
CONDITION
: una condizione CEL scritta in base a una rappresentazione di una risorsa di servizio supportata. Questo campo ha una lunghezza massima di 1000 caratteri. Per ulteriori informazioni sulle risorse disponibili per la scrittura delle condizioni, consulta la sezione Risorse supportate. Ad esempio:"resource.config.endpointConfig.enableHttpPortAccess==true"
.ACTION
: l'azione da intraprendere se la condizionecondition
è soddisfatta. Può essereALLOW
oDENY
.DISPLAY_NAME
: un nome intuitivo per il vincolo, ad esempio "Imponi l'attivazione di Dataproc Component Gateway". Questo campo ha una lunghezza massima di 200 caratteri.DESCRIPTION
: una descrizione intuitiva del vincolo da visualizzare come messaggio di errore in caso di violazione del criterio, ad esempio "Consenti la creazione del cluster Dataproc solo se il gateway dei componenti è abilitato". Questo campo ha una lunghezza massima di 2000 caratteri.- Nella console Google Cloud , vai alla pagina Policy dell'organizzazione.
- Nel selettore di progetti, seleziona il progetto per cui vuoi impostare il criterio dell'organizzazione.
- Dall'elenco nella pagina Criteri organizzazione, seleziona il vincolo per visualizzare la pagina Dettagli criterio relativa a quel vincolo.
- Per configurare la policy dell'organizzazione per questa risorsa, fai clic su Gestisci policy.
- Nella pagina Modifica policy, seleziona Esegui override della policy dell'unità organizzativa principale.
- Fai clic su Aggiungi una regola.
- Nella sezione Applicazione, seleziona se l'applicazione di questa policy dell'organizzazione è attiva o disattivata.
- (Facoltativo) Per rendere la policy dell'organizzazione condizionale in base a un tag, fai clic su Aggiungi condizione. Tieni presente che se aggiungi una regola condizionale a una policy dell'organizzazione, devi aggiungere almeno una regola incondizionata o la policy non può essere salvata. Per saperne di più, vedi Impostazione di un criterio dell'organizzazione con tag.
- Fai clic su Testa modifiche per simulare l'effetto della policy dell'organizzazione. La simulazione delle policy non è disponibile per i vincoli gestiti legacy. Per saperne di più, consulta Testare le modifiche alle policy dell'organizzazione con Policy Simulator.
- Per completare e applicare la policy dell'organizzazione, fai clic su Imposta policy. L'applicazione del criterio richiede fino a 15 minuti.
-
PROJECT_ID
: il progetto su cui vuoi applicare il vincolo. -
CONSTRAINT_NAME
: il nome che hai definito per il vincolo personalizzato. Ad esempio,custom.dataprocEnableComponentGateway
. - Configurazione di rete di Compute Engine (networkUri, internalIpOnly, serviceAccount e metadata)
resource.config.gceClusterConfig.networkUri
resource.config.gceClusterConfig.internalIpOnly
resource.config.gceClusterConfig.serviceAccount
resource.config.gceClusterConfig.metadata
- Configurazione del gruppo di istanze Compute Engine (imageUri e machineTypeUri)
resource.config.masterConfig.imageUri
resource.config.masterConfig.machineTypeUri
resource.config.workerConfig.imageUri
resource.config.workerConfig.machineTypeUri
resource.config.secondaryWorkerConfig.imageUri
resource.config.secondaryWorkerConfig.machineTypeUri
- Configurazione del disco del gruppo di istanze Compute Engine (bootDiskType, bootDiskSizeGb, numLocalSsds e localSsdInterface)
resource.config.masterConfig.diskConfig.bootDiskType
resource.config.workerConfig.diskConfig.bootDiskType
resource.config.secondaryWorkerConfig.diskConfig.bootDiskType
resource.config.masterConfig.diskConfig.bootDiskSizeGb
resource.config.workerConfig.diskConfig.bootDiskSizeGb
resource.config.secondaryWorkerConfig.diskConfig.bootDiskSizeGb
resource.config.masterConfig.diskConfig.numLocalSsds
resource.config.workerConfig.diskConfig.numLocalSsds
resource.config.secondaryWorkerConfig.diskConfig.numLocalSsds
resource.config.masterConfig.diskConfig.localSsdInterface
resource.config.workerConfig.diskConfig.localSsdInterface
resource.config.secondaryWorkerConfig.diskConfig.localSsdInterface
- Azioni di inizializzazione (executableFile)
resource.config.initializationActions.executableFile
- Software config (imageVersion, properties e optionalComponents)
resource.config.softwareConfig.imageVersion
resource.config.softwareConfig.properties
resource.config.softwareConfig.optionalComponents
- Kerberos config (enableKerberos e crossRealmTrustKdc)
resource.config.securityConfig.kerberosConfig.enableKerberos
resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
- Component gateway (enableHttpPortAccess)
resource.config.endpointConfig.enableHttpPortAccess
- Metastore config (dataprocMetastoreService)
resource.config.metastoreConfig.dataprocMetastoreService
- CMEK di Persistent Disk (gcePdKmsKeyName)
resource.config.encryptionConfig.gcePdKmsKeyName
- Etichette dei cluster
resource.labels
- Dimensione cluster
resource.config.masterConfig.numInstances
resource.config.workerConfig.numInstances
resource.config.secondaryWorkerConfig.numInstances
- Scalabilità automatica
resource.config.autoscalingConfig.policyUri
- Per saperne di più sulle policy dell'organizzazione, consulta la pagina Introduzione al servizio Policy dell'organizzazione.
- Scopri di più su come creare e gestire le norme dell'organizzazione.
- Consulta l'elenco completo dei vincoli delle policy dell'organizzazione predefiniti.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per gestire le policy dell'organizzazione, chiedi all'amministratore di concederti i seguenti ruoli IAM:
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Questi ruoli predefiniti contengono le autorizzazioni necessarie per gestire le policy dell'organizzazione. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:
Autorizzazioni obbligatorie
Per gestire le policy dell'organizzazione sono necessarie le seguenti autorizzazioni:
Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.
Creare un vincolo personalizzato
Un vincolo personalizzato viene definito in un file YAML dalle risorse, dai metodi, dalle condizioni e dalle azioni a cui viene applicato. Dataproc supporta vincoli personalizzati applicati ai metodi
CREATE
eUPDATE
della risorsaCLUSTER
(vedi Vincoli di Dataproc su risorse e operazioni).Per creare un file YAML per un vincolo personalizzato Dataproc:
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - METHOD condition: "CONDITION" actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTION
Sostituisci quanto segue:
Per saperne di più su come creare un vincolo personalizzato, consulta Definizione di vincoli personalizzati.
Configurare un vincolo personalizzato
Dopo aver creato il file YAML per un nuovo vincolo personalizzato, devi configurarlo per renderlo disponibile per i criteri dell'organizzazione nella tua organizzazione. Per configurare un vincolo personalizzato, utilizza il comandogcloud org-policies set-custom-constraint
: Sostituiscigcloud org-policies set-custom-constraint CONSTRAINT_PATH
CONSTRAINT_PATH
con il percorso completo del tuo file di vincoli personalizzati. Ad esempio:/home/user/customconstraint.yaml
. Una volta completati, i vincoli personalizzati sono disponibili come policy dell'organizzazione nell'elenco delle policy dell'organizzazione Google Cloud . Per verificare che il vincolo personalizzato esista, utilizza il comandogcloud org-policies list-custom-constraints
: Sostituiscigcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
ORGANIZATION_ID
con l'ID della risorsa dell'organizzazione. Per saperne di più, consulta Visualizzare le policy dell'organizzazione.Applica un vincolo personalizzato
Puoi applicare un vincolo creando un criterio dell'organizzazione che lo fa riferimento e poi applicando questo criterio dell'organizzazione a una risorsa. Google CloudConsole
gcloud
Per creare una policy dell'organizzazione con regole booleane, crea un file YAML della policy che faccia riferimento al vincolo:
name: projects/PROJECT_ID/policies/CONSTRAINT_NAME spec: rules: - enforce: true
Sostituisci quanto segue:
Per applicare il criterio dell'organizzazione contenente il vincolo, esegui questo comando:
gcloud org-policies set-policy POLICY_PATH
Sostituisci
POLICY_PATH
con il percorso completo del file YAML del criterio dell'organizzazione. L'applicazione del criterio richiede fino a 15 minuti.Testa il vincolo personalizzato
Il seguente esempio di creazione del cluster presuppone che sia stata creata e applicata una policy dell'organizzazione personalizzata durante la creazione del cluster per richiedere l'attivazione di Component Gateway (
resource.config.endpointConfig.enableHttpPortAccess==true
).gcloud dataproc clusters create example-cluster \ --project=PROJECT_ID \ --zone=COMPUTE_ZONE
Output di esempio (per impostazione predefinita, il gateway dei componenti non è abilitato quando viene creato un cluster Dataproc):
Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]
Vincoli di Dataproc su risorse e operazioni
I seguenti campi di vincolo personalizzato Dataproc sono disponibili per l'utilizzo quando crei o aggiorni un cluster Dataproc. Tieni presente che durante l'aggiornamento di un cluster sono supportati solo i vincoli relativi ai parametri del cluster modificabili (vedi Aggiornamento di un cluster).
Esempio di vincoli personalizzati per casi d'uso comuni
La seguente tabella fornisce esempi di vincoli personalizzati:
Descrizione Sintassi del vincolo Limita il numero di istanze worker Dataproc a 10 o meno quando viene creato o aggiornato un cluster. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10" actionType: DENY displayName: Total number of worker instances cannot be larger than 10 description: Cluster cannot have more than 10 workers, including primary and secondary workers.
Impedisci l'esecuzione di Application Master sui worker preemptive del cluster Dataproc. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)" actionType: ALLOW displayName: Application master cannot run on preemptible workers description: Property "dataproc:am.primary_only" must be "true".
Non consentire proprietà Hive personalizzate sui cluster Dataproc. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))" actionType: ALLOW displayName: Cluster cannot have custom Hive properties description: Only allow Dataproc cluster creation if no property starts with Hive prefix "hive:".
Non consentire l'utilizzo del tipo di macchina n1-standard-2
per le istanze master Dataproc.name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')" actionType: DENY displayName: Master cannot use the n1-standard-2 machine type description: Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
Forza l'utilizzo di uno script di azione di inizializzazione specificato. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')" actionType: ALLOW displayName: Initialization action script "gs://some/init-action.sh" must be used description: Only allow Dataproc cluster creation if the "gs://some/init-action.sh" initialization action script is used.
Applica l'utilizzo di una chiave di crittografia del disco permanente specificata. name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'" actionType: ALLOW displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
Applica le limitazioni delle etichette dei cluster. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "('env' in resource.labels) && (resource.labels.env=='test')" actionType: DENY displayName: Cluster cannot have the "env=test" label description: Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".
Applica l'utilizzo di una rete non predefinita. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoDefaultNetwork resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.gceClusterConfig.networkUri.contains('networks/default')" actionType: DENY displayName: Cluster cannot be created in the default network description: Deny Dataproc cluster creation if the cluster will be created in the default network.
Passaggi successivi