Utilizzare vincoli personalizzati
Google Cloud I criteri dell'organizzazione offrono un controllo centralizzato e programmatico sulle risorse della tua organizzazione. In qualità di amministratore dei criteri dell'organizzazione, puoi definire un criterio dell'organizzazione, ovvero un insieme di restrizioni chiamate vincoli che si applicano a Google Cloud risorse e discendenti di queste risorse nella Google Cloud gerarchia delle risorse. Puoi applicare i criteri dell'organizzazione a livello di organizzazione, cartella o progetto.
Policy dell'organizzazione fornisce vincoli predefiniti per vari serviziGoogle Cloud . Tuttavia, se vuoi un controllo più granulare e personalizzabile sui campi specifici limitati nelle norme della tua organizzazione, puoi anche creare vincoli personalizzati e utilizzarli in un criterio dell'organizzazione.
Vantaggi
Puoi utilizzare un criterio dell'organizzazione personalizzato per consentire o negare operazioni specifiche su batch e sessioni di Serverless per Apache Spark. Ad esempio, se una richiesta di creazione di un workload batch non soddisfa la convalida dei vincoli personalizzati impostata dalle policy dell'organizzazione, la richiesta non andrà a buon fine e verrà restituito un errore al chiamante.
Ereditarietà delle norme
Per impostazione predefinita, i criteri dell'organizzazione vengono ereditati dai discendenti delle risorse su cui applichi il criterio. Ad esempio, se applichi un criterio a una cartella, Google Cloud il criterio viene applicato a tutti i progetti nella cartella. Per scoprire di più su questo comportamento e su come modificarlo, consulta le regole di valutazione della gerarchia.
Prezzi
Il servizio Organization Policy, inclusi i vincoli predefiniti e personalizzati, viene offerto senza costi.
Prima di iniziare
- Configurare il progetto
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Serverless for Apache Spark API.
-
Install the Google Cloud CLI.
-
If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Serverless for Apache Spark API.
-
Install the Google Cloud CLI.
-
If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.
-
To initialize the gcloud CLI, run the following command:
gcloud init
- Assicurati di conoscere l'ID organizzazione.
-
orgpolicy.constraints.list
-
orgpolicy.policies.create
-
orgpolicy.policies.delete
-
orgpolicy.policies.list
-
orgpolicy.policies.update
-
orgpolicy.policy.get
-
orgpolicy.policy.set
ORGANIZATION_ID
: l'ID organizzazione, ad esempio123456789
.CONSTRAINT_NAME
: il nome che vuoi assegnare al nuovo vincolo personalizzato. Un vincolo personalizzato deve iniziare concustom.
e può includere solo lettere maiuscole, minuscole o numeri, ad esempiocustom.batchMustHaveSpecifiedCategoryLabel
. La lunghezza massima di questo campo è di 70 caratteri, senza contare il prefisso, ad esempio,organizations/123456789/customConstraints/custom
.CONDITION
: una condizione CEL scritta in base a una rappresentazione di una risorsa di servizio supportata. Questo campo ha una lunghezza massima di 1000 caratteri. Per maggiori informazioni sulle risorse disponibili per scrivere condizioni, consulta Vincoli di Dataproc Serverless per risorse e operazioni. Condizione di esempio:("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service'])
.ACTION
: l'azione da eseguire se la condizione è soddisfatta. Può essereALLOW
oDENY
.DISPLAY_NAME
: un nome facile da ricordare per il vincolo. Nome visualizzato di esempio: "Imponi il requisito dell'etichetta "categoria" per i batch". Questo campo ha una lunghezza massima di 200 caratteri.DESCRIPTION
: una descrizione comprensibile del vincolo da visualizzare come messaggio di errore in caso di violazione della policy. Questo campo ha una lunghezza massima di 2000 caratteri. Descrizione di esempio: "Consenti la creazione di batch Dataproc solo se ha un 'etichetta "category" con un valore "retail", "ads" o "service".ORGANIZATION_ID
: l'ID organizzazione, ad esempio123456789
.CONSTRAINT_NAME
: il nome che vuoi assegnare al nuovo vincolo personalizzato. Un vincolo personalizzato deve iniziare concustom.
e può includere solo lettere maiuscole, minuscole o numeri, ad esempiocustom.SessionNameMustStartWithTeamName
. La lunghezza massima di questo campo è di 70 caratteri, senza contare il prefissoorganizations/123456789/customConstraints/
. Ad esempio,organizations/123456789/customConstraints/custom
.CONDITION
: una condizione CEL scritta in base a una rappresentazione di una risorsa di servizio supportata. Questo campo ha una lunghezza massima di 1000 caratteri. Per saperne di più sulle risorse disponibili per scrivere condizioni, consulta Vincoli di Dataproc Serverless per risorse e operazioni. Condizione di esempio:(resource.name.startsWith("dataproc")
.ACTION
: l'azione da eseguire se la condizione è soddisfatta. Può essereALLOW
oDENY
.DISPLAY_NAME
: un nome facile da ricordare per il vincolo. Nome visualizzato di esempio: "Imponi che la sessione abbia un TTL < 2 ore". Questo campo ha una lunghezza massima di 200 caratteri.DESCRIPTION
: una descrizione comprensibile del vincolo da visualizzare come messaggio di errore in caso di violazione della policy. Questo campo ha una lunghezza massima di 2000 caratteri. Descrizione di esempio: "Consenti la creazione di sessioni solo se viene impostato un TTL consentito".- Nella console Google Cloud , vai alla pagina Policy dell'organizzazione.
- Nel selettore di progetti, seleziona il progetto per cui vuoi impostare il criterio dell'organizzazione.
- Dall'elenco nella pagina Criteri organizzazione, seleziona il vincolo per visualizzare la pagina Dettagli criterio relativa a quel vincolo.
- Per configurare la policy dell'organizzazione per questa risorsa, fai clic su Gestisci policy.
- Nella pagina Modifica policy, seleziona Esegui override della policy dell'unità organizzativa principale.
- Fai clic su Aggiungi una regola.
- Nella sezione Applicazione, seleziona se l'applicazione di questa policy dell'organizzazione è attiva o disattivata.
- (Facoltativo) Per rendere la policy dell'organizzazione condizionale in base a un tag, fai clic su Aggiungi condizione. Tieni presente che se aggiungi una regola condizionale a una policy dell'organizzazione, devi aggiungere almeno una regola incondizionata o la policy non può essere salvata. Per saperne di più, vedi Impostazione di un criterio dell'organizzazione con tag.
- Fai clic su Testa modifiche per simulare l'effetto della policy dell'organizzazione. La simulazione delle policy non è disponibile per i vincoli gestiti legacy. Per saperne di più, consulta Testare le modifiche alle policy dell'organizzazione con Policy Simulator.
- Per completare e applicare la policy dell'organizzazione, fai clic su Imposta policy. L'applicazione del criterio richiede fino a 15 minuti.
-
PROJECT_ID
: il progetto su cui vuoi applicare il vincolo. -
CONSTRAINT_NAME
: il nome che hai definito per il vincolo personalizzato. Ad esempio,
.custom.batchMustHaveSpecifiedCategoryLabel
resource.labels
resource.pysparkBatch.mainPythonFileUri
resource.pysparkBatch.args
resource.pysparkBatch.pythonFileUris
resource.pysparkBatch.jarFileUris
resource.pysparkBatch.fileUris
resource.pysparkBatch.archiveUris
resource.sparkBatch.mainJarFileUri
resource.sparkBatch.mainClass
resource.sparkBatch.args
resource.sparkBatch.jarFileUris
resource.sparkBatch.fileUris
resource.sparkBatch.archiveUris
resource.sparkRBatch.mainRFileUri
resource.sparkRBatch.args
resource.sparkRBatch.fileUris
resource.sparkRBatch.archiveUris
resource.sparkSqlBatch.queryFileUri
resource.sparkSqlBatch.queryVariables
resource.sparkSqlBatch.jarFileUris
resource.runtimeConfig.version
resource.runtimeConfig.containerImage
resource.runtimeConfig.properties
resource.runtimeConfig.repositoryConfig.pypiRepositoryConfig.pypiRepository
resource.runtimeConfig.autotuningConfig.scenarios
resource.runtimeConfig.cohort
resource.environmentConfig.executionConfig.serviceAccount
resource.environmentConfig.executionConfig.networkUri
resource.environmentConfig.executionConfig.subnetworkUri
resource.environmentConfig.executionConfig.networkTags
resource.environmentConfig.executionConfig.kmsKey
resource.environmentConfig.executionConfig.idleTtl
resource.environmentConfig.executionConfig.ttl
resource.environmentConfig.executionConfig.stagingBucket
resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType
resource.environmentConfig.peripheralsConfig.metastoreService
resource.environmentConfig.peripheralsConfig.sparkHistoryServerConfig.dataprocCluster
resource.name
resource.sparkConnectSession
resource.user
resource.sessionTemplate
resource.jupyterSession.kernel
resource.jupyterSession.displayName
resource.runtimeConfig.version
resource.runtimeConfig.containerImage
resource.runtimeConfig.properties
resource.runtimeConfig.repositoryConfig.pypiRepositoryConfig.pypiRepository
resource.runtimeConfig.autotuningConfig.scenarios
resource.runtimeConfig.cohort
resource.environmentConfig.executionConfig.serviceAccount
resource.environmentConfig.executionConfig.networkUri
resource.environmentConfig.executionConfig.subnetworkUri
resource.environmentConfig.executionConfig.networkTags
resource.environmentConfig.executionConfig.kmsKey
resource.environmentConfig.executionConfig.idleTtl
resource.environmentConfig.executionConfig.ttl
resource.environmentConfig.executionConfig.stagingBucket
resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType
resource.environmentConfig.peripheralsConfig.metastoreService
resource.environmentConfig.peripheralsConfig.sparkHistoryServerConfig.dataprocCluster
- Per saperne di più sulle policy dell'organizzazione, consulta la pagina Introduzione al servizio Policy dell'organizzazione.
- Scopri di più su come creare e gestire le norme dell'organizzazione.
- Consulta l'elenco completo dei vincoli delle policy dell'organizzazione predefiniti.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per gestire le policy dell'organizzazione, chiedi all'amministratore di concederti il ruolo IAM Amministratore policy dell'organizzazione (
roles/orgpolicy.policyAdmin
) nella risorsa organizzazione. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.Questo ruolo predefinito contiene le autorizzazioni necessarie per gestire le norme dell'organizzazione. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:
Autorizzazioni obbligatorie
Per gestire le policy dell'organizzazione sono necessarie le seguenti autorizzazioni:
Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.
Creare un vincolo personalizzato
Un vincolo personalizzato viene definito in un file YAML dalle risorse, dai metodi, dalle condizioni e dalle azioni a cui viene applicato. Serverless per Apache Spark supporta vincoli personalizzati che vengono applicati al metodo
CREATE
delle risorse batch e sessione.Per ulteriori informazioni su come creare un vincolo personalizzato, vedi Definizione di vincoli personalizzati.
Crea un vincolo personalizzato per una risorsa batch
Per creare un file YAML per un vincolo personalizzato Serverless per Apache Spark per una risorsa batch, utilizza il seguente formato:
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: CONDITION actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTION
Sostituisci quanto segue:
Creare un vincolo personalizzato per una risorsa di sessione
Per creare un file YAML per un vincolo personalizzato di Serverless per Apache Spark per una risorsa di sessione, utilizza il seguente formato:
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: CONDITION actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTION
Sostituisci quanto segue:
Configurare un vincolo personalizzato
Dopo aver creato il file YAML per un nuovo vincolo personalizzato, devi configurarlo per renderlo disponibile per i criteri dell'organizzazione nella tua organizzazione. Per configurare un vincolo personalizzato, utilizza il comandogcloud org-policies set-custom-constraint
: Sostituiscigcloud org-policies set-custom-constraint CONSTRAINT_PATH
CONSTRAINT_PATH
con il percorso completo del file di vincoli personalizzati. Ad esempio:/home/user/customconstraint.yaml
. Una volta completati, i vincoli personalizzati sono disponibili come policy dell'organizzazione nell'elenco delle policy dell'organizzazione Google Cloud . Per verificare che il vincolo personalizzato esista, utilizza il comandogcloud org-policies list-custom-constraints
: Sostituiscigcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
ORGANIZATION_ID
con l'ID della risorsa dell'organizzazione. Per saperne di più, consulta Visualizzare le policy dell'organizzazione.Applica un vincolo personalizzato
Puoi applicare un vincolo creando un criterio dell'organizzazione che lo fa riferimento e poi applicando questo criterio dell'organizzazione a una risorsa. Google CloudConsole
gcloud
Per creare una policy dell'organizzazione con regole booleane, crea un file YAML della policy che faccia riferimento al vincolo:
name: projects/PROJECT_ID/policies/CONSTRAINT_NAME spec: rules: - enforce: true
Sostituisci quanto segue:
Per applicare il criterio dell'organizzazione contenente il vincolo, esegui questo comando:
gcloud org-policies set-policy POLICY_PATH
Sostituisci
POLICY_PATH
con il percorso completo del file YAML del criterio dell'organizzazione. L'applicazione del criterio richiede fino a 15 minuti.Testa il vincolo personalizzato
Questa sezione descrive come testare i vincoli personalizzati per le risorse batch e sessione.
Testa il vincolo personalizzato per una risorsa batch
Il seguente esempio di creazione batch presuppone che sia stato creato e applicato un vincolo personalizzato alla creazione batch per richiedere che il batch abbia un'etichetta "category" allegata con un valore di "retail", "ads" o "service:
("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service'])
.gcloud dataproc batches submit spark \ --region us-west1 --jars file:///usr/lib/spark/examples/jars/spark-examples.jar \ --class org.apache.spark.examples.SparkPi \ --network default \ --labels category=foo \ --100
Esempio di output:
Operation denied by custom org policies: ["customConstraints/
custom.batchMustHaveSpecifiedCategoryLabel
": ""Only allow Dataproc batch creation if it has a 'category' label with a 'retail', 'ads', or 'service' value""]Testa il vincolo personalizzato per una risorsa di sessione
Il seguente esempio di creazione di sessione presuppone che sia stato creato e applicato un vincolo personalizzato alla creazione della sessione per richiedere che la sessione abbia un
name
che inizia conorgName
.gcloud beta dataproc sessions create spark test-session --location us-central1
Esempio di output:
Operation denied by custom org policy: ["customConstraints/custom.denySessionNameNotStartingWithOrgName": "Deny session creation if its name does not start with 'orgName'"]
Vincoli di Serverless per Apache Spark su risorse e operazioni
Questa sezione elenca i vincoli personalizzati di Google Cloud Serverless per Apache Spark disponibili per le risorse batch e sessione.
Vincoli batch di Google Cloud Serverless per Apache Spark supportati
I seguenti vincoli personalizzati di Serverless per Apache Spark sono disponibili per l'utilizzo quando crei (invii) un carico di lavoro batch:
Generali
PySparkBatch
SparkBatch
SparRBatch
SparkSqlBatch
RuntimeConfig
ExecutionConfig
PeripheralsConfig
Vincoli di sessione di Google Cloud Serverless per Apache Spark supportati
I seguenti attributi di sessione di Google Cloud Serverless per Apache Spark sono disponibili per l'utilizzo quando crei vincoli personalizzati per le sessioni serverless:
Generali
JupyterSession
RuntimeConfig
ExecutionConfig
PeripheralsConfig
Esempio di vincoli personalizzati per casi d'uso comuni
Questa sezione include esempi di vincoli personalizzati per casi d'uso comuni per risorse batch e di sessione.
Esempio di vincoli personalizzati per una risorsa batch
La seguente tabella fornisce esempi di vincoli personalizzati per i batch di Serverless per Apache Spark:
Descrizione Sintassi del vincolo Il batch deve allegare un'etichetta "category" con i valori consentiti. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustHaveSpecifiedCategoryLabel resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service']) actionType: ALLOW displayName: Enforce batch "category" label requirement. description: Only allow batch creation if it attaches a "category" label with an allowable value.
Batch deve impostare una versione del runtime consentita. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustUseAllowedVersion resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.version)) && (resource.runtimeConfig.version in ["2.0.45", "2.0.48"]) actionType: ALLOW displayName: Enforce batch runtime version. description: Only allow batch creation if it sets an allowable runtime version.
Deve utilizzare SparkSQL. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustUseSparkSQL resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.sparkSqlBatch)) actionType: ALLOW displayName: Enforce batch only use SparkSQL Batch. description: Only allow creation of SparkSQL Batch.
Il batch deve impostare un TTL inferiore a 2 ore. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustSetLessThan2hTtl resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.environmentConfig.executionConfig.ttl)) && (resource.environmentConfig.executionConfig.ttl <= duration('2h')) actionType: ALLOW displayName: Enforce batch TTL. description: Only allow batch creation if it sets an allowable TTL.
Batch non può impostare più di 20 esecutori iniziali di Spark. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.executor.instances' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.executor.instances'])>20) actionType: DENY displayName: Enforce maximum number of batch Spark executor instances. description: Deny batch creation if it specifies more than 20 Spark executor instances.
Batch non può impostare più di 20 esecutori iniziali di allocazione dinamica Spark. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchDynamicAllocationInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.dynamicAllocation.initialExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.initialExecutors'])>20) actionType: DENY displayName: Enforce maximum number of batch dynamic allocation initial executors. description: Deny batch creation if it specifies more than 20 Spark dynamic allocation initial executors.
Il batch non deve consentire più di 20 esecutori dell'allocazione dinamica. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchDynamicAllocationMaxExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (resource.runtimeConfig.properties['spark.dynamicAllocation.enabled']=='false') || (('spark.dynamicAllocation.maxExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.maxExecutors'])<=20)) actionType: ALLOW displayName: Enforce batch maximum number of dynamic allocation executors. description: Only allow batch creation if dynamic allocation is disabled or the maximum number of dynamic allocation executors is set to less than or equal to 20.
Batch deve impostare la chiave KMS su un pattern consentito. name: organizations/ORGANIZATION_ID/custom.batchKmsPattern resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: matches(resource.environmentConfig.executionConfig.kmsKey, '^keypattern[a-z]$') actionType: ALLOW displayName: Enforce batch KMS Key pattern. description: Only allow batch creation if it sets the KMS key to an allowable pattern.
Il batch deve impostare il prefisso del bucket di staging su un valore consentito. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchStagingBucketPrefix resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: resource.environmentConfig.executionConfig.stagingBucket.startsWith(
ALLOWED_PREFIX
) actionType: ALLOW displayName: Enforce batch staging bucket prefix. description: Only allow batch creation if it sets the staging bucket prefix to ALLOWED_PREFIX.L'impostazione della memoria dell'esecutore batch deve terminare con un suffisso m
ed essere inferiore a 20.000 m.name: organizations/ORGANIZATION_ID/customConstraints/custom.batchExecutorMemoryMax resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: ('spark.executor.memory' in resource.runtimeConfig.properties) && (resource.runtimeConfig.properties['spark.executor.memory'].endsWith('m')) && (int(resource.runtimeConfig.properties['spark.executor.memory'].split('m')[0])<20000) actionType: ALLOW displayName: Enforce batch executor maximum memory. description: Only allow batch creation if the executor memory setting ends with a suffix 'm' and is less than 20000 m.
Esempio di vincoli personalizzati per una risorsa di sessione
La seguente tabella fornisce esempi di vincoli personalizzati per le sessioni di Serverless per Apache Spark:
Descrizione Sintassi del vincolo La sessione deve impostare sessionTemplate
su una stringa vuota.name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionTemplateMustBeEmpty resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: resource.sessionTemplate == "" actionType: ALLOW displayName: Enforce empty session templates. description: Only allow session creation if session template is empty string.
sessionTemplate
deve essere uguale agli ID modello approvati.name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionTemplateIdMustBeApproved resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: resource.sessionTemplate.startsWith("https://www.googleapis.com/compute/v1/projects/") && resource.sessionTemplate.contains("/locations/") && resource.sessionTemplate.contains("/sessionTemplates/") && ( resource.sessionTemplate.endsWith("/1") || resource.sessionTemplate.endsWith("/2") || resource.sessionTemplate.endsWith("/13") ) actionType: ALLOW displayName: Enforce templateId must be 1, 2, or 13. description: Only allow session creation if session template ID is in the approved list, that is, 1, 2 and 13.
La sessione deve utilizzare le credenziali dell'utente finale per autenticare il workload. name: organizations/ORGANIZATION_ID/customConstraints/custom.AllowEUCSessions resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType=="END_USER_CREDENTIALS" actionType: ALLOW displayName: Require end user credential authenticated sessions. description: Allow session creation only if the workload is authenticated using end-user credentials.
La sessione deve impostare una versione del runtime consentita. name: organizations/ORGANIZATION_ID/custom.sessionMustUseAllowedVersion resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: (has(resource.runtimeConfig.version)) && (resource.runtimeConfig.version in ["2.0.45", "2.0.48"]) actionType: ALLOW displayName: Enforce session runtime version. description: Only allow session creation if it sets an allowable runtime version.
La sessione deve impostare un TTL inferiore a 2 ore. name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionMustSetLessThan2hTtl resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: (has(resource.environmentConfig.executionConfig.ttl)) && (resource.environmentConfig.executionConfig.ttl <= duration('2h')) actionType: ALLOW displayName: Enforce session TTL. description: Only allow session creation if it sets an allowable TTL.
La sessione non può impostare più di 20 esecutori iniziali di Spark. name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.executor.instances' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.executor.instances'])>20) actionType: DENY displayName: Enforce maximum number of session Spark executor instances. description: Deny session creation if it specifies more than 20 Spark executor instances.
La sessione non può impostare più di 20 esecutori iniziali per l'allocazione dinamica di Spark. name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionDynamicAllocationInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.dynamicAllocation.initialExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.initialExecutors'])>20) actionType: DENY displayName: Enforce maximum number of session dynamic allocation initial executors. description: Deny session creation if it specifies more than 20 Spark dynamic allocation initial executors.
La sessione deve impostare la chiave KMS su un pattern consentito. name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionKmsPattern resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: matches(resource.environmentConfig.executionConfig.kmsKey, '^keypattern[a-z]$') actionType: ALLOW displayName: Enforce session KMS Key pattern. description: Only allow session creation if it sets the KMS key to an allowable pattern.
La sessione deve impostare il prefisso del bucket di staging su un valore consentito. name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionStagingBucketPrefix resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: resource.environmentConfig.executionConfig.stagingBucket.startsWith(ALLOWED_PREFIX) actionType: ALLOW displayName: Enforce session staging bucket prefix. description: Only allow batch creation if it sets the staging bucket prefix to ALLOWED_PREFIX.
L'impostazione della memoria dell'executor della sessione deve terminare con il suffisso m
ed essere inferiore a 20.000 m.name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionExecutorMemoryMax resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: ('spark.executor.memory' in resource.runtimeConfig.properties) && (resource.runtimeConfig.properties['spark.executor.memory'].endsWith('m')) && (int(resource.runtimeConfig.properties['spark.executor.memory'].split('m')[0])<20000) actionType: ALLOW displayName: Enforce session executor maximum memory. description: Only allow session creation if the executor memory setting ends with a suffix 'm' and is less than 20000 m.
Passaggi successivi