Utiliser des contraintes personnalisées
Google Cloud Les règles d'administration vous offrent un contrôle centralisé et automatisé sur les ressources de votre organisation. En tant qu'administrateur des règles d'administration, vous pouvez définir une règle d'administration, c'est-à-dire un ensemble de restrictions appelées contraintes qui s'appliquent aux ressourcesGoogle Cloud et à leurs descendants dans la hiérarchie des ressourcesGoogle Cloud . Vous pouvez appliquer des règles d'administration au niveau d'une organisation, d'un dossier ou d'un projet.
Les règles d'administration fournissent des contraintes prédéfinies pour divers servicesGoogle Cloud . Toutefois, si vous souhaitez exercer un contrôle plus précis et le personnaliser pour des champs spécifiques restreints dans vos règles d'administration, vous pouvez également créer des contraintes personnalisées et les utiliser dans une règle d'administration.
Avantages
Vous pouvez utiliser une règle d'organisation personnalisée pour autoriser ou refuser des opérations spécifiques sur les sessions et les lots Serverless pour Apache Spark. Par exemple, si une requête de création d'une charge de travail par lot ne respecte pas la validation des contraintes personnalisées définies par votre règle d'administration, la requête échouera et une erreur sera renvoyée à l'appelant.
Héritage des règles
Par défaut, les règles d'administration sont héritées par les descendants des ressources sur lesquelles vous les appliquez. Par exemple, si vous appliquez une stratégie à un dossier, Google Cloud l'applique à tous les projets du dossier. Pour mieux comprendre ce comportement et savoir comment le modifier, consultez la page Règles d'évaluation hiérarchique.
Tarification
Le service de règles d'administration, y compris les contraintes prédéfinies et personnalisées, est gratuit.
Avant de commencer
- Configurer votre projet
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Serverless for Apache Spark API.
-
Install the Google Cloud CLI.
-
If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Serverless for Apache Spark API.
-
Install the Google Cloud CLI.
-
If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.
-
To initialize the gcloud CLI, run the following command:
gcloud init
- Assurez-vous de connaître votre ID d'organisation.
-
orgpolicy.constraints.list
-
orgpolicy.policies.create
-
orgpolicy.policies.delete
-
orgpolicy.policies.list
-
orgpolicy.policies.update
-
orgpolicy.policy.get
-
orgpolicy.policy.set
ORGANIZATION_ID
: ID de votre organisation (par exemple,123456789
).CONSTRAINT_NAME
: nom souhaité pour votre nouvelle contrainte personnalisée. Une contrainte personnalisée doit commencer parcustom.
et ne peut inclure que des lettres majuscules, minuscules ou des chiffres, comme par exemplecustom.batchMustHaveSpecifiedCategoryLabel
. La longueur maximale de ce champ est de 70 caractères, sans compter le préfixe, comme par exempleorganizations/123456789/customConstraints/custom
.CONDITION
: condition CEL écrite pour une représentation d'une ressource de service acceptée. Ce champ ne doit pas comporter plus de 1 000 caractères. Pour en savoir plus sur les ressources disponibles pour l'écriture de conditions, consultez Contraintes de Dataproc sans serveur sur les ressources et les opérations. Exemple de condition :("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service'])
ACTION
: action à effectuer si la condition est remplie. Il peut être défini surALLOW
ouDENY
.DISPLAY_NAME
: nom convivial de la contrainte. Exemple de nom à afficher : "Appliquer l'exigence de libellé 'catégorie' pour les lots". Ce champ ne doit pas comporter plus de 200 caractères.DESCRIPTION
: description conviviale de la contrainte, qui sera affichée dans un message d'erreur en cas de non-respect de la règle. Ce champ ne doit pas comporter plus de 2 000 caractères. Exemple de description : "N'autoriser la création de lots Dataproc que s'ils comportent un libellé "category" avec la valeur "retail", "ads" ou "service"."ORGANIZATION_ID
: ID de votre organisation (par exemple,123456789
).CONSTRAINT_NAME
: nom souhaité pour votre nouvelle contrainte personnalisée. Une contrainte personnalisée doit commencer parcustom.
et ne peut inclure que des lettres majuscules, minuscules ou des chiffres, comme par exemplecustom.SessionNameMustStartWithTeamName
. La longueur maximale de ce champ est de 70 caractères, sans compter le préfixeorganizations/123456789/customConstraints/
. Par exemple,organizations/123456789/customConstraints/custom
.CONDITION
: condition CEL écrite pour une représentation d'une ressource de service acceptée. Ce champ ne doit pas comporter plus de 1 000 caractères. Pour en savoir plus sur les ressources disponibles pour l'écriture de conditions, consultez Contraintes de Dataproc sans serveur sur les ressources et les opérations. Exemple de condition :(resource.name.startsWith("dataproc")
ACTION
: action à effectuer si la condition est remplie. Il peut être défini surALLOW
ouDENY
.DISPLAY_NAME
: nom convivial de la contrainte. Exemple de nom à afficher : "Appliquer une durée de vie de session inférieure à deux heures". Ce champ ne doit pas comporter plus de 200 caractères.DESCRIPTION
: description conviviale de la contrainte, qui sera affichée dans un message d'erreur en cas de non-respect de la règle. Ce champ ne doit pas comporter plus de 2 000 caractères. Exemple de description : "Autoriser la création de session uniquement si elle définit une valeur TTL autorisée".- Dans la console Google Cloud , accédez à la page Règles d'administration.
- Dans le sélecteur de projets, choisissez le projet pour lequel vous souhaitez définir la règle d'administration.
- Dans la liste de la page Règles d'administration, sélectionnez votre contrainte pour afficher la page Détails de la règle associée.
- Pour configurer la règle d'administration pour cette ressource, cliquez sur Gérer la règle.
- Sur la page Modifier la stratégie, sélectionnez Remplacer la stratégie parente.
- Cliquez sur Ajouter une règle.
- Dans la section Application, indiquez si l'application de cette règle d'administration est activée ou désactivée.
- Facultatif : Pour rendre la règle d'administration conditionnelle sur un tag, cliquez sur Ajouter une condition. Notez que si vous ajoutez une règle conditionnelle à une règle d'administration, vous devez ajouter au moins une règle inconditionnelle, sinon la règle ne pourra pas être enregistrée. Pour en savoir plus, consultez la section Définir une règle d'administration avec des tags.
- Cliquez sur Tester les modifications pour simuler l'effet de la règle d'administration. La simulation de règles n'est pas disponible pour les anciennes contraintes gérées. Pour en savoir plus, consultez Tester les modifications apportées aux règles d'administration à l'aide de Policy Simulator.
- Pour finaliser et appliquer la règle d'administration, cliquez sur Définir la règle. La prise en compte de la règle peut prendre jusqu'à 15 minutes.
-
PROJECT_ID
: projet sur lequel vous souhaitez appliquer votre contrainte. -
CONSTRAINT_NAME
: nom que vous avez défini pour la contrainte personnalisée. Exemple :
.custom.batchMustHaveSpecifiedCategoryLabel
resource.labels
resource.pysparkBatch.mainPythonFileUri
resource.pysparkBatch.args
resource.pysparkBatch.pythonFileUris
resource.pysparkBatch.jarFileUris
resource.pysparkBatch.fileUris
resource.pysparkBatch.archiveUris
resource.sparkBatch.mainJarFileUri
resource.sparkBatch.mainClass
resource.sparkBatch.args
resource.sparkBatch.jarFileUris
resource.sparkBatch.fileUris
resource.sparkBatch.archiveUris
resource.sparkRBatch.mainRFileUri
resource.sparkRBatch.args
resource.sparkRBatch.fileUris
resource.sparkRBatch.archiveUris
resource.sparkSqlBatch.queryFileUri
resource.sparkSqlBatch.queryVariables
resource.sparkSqlBatch.jarFileUris
resource.runtimeConfig.version
resource.runtimeConfig.containerImage
resource.runtimeConfig.properties
resource.runtimeConfig.repositoryConfig.pypiRepositoryConfig.pypiRepository
resource.runtimeConfig.autotuningConfig.scenarios
resource.runtimeConfig.cohort
resource.environmentConfig.executionConfig.serviceAccount
resource.environmentConfig.executionConfig.networkUri
resource.environmentConfig.executionConfig.subnetworkUri
resource.environmentConfig.executionConfig.networkTags
resource.environmentConfig.executionConfig.kmsKey
resource.environmentConfig.executionConfig.idleTtl
resource.environmentConfig.executionConfig.ttl
resource.environmentConfig.executionConfig.stagingBucket
resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType
resource.environmentConfig.peripheralsConfig.metastoreService
resource.environmentConfig.peripheralsConfig.sparkHistoryServerConfig.dataprocCluster
resource.name
resource.sparkConnectSession
resource.user
resource.sessionTemplate
resource.jupyterSession.kernel
resource.jupyterSession.displayName
resource.runtimeConfig.version
resource.runtimeConfig.containerImage
resource.runtimeConfig.properties
resource.runtimeConfig.repositoryConfig.pypiRepositoryConfig.pypiRepository
resource.runtimeConfig.autotuningConfig.scenarios
resource.runtimeConfig.cohort
resource.environmentConfig.executionConfig.serviceAccount
resource.environmentConfig.executionConfig.networkUri
resource.environmentConfig.executionConfig.subnetworkUri
resource.environmentConfig.executionConfig.networkTags
resource.environmentConfig.executionConfig.kmsKey
resource.environmentConfig.executionConfig.idleTtl
resource.environmentConfig.executionConfig.ttl
resource.environmentConfig.executionConfig.stagingBucket
resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType
resource.environmentConfig.peripheralsConfig.metastoreService
resource.environmentConfig.peripheralsConfig.sparkHistoryServerConfig.dataprocCluster
- Pour en savoir plus sur les règles d'administration, consultez la présentation du service de règles d'administration.
- Découvrez comment créer et gérer des règles d'administration.
- Consultez la liste complète des contraintes prédéfinies liées aux règles d'administration.
Rôles requis
Pour obtenir les autorisations nécessaires pour gérer des règles d'administration#39;administration, demandez à votre administrateur de vous accorder le rôle IAM Administrateur des règles d'administration (
roles/orgpolicy.policyAdmin
) dans la ressource d'organisation. Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.Ce rôle prédéfini contient les autorisations requises pour gérer les règles d'administration. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :
Autorisations requises
Les autorisations suivantes sont requises pour gérer les règles d'administration :
Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.
Créer une contrainte personnalisée
Une contrainte personnalisée est définie dans un fichier YAML par les ressources, les méthodes, les conditions et les actions auxquelles elle s'applique. Serverless pour Apache Spark est compatible avec les contraintes personnalisées qui sont appliquées à la méthode
CREATE
des ressources de lot et de session.Pour en savoir plus sur la création d'une contrainte personnalisée, consultez la page Définir des contraintes personnalisées.
Créer une contrainte personnalisée pour une ressource par lot
Pour créer un fichier YAML pour une contrainte personnalisée Serverless pour Apache Spark pour une ressource de lot, utilisez le format suivant :
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: CONDITION actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTION
Remplacez les éléments suivants :
Créer une contrainte personnalisée pour une ressource de session
Pour créer un fichier YAML pour une contrainte personnalisée Serverless pour Apache Spark pour une ressource de session, utilisez le format suivant :
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: CONDITION actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTION
Remplacez les éléments suivants :
Configurer une contrainte personnalisée
Après avoir créé le fichier YAML pour une nouvelle contrainte personnalisée, vous devez le configurer de sorte qu'il soit disponible pour les règles d'administration de votre organisation. Pour configurer une contrainte personnalisée, utilisez la commandegcloud org-policies set-custom-constraint
: Remplacezgcloud org-policies set-custom-constraint CONSTRAINT_PATH
CONSTRAINT_PATH
par le chemin d'accès complet à votre fichier de contrainte personnalisée. Par exemple,/home/user/customconstraint.yaml
. Une fois l'opération terminée, vos contraintes personnalisées sont disponibles en tant que règles d'administration dans votre liste de règles d'administration Google Cloud . Pour vérifier que la contrainte personnalisée existe, utilisez la commandegcloud org-policies list-custom-constraints
: Remplacezgcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
ORGANIZATION_ID
par l'ID de votre ressource d'organisation. Pour en savoir plus, consultez la page Afficher les règles d'administration.Appliquer une contrainte personnalisée
Vous pouvez appliquer une contrainte en créant une règle d'administration qui la référence, puis en appliquant cette règle d'administration à une ressource Google Cloud .Console
gcloud
Pour créer une règle d'administration avec des règles booléennes, créez un fichier YAML de règle qui référence la contrainte :
name: projects/PROJECT_ID/policies/CONSTRAINT_NAME spec: rules: - enforce: true
Remplacez les éléments suivants :
Pour appliquer la règle d'administration contenant la contrainte, exécutez la commande suivante :
gcloud org-policies set-policy POLICY_PATH
Remplacez
POLICY_PATH
par le chemin d'accès complet au fichier YAML de votre règle d'administration. La prise en compte de la règle peut prendre jusqu'à 15 minutes.Tester la contrainte personnalisée
Cette section explique comment tester les contraintes personnalisées pour les ressources de session et de lot.
Tester la contrainte personnalisée pour une ressource par lot
L'exemple de création par lot suivant suppose qu'une contrainte personnalisée a été créée et appliquée lors de la création du lot pour exiger que le lot soit associé à un libellé "category" (catégorie) avec une valeur "retail" (vente au détail), "ads" (annonces) ou "service:
("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service'])
".gcloud dataproc batches submit spark \ --region us-west1 --jars file:///usr/lib/spark/examples/jars/spark-examples.jar \ --class org.apache.spark.examples.SparkPi \ --network default \ --labels category=foo \ --100
Exemple de résultat :
Operation denied by custom org policies: ["customConstraints/
custom.batchMustHaveSpecifiedCategoryLabel
": ""Only allow Dataproc batch creation if it has a 'category' label with a 'retail', 'ads', or 'service' value""]Tester la contrainte personnalisée pour une ressource de session
L'exemple de création de session suivant suppose qu'une contrainte personnalisée a été créée et appliquée lors de la création de la session pour exiger que la session ait un
name
commençant parorgName
.gcloud beta dataproc sessions create spark test-session --location us-central1
Exemple de résultat :
Operation denied by custom org policy: ["customConstraints/custom.denySessionNameNotStartingWithOrgName": "Deny session creation if its name does not start with 'orgName'"]
Contraintes liées aux ressources et aux opérations de Serverless pour Apache Spark
Cette section liste les contraintes personnalisées Google Cloud Serverless pour Apache Spark disponibles pour les ressources de lot et de session.
Contraintes des lots Dataproc sans serveur pour Apache Spark Google Cloud
Les contraintes personnalisées Serverless pour Apache Spark suivantes sont disponibles lorsque vous créez (envoyez) une charge de travail par lot :
Général
PySparkBatch
SparkBatch
SparRBatch
SparkSqlBatch
RuntimeConfig
ExecutionConfig
PeripheralsConfig
Contraintes de session Dataproc sans serveur pour Apache Spark Google Cloud
Les attributs de session Google Cloud Serverless pour Apache Spark suivants sont disponibles lorsque vous créez des contraintes personnalisées sur les sessions sans serveur :
Général
JupyterSession
RuntimeConfig
ExecutionConfig
PeripheralsConfig
Exemples de contraintes personnalisées pour des cas d'utilisation courants
Cette section inclut des exemples de contraintes personnalisées pour les cas d'utilisation courants des ressources de lot et de session.
Exemples de contraintes personnalisées pour une ressource par lot
Le tableau suivant fournit des exemples de contraintes personnalisées par lot pour Serverless pour Apache Spark :
Description Syntaxe de la contrainte Le lot doit être associé à un libellé "category" avec des valeurs autorisées. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustHaveSpecifiedCategoryLabel resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service']) actionType: ALLOW displayName: Enforce batch "category" label requirement. description: Only allow batch creation if it attaches a "category" label with an allowable value.
Batch doit définir une version d'exécution autorisée. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustUseAllowedVersion resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.version)) && (resource.runtimeConfig.version in ["2.0.45", "2.0.48"]) actionType: ALLOW displayName: Enforce batch runtime version. description: Only allow batch creation if it sets an allowable runtime version.
Vous devez utiliser SparkSQL. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustUseSparkSQL resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.sparkSqlBatch)) actionType: ALLOW displayName: Enforce batch only use SparkSQL Batch. description: Only allow creation of SparkSQL Batch.
Le lot doit définir un TTL inférieur à deux heures. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustSetLessThan2hTtl resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.environmentConfig.executionConfig.ttl)) && (resource.environmentConfig.executionConfig.ttl <= duration('2h')) actionType: ALLOW displayName: Enforce batch TTL. description: Only allow batch creation if it sets an allowable TTL.
Batch ne peut pas définir plus de 20 exécuteurs initiaux Spark. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.executor.instances' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.executor.instances'])>20) actionType: DENY displayName: Enforce maximum number of batch Spark executor instances. description: Deny batch creation if it specifies more than 20 Spark executor instances.
Batch ne peut pas définir plus de 20 exécuteurs initiaux pour l'allocation dynamique Spark. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchDynamicAllocationInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.dynamicAllocation.initialExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.initialExecutors'])>20) actionType: DENY displayName: Enforce maximum number of batch dynamic allocation initial executors. description: Deny batch creation if it specifies more than 20 Spark dynamic allocation initial executors.
Le lot ne doit pas autoriser plus de 20 exécuteurs d'allocation dynamique. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchDynamicAllocationMaxExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (resource.runtimeConfig.properties['spark.dynamicAllocation.enabled']=='false') || (('spark.dynamicAllocation.maxExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.maxExecutors'])<=20)) actionType: ALLOW displayName: Enforce batch maximum number of dynamic allocation executors. description: Only allow batch creation if dynamic allocation is disabled or the maximum number of dynamic allocation executors is set to less than or equal to 20.
Batch doit définir la clé KMS sur un schéma autorisé. name: organizations/ORGANIZATION_ID/custom.batchKmsPattern resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: matches(resource.environmentConfig.executionConfig.kmsKey, '^keypattern[a-z]$') actionType: ALLOW displayName: Enforce batch KMS Key pattern. description: Only allow batch creation if it sets the KMS key to an allowable pattern.
Le lot doit définir le préfixe du bucket intermédiaire sur une valeur autorisée. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchStagingBucketPrefix resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: resource.environmentConfig.executionConfig.stagingBucket.startsWith(
ALLOWED_PREFIX
) actionType: ALLOW displayName: Enforce batch staging bucket prefix. description: Only allow batch creation if it sets the staging bucket prefix to ALLOWED_PREFIX.Le paramètre de mémoire de l'exécuteur de lot doit se terminer par le suffixe m
et être inférieur à 20 000 m.name: organizations/ORGANIZATION_ID/customConstraints/custom.batchExecutorMemoryMax resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: ('spark.executor.memory' in resource.runtimeConfig.properties) && (resource.runtimeConfig.properties['spark.executor.memory'].endsWith('m')) && (int(resource.runtimeConfig.properties['spark.executor.memory'].split('m')[0])<20000) actionType: ALLOW displayName: Enforce batch executor maximum memory. description: Only allow batch creation if the executor memory setting ends with a suffix 'm' and is less than 20000 m.
Exemples de contraintes personnalisées pour une ressource de session
Le tableau suivant fournit des exemples de contraintes personnalisées pour les sessions Serverless pour Apache Spark :
Description Syntaxe de la contrainte La session doit définir sessionTemplate
sur une chaîne vide.name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionTemplateMustBeEmpty resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: resource.sessionTemplate == "" actionType: ALLOW displayName: Enforce empty session templates. description: Only allow session creation if session template is empty string.
sessionTemplate
doit être égal aux ID de modèles approuvés.name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionTemplateIdMustBeApproved resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: resource.sessionTemplate.startsWith("https://www.googleapis.com/compute/v1/projects/") && resource.sessionTemplate.contains("/locations/") && resource.sessionTemplate.contains("/sessionTemplates/") && ( resource.sessionTemplate.endsWith("/1") || resource.sessionTemplate.endsWith("/2") || resource.sessionTemplate.endsWith("/13") ) actionType: ALLOW displayName: Enforce templateId must be 1, 2, or 13. description: Only allow session creation if session template ID is in the approved list, that is, 1, 2 and 13.
La session doit utiliser les identifiants de l'utilisateur final pour authentifier la charge de travail. name: organizations/ORGANIZATION_ID/customConstraints/custom.AllowEUCSessions resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType=="END_USER_CREDENTIALS" actionType: ALLOW displayName: Require end user credential authenticated sessions. description: Allow session creation only if the workload is authenticated using end-user credentials.
La session doit définir une version d'exécution autorisée. name: organizations/ORGANIZATION_ID/custom.sessionMustUseAllowedVersion resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: (has(resource.runtimeConfig.version)) && (resource.runtimeConfig.version in ["2.0.45", "2.0.48"]) actionType: ALLOW displayName: Enforce session runtime version. description: Only allow session creation if it sets an allowable runtime version.
La session doit définir un TTL inférieur à deux heures. name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionMustSetLessThan2hTtl resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: (has(resource.environmentConfig.executionConfig.ttl)) && (resource.environmentConfig.executionConfig.ttl <= duration('2h')) actionType: ALLOW displayName: Enforce session TTL. description: Only allow session creation if it sets an allowable TTL.
La session ne peut pas définir plus de 20 exécuteurs Spark initiaux. name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.executor.instances' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.executor.instances'])>20) actionType: DENY displayName: Enforce maximum number of session Spark executor instances. description: Deny session creation if it specifies more than 20 Spark executor instances.
La session ne peut pas définir plus de 20 exécuteurs initiaux pour l'allocation dynamique Spark. name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionDynamicAllocationInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.dynamicAllocation.initialExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.initialExecutors'])>20) actionType: DENY displayName: Enforce maximum number of session dynamic allocation initial executors. description: Deny session creation if it specifies more than 20 Spark dynamic allocation initial executors.
La session doit définir la clé KMS sur un schéma autorisé. name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionKmsPattern resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: matches(resource.environmentConfig.executionConfig.kmsKey, '^keypattern[a-z]$') actionType: ALLOW displayName: Enforce session KMS Key pattern. description: Only allow session creation if it sets the KMS key to an allowable pattern.
La session doit définir le préfixe du bucket intermédiaire sur une valeur autorisée. name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionStagingBucketPrefix resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: resource.environmentConfig.executionConfig.stagingBucket.startsWith(ALLOWED_PREFIX) actionType: ALLOW displayName: Enforce session staging bucket prefix. description: Only allow batch creation if it sets the staging bucket prefix to ALLOWED_PREFIX.
Le paramètre de mémoire de l'exécuteur de session doit se terminer par le suffixe m
et être inférieur à 20 000 m.name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionExecutorMemoryMax resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: ('spark.executor.memory' in resource.runtimeConfig.properties) && (resource.runtimeConfig.properties['spark.executor.memory'].endsWith('m')) && (int(resource.runtimeConfig.properties['spark.executor.memory'].split('m')[0])<20000) actionType: ALLOW displayName: Enforce session executor maximum memory. description: Only allow session creation if the executor memory setting ends with a suffix 'm' and is less than 20000 m.
Étapes suivantes