Gérer les ressources du catalogue universel Dataplex à l'aide de contraintes personnalisées

Cette page vous explique comment utiliser les contraintes personnalisées du service de règles d'administration pour restreindre des opérations spécifiques sur les ressources Google Cloud suivantes :

  • dataplex.googleapis.com/AspectType
  • dataplex.googleapis.com/EntryType
  • dataplex.googleapis.com/EntryGroup
  • dataplex.googleapis.com/DataScan
  • dataplex.googleapis.com/MetadataJob

Pour en savoir plus sur les règles d'administration, consultez Règles d'administration personnalisées.

À propos des règles et des contraintes de l'organisation

Le service de règles d'administration Google Cloud vous offre un contrôle centralisé et automatisé sur les ressources de votre organisation. En tant qu'administrateur des règles d'administration, vous pouvez définir une règle d'administration, c'est-à-dire un ensemble de restrictions appelées Contraintes qui s'appliquent aux ressourcesGoogle Cloud et aux descendants de ces ressources dans la Hiérarchie des ressourcesGoogle Cloud . Vous pouvez appliquer des règles d'administration au niveau d'une organisation, d'un dossier ou d'un projet.

Les règles d'administration fournissent des contraintes gérées intégrées pour divers services Google Cloud . Toutefois, si vous souhaitez exercer un contrôle plus précis et personnalisable sur les champs spécifiques restreints dans vos règles d'administration d'administration, vous pouvez également créer des contraintes personnalisées et les utiliser dans une règle d'administration.

Héritage des règles

Par défaut, les règles d'administration sont héritées par les descendants des ressources sur lesquelles vous les appliquez. Par exemple, si vous appliquez une stratégie à un dossier, Google Cloud l'applique à tous les projets du dossier. Pour mieux comprendre ce comportement et savoir comment le modifier, consultez la page Règles d'évaluation hiérarchique.

Limites

Les contraintes personnalisées et les règles d'administration ne sont pas compatibles avec les ressources suivantes :

  • dataplex.googleapis.com/Lake
  • dataplex.googleapis.com/Zone
  • dataplex.googleapis.com/Task
  • dataplex.googleapis.com/Asset
  • dataplex.googleapis.com/Environment

Avant de commencer

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Install the Google Cloud CLI.

  5. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  6. To initialize the gcloud CLI, run the following command:

    gcloud init
  7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  8. Make sure that billing is enabled for your Google Cloud project.

  9. Install the Google Cloud CLI.

  10. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  11. To initialize the gcloud CLI, run the following command:

    gcloud init
  12. Assurez-vous de connaître votre ID d'organisation.
  13. Rôles requis

    Pour obtenir les autorisations nécessaires pour gérer des règles d'administration personnalisées, demandez à votre administrateur de vous accorder le rôle IAM Administrateur des règles d'administration (roles/orgpolicy.policyAdmin) dans la ressource d'organisation. Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

    Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

    Créer une contrainte personnalisée

    Une contrainte personnalisée est définie dans un fichier YAML, qui spécifie les ressources, méthodes, conditions et actions compatibles avec le service sur lequel vous appliquez la règle d'administration. Les conditions de vos contraintes personnalisées sont définies à l'aide du langage CEL (Common Expression Language). Pour en savoir plus sur la création de conditions dans des contraintes personnalisées à l'aide du CEL, consultez la section CEL de la page Créer et gérer des contraintes personnalisées.

    Pour créer une contrainte personnalisée, créez un fichier YAML au format suivant :

    name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
    resourceTypes:
    - RESOURCE_NAME
    methodTypes:
    - CREATE
    - UPDATE
    condition: "CONDITION"
    actionType: ACTION
    displayName: DISPLAY_NAME
    description: DESCRIPTION
    

    Remplacez les éléments suivants :

    • ORGANIZATION_ID : ID de votre organisation (par exemple, 123456789).

    • CONSTRAINT_NAME : nom souhaité pour votre nouvelle contrainte personnalisée. Une contrainte personnalisée doit commencer par custom. et ne peut inclure que des lettres majuscules, minuscules ou des chiffres. Exemple : custom.denyDataplexEntryGroup. La longueur maximale de ce champ est de 70 caractères.

    • RESOURCE_NAME : nom complet de la ressourceGoogle Cloud contenant l'objet et le champ que vous souhaitez restreindre. Par exemple, dataplex.googleapis.com/dataplex.googleapis.com/EntryGroup.

    • CONDITION : condition CEL écrite pour une représentation d'une ressource de service acceptée. Ce champ ne doit pas comporter plus de 1 000 caractères. Consultez la section Ressources compatibles pour en savoir plus sur les ressources disponibles pour l'écriture de conditions. Par exemple, "resource.description.contains('invalid_name')".

    • ACTION : action à effectuer si la condition est remplie. Les valeurs possibles sont ALLOW et DENY.

    • DISPLAY_NAME : nom convivial de la contrainte. Ce champ ne doit pas comporter plus de 200 caractères.

    • DESCRIPTION : description conviviale de la contrainte, qui sera affichée dans un message d'erreur en cas de non-respect de la règle. Ce champ ne doit pas comporter plus de 2 000 caractères.

    Pour en savoir plus sur la création d'une contrainte personnalisée, consultez la page Définir des contraintes personnalisées.

    Configurer une contrainte personnalisée

    Après avoir créé le fichier YAML pour une nouvelle contrainte personnalisée, vous devez le configurer de sorte qu'il soit disponible pour les règles d'administration de votre organisation. Pour configurer une contrainte personnalisée, utilisez la commande gcloud org-policies set-custom-constraint :
    gcloud org-policies set-custom-constraint CONSTRAINT_PATH
    Remplacez CONSTRAINT_PATH par le chemin d'accès complet à votre fichier de contrainte personnalisée. Par exemple, /home/user/customconstraint.yaml. Une fois l'opération terminée, vos contraintes personnalisées sont disponibles en tant que règles d'administration dans votre liste de règles d'administration Google Cloud . Pour vérifier que la contrainte personnalisée existe, utilisez la commande gcloud org-policies list-custom-constraints :
    gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
    Remplacez ORGANIZATION_ID par l'ID de votre ressource d'organisation. Pour en savoir plus, consultez la page Afficher les règles d'administration.

    Appliquer une règle d'administration personnalisée

    Vous pouvez appliquer une contrainte en créant une règle d'administration qui la référence, puis en appliquant cette règle d'administration à une ressource Google Cloud .

    Console

    1. Dans la console Google Cloud , accédez à la page Règles d'administration.

      Accéder à la page Règles d'administration

    2. Dans le sélecteur de projets, choisissez le projet pour lequel vous souhaitez définir la règle d'administration.
    3. Dans la liste de la page Règles d'administration, sélectionnez votre contrainte pour afficher la page Détails de la règle associée.
    4. Pour configurer la règle d'administration pour cette ressource, cliquez sur Gérer la règle.
    5. Sur la page Modifier la stratégie, sélectionnez Remplacer la stratégie parente.
    6. Cliquez sur Ajouter une règle.
    7. Dans la section Application, indiquez si l'application de cette règle d'administration est activée ou désactivée.
    8. Facultatif : Pour rendre la règle d'administration conditionnelle sur un tag, cliquez sur Ajouter une condition. Notez que si vous ajoutez une règle conditionnelle à une règle d'administration, vous devez ajouter au moins une règle inconditionnelle, sinon la règle ne pourra pas être enregistrée. Pour en savoir plus, consultez la section Définir une règle d'administration avec des tags.
    9. Cliquez sur Tester les modifications pour simuler l'effet de la règle d'administration. La simulation de règles n'est pas disponible pour les anciennes contraintes gérées. Pour en savoir plus, consultez Tester les modifications apportées aux règles d'administration à l'aide de Policy Simulator.
    10. Pour finaliser et appliquer la règle d'administration, cliquez sur Définir la règle. La prise en compte de la règle peut prendre jusqu'à 15 minutes.

    gcloud

    Pour créer une règle d'administration avec des règles booléennes, créez un fichier YAML de règle qui référence la contrainte :

          name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
          spec:
            rules:
            - enforce: true
        

    Remplacez les éléments suivants :

    • PROJECT_ID : projet sur lequel vous souhaitez appliquer votre contrainte.
    • CONSTRAINT_NAME : nom que vous avez défini pour la contrainte personnalisée. Exemple : custom.denyDataplexEntryGroup.

    Pour appliquer la règle d'administration contenant la contrainte, exécutez la commande suivante :

        gcloud org-policies set-policy POLICY_PATH
        

    Remplacez POLICY_PATH par le chemin d'accès complet au fichier YAML de votre règle d'administration. La prise en compte de la règle peut prendre jusqu'à 15 minutes.

    Tester la règle d'administration personnalisée

    L'exemple suivant crée une contrainte et une règle personnalisées qui empêchent les utilisateurs de créer des groupes d'entrées dans un projet spécifique lorsque la description du groupe d'entrées contient le texte invalid_name.

    Avant de commencer, vous devez connaître les éléments suivants :

    • ID de votre organisation
    • Un ID de projet.

    Créer la contrainte

    1. Enregistrez le fichier suivant sous le nom constraint-valid-entry-groups.yaml :

      name: organizations/ORGANIZATION_ID/customConstraints/custom.denyDataplexEntryGroup
      resourceTypes:
      - dataplex.googleapis.com/EntryGroup
      methodTypes:
      - CREATE
      condition: "resource.description.contains('invalid_name')"
      actionType: DENY
      displayName: Validate entry group description
      description: All new entry groups have valid descriptions.
      

      Cela définit une contrainte qui refuse les opérations de création de groupe d'entrées si la description contient le texte invalid_name.

    2. Appliquez la contrainte :

      gcloud org-policies set-custom-constraint ~/constraint-valid-entry-groups.yaml
      
    3. Vérifiez que la contrainte existe :

      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
      

      Le résultat ressemble à ce qui suit :

      CUSTOM_CONSTRAINT                           ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES                       DISPLAY_NAME
      custom.denyDataplexEntryGroup               DENY         CREATE         dataplex.googleapis.com/EntryGroup   Validate Entry Group description
      ...
      

    Créer la règle

    1. Enregistrez le fichier suivant sous le nom policy-deny-entry-group.yaml :

      name: projects/PROJECT_ID/policies/custom.denyDataplexEntryGroup
      spec:
        rules:
        - enforce: true
      

      Remplacez PROJECT_ID par l'ID de votre projet.

    2. Appliquez la règle :

      gcloud org-policies set-policy ~/policy-deny-entry-group.yaml
      
    3. Vérifiez que la règle existe :

      gcloud org-policies list --project=PROJECT_ID
      

      Le résultat ressemble à ce qui suit :

      CONSTRAINT                      LIST_POLICY    BOOLEAN_POLICY    ETAG
      custom.denyDataplexEntryGroup   -              SET               COCsm5QGENiXi2E=
      

    Une fois la règle appliquée, attendez environ 15 minutes que Google Cloud commence à l'appliquer.

    Tester la stratégie

    Essayez de créer un groupe d'entrées dans le projet :

    gcloud dataplex entry-groups create org-policy-test \
        --project=PROJECT_ID \
        --location=LOCATION \
        --display-name=DISPLAY_NAME \
        --description='invalid_name'
    

    L'opération est refusée. Le résultat est le suivant :

    Operation denied by custom org policy on resource 'projects/PROJECT_ID/locations/LOCATION/entryGroups/org-policy-test': ["customConstraints/custom.denyDataplexEntryGroup"]
    

    Exemples de règles d'administration personnalisées pour des cas d'utilisation courants

    Le tableau suivant fournit la syntaxe de certaines contraintes personnalisées pour les cas d'utilisation courants :

    Description Syntaxe de la contrainte
    Exiger un type d'aspect spécifique pour les types d'entrées
        name: organizations/ORGANIZATION_ID/customConstraints/custom.requireAspectTypeForEntryType
        resourceTypes:
        - dataplex.googleapis.com/EntryType
        methodTypes:
        - CREATE
        - UPDATE
        condition: "resource.requiredAspects.exists(value, value.type =="projects/PROJECT_ID/locations/LOCATION/aspectTypes/exampleAspectType")
        actionType: DENY
        displayName: All entry types require aspect type exampleAspectType
        description: All entry types require the aspect type exampleAspectType
        
    Exiger un taux d'échantillonnage minimal pour les analyses de profilage des données
        name: organizations/ORGANIZATION_ID/customConstraints/custom.minimumSamplingDataScans
        resourceTypes:
        - dataplex.googleapis.com/DataScan
        methodTypes:
        - CREATE
        - UPDATE
        condition: "resource.dataProfileSpec.samplingPercent >= 20.0"
        actionType: ALLOW
        displayName: Require minimum sampling for data profiling scans
        description: All data profiling scans need at least 20% sampling rate
        

    Ressources compatibles avec Dataplex Universal Catalog

    Le tableau suivant répertorie les ressources Dataplex Universal Catalog que vous pouvez référencer dans des contraintes personnalisées.

    Ressource Champ
    dataplex.googleapis.com/AspectType resource.authorization.alternateUsePermission
    resource.description
    resource.displayName
    resource.metadataTemplate.annotations.deprecated
    resource.metadataTemplate.annotations.description
    resource.metadataTemplate.annotations.displayName
    resource.metadataTemplate.annotations.displayOrder
    resource.metadataTemplate.annotations.stringType
    resource.metadataTemplate.annotations.stringValues
    resource.metadataTemplate.constraints.required
    resource.metadataTemplate.enumValues.deprecated
    resource.metadataTemplate.enumValues.index
    resource.metadataTemplate.enumValues.name
    resource.metadataTemplate.index
    resource.metadataTemplate.name
    resource.metadataTemplate.type
    resource.metadataTemplate.typeId
    resource.metadataTemplate.typeRef
    dataplex.googleapis.com/DataScan resource.data.entity
    resource.data.resource
    resource.dataDiscoverySpec.bigqueryPublishingConfig.connection
    resource.dataDiscoverySpec.bigqueryPublishingConfig.location
    resource.dataDiscoverySpec.bigqueryPublishingConfig.tableType
    resource.dataDiscoverySpec.storageConfig.csvOptions.delimiter
    resource.dataDiscoverySpec.storageConfig.csvOptions.encoding
    resource.dataDiscoverySpec.storageConfig.csvOptions.headerRows
    resource.dataDiscoverySpec.storageConfig.csvOptions.quote
    resource.dataDiscoverySpec.storageConfig.csvOptions.typeInferenceDisabled
    resource.dataDiscoverySpec.storageConfig.excludePatterns
    resource.dataDiscoverySpec.storageConfig.includePatterns
    resource.dataDiscoverySpec.storageConfig.jsonOptions.encoding
    resource.dataDiscoverySpec.storageConfig.jsonOptions.typeInferenceDisabled
    resource.dataProfileSpec.excludeFields.fieldNames
    resource.dataProfileSpec.includeFields.fieldNames
    resource.dataProfileSpec.postScanActions.bigqueryExport.resultsTable
    resource.dataProfileSpec.rowFilter
    resource.dataProfileSpec.samplingPercent
    resource.dataQualitySpec.postScanActions.bigqueryExport.resultsTable
    resource.dataQualitySpec.postScanActions.notificationReport.recipients.emails
    resource.dataQualitySpec.postScanActions.notificationReport.scoreThresholdTrigger.scoreThreshold
    resource.dataQualitySpec.rowFilter
    resource.dataQualitySpec.rules.column
    resource.dataQualitySpec.rules.description
    resource.dataQualitySpec.rules.dimension
    resource.dataQualitySpec.rules.ignoreNull
    resource.dataQualitySpec.rules.name
    resource.dataQualitySpec.rules.rangeExpectation.maxValue
    resource.dataQualitySpec.rules.rangeExpectation.minValue
    resource.dataQualitySpec.rules.rangeExpectation.strictMaxEnabled
    resource.dataQualitySpec.rules.rangeExpectation.strictMinEnabled
    resource.dataQualitySpec.rules.regexExpectation.regex
    resource.dataQualitySpec.rules.rowConditionExpectation.sqlExpression
    resource.dataQualitySpec.rules.setExpectation.values
    resource.dataQualitySpec.rules.sqlAssertion.sqlStatement
    resource.dataQualitySpec.rules.statisticRangeExpectation.maxValue
    resource.dataQualitySpec.rules.statisticRangeExpectation.minValue
    resource.dataQualitySpec.rules.statisticRangeExpectation.statistic
    resource.dataQualitySpec.rules.statisticRangeExpectation.strictMaxEnabled
    resource.dataQualitySpec.rules.statisticRangeExpectation.strictMinEnabled
    resource.dataQualitySpec.rules.suspended
    resource.dataQualitySpec.rules.tableConditionExpectation.sqlExpression
    resource.dataQualitySpec.rules.threshold
    resource.dataQualitySpec.samplingPercent
    resource.description
    resource.displayName
    resource.executionSpec.field
    resource.executionSpec.trigger.schedule.cron
    dataplex.googleapis.com/EntryGroup resource.description
    resource.displayName
    dataplex.googleapis.com/EntryType resource.authorization.alternateUsePermission
    resource.description
    resource.displayName
    resource.platform
    resource.requiredAspects.type
    resource.system
    resource.typeAliases
    dataplex.googleapis.com/MetadataJob resource.exportSpec.outputPath
    resource.exportSpec.scope.aspectTypes
    resource.exportSpec.scope.entryGroups
    resource.exportSpec.scope.entryTypes
    resource.exportSpec.scope.organizationLevel
    resource.exportSpec.scope.projects
    resource.importSpec.aspectSyncMode
    resource.importSpec.entrySyncMode
    resource.importSpec.logLevel
    resource.importSpec.scope.aspectTypes
    resource.importSpec.scope.entryGroups
    resource.importSpec.scope.entryTypes
    resource.importSpec.sourceCreateTime
    resource.importSpec.sourceStorageUri
    resource.type

    Étapes suivantes