Gerenciar recursos do Dataplex Universal Catalog usando restrições personalizadas

Nesta página, mostramos como usar restrições personalizadas do serviço de políticas da organização para restringir operações específicas nos seguintes recursos do Google Cloud :

  • dataplex.googleapis.com/AspectType
  • dataplex.googleapis.com/EntryType
  • dataplex.googleapis.com/EntryGroup
  • dataplex.googleapis.com/DataScan
  • dataplex.googleapis.com/MetadataJob

Para saber mais sobre a política da organização, consulte Políticas da organização personalizadas.

Sobre políticas e restrições da organização

O Google Cloud Organization Policy Service oferece controle centralizado e programático sobre os recursos da sua organização. Como administrador de políticas da organização, é possível definir uma política da organização, que é um conjunto de limites chamado restrições que se aplicam aosGoogle Cloud recursos e aos descendentes deles na hierarquia de recursos doGoogle Cloud . É possível aplicar políticas da organização no nível da organização, da pasta ou para envolvidos no projeto.

A política da organização oferece restrições gerenciadas integradas para vários serviços do Google Cloud . No entanto, se você quiser um controle mais granular e personalizável sobre os campos específicos restritos nas suas políticas da organização, crie também restrições personalizadas e use-as em uma política da organização.

Herança de políticas

Por padrão, as políticas da organização são herdadas pelos descendentes dos recursos em que a política é aplicada. Por exemplo, se você aplicar uma política em uma pasta, Google Cloud vai aplicar a política a todos os projetos da pasta. Para saber mais sobre esse comportamento e como alterá-lo, consulte Regras de avaliação de hierarquia.

Limitações

As restrições personalizadas e as políticas da organização não são compatíveis com os seguintes recursos:

  • dataplex.googleapis.com/Lake
  • dataplex.googleapis.com/Zone
  • dataplex.googleapis.com/Task
  • dataplex.googleapis.com/Asset
  • dataplex.googleapis.com/Environment

Antes de começar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Install the Google Cloud CLI.

  5. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  6. To initialize the gcloud CLI, run the following command:

    gcloud init
  7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  8. Make sure that billing is enabled for your Google Cloud project.

  9. Install the Google Cloud CLI.

  10. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  11. To initialize the gcloud CLI, run the following command:

    gcloud init
  12. Certifique-se de conhecer o ID da organização.
  13. Funções exigidas

    Para receber as permissões necessárias para gerenciar políticas personalizadas da organização, peça ao administrador para conceder a você o papel do IAM de Administrador de políticas da organização (roles/orgpolicy.policyAdmin) no recurso da organização. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

    Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

    Criar uma restrição personalizada

    Uma restrição personalizada é definida em um arquivo YAML pelos recursos, métodos, condições e ações compatíveis com o serviço em que você está aplicando a política da organização. As condições das restrições personalizadas são definidas usando a Common Expression Language (CEL). Para mais informações sobre como criar condições em restrições personalizadas usando a CEL, consulte a seção CEL de Como criar e gerenciar restrições personalizadas.

    Para criar uma restrição personalizada, crie um arquivo YAML usando o seguinte formato:

    name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
    resourceTypes:
    - RESOURCE_NAME
    methodTypes:
    - CREATE
    - UPDATE
    condition: "CONDITION"
    actionType: ACTION
    displayName: DISPLAY_NAME
    description: DESCRIPTION
    

    Substitua:

    • ORGANIZATION_ID: o ID da organização, como 123456789.

    • CONSTRAINT_NAME: o nome da sua nova restrição personalizada. Uma restrição personalizada precisa começar com custom. e só pode incluir letras maiúsculas, minúsculas ou números. Por exemplo, custom.denyDataplexEntryGroup. O comprimento máximo desse campo é de 70 caracteres.

    • RESOURCE_NAME: o nome totalmente qualificado do recursoGoogle Cloud que contém o objeto e o campo que você quer restringir. Por exemplo, dataplex.googleapis.com/dataplex.googleapis.com/EntryGroup.

    • CONDITION: uma condição de CEL gravada em uma representação de um recurso de serviço compatível. Esse campo tem um comprimento máximo de 1000 caracteres. Consulte Recursos compatíveis para mais informações sobre os recursos disponíveis para gravar condições. Por exemplo, "resource.description.contains('invalid_name')".

    • ACTION: a ação a ser realizada se o condition for atendido. Os valores possíveis são ALLOW e DENY.

    • DISPLAY_NAME: um nome legível para a restrição. Esse campo tem um comprimento máximo de 200 caracteres.

    • DESCRIPTION: uma descrição legível da restrição a ser exibida como uma mensagem de erro quando a política for violada. Esse campo tem um comprimento máximo de 2000 caracteres.

    Para mais informações sobre como criar uma restrição personalizada, consulte Como definir restrições personalizadas.

    Configurar uma restrição personalizada

    Depois de criar o arquivo YAML para uma nova restrição personalizada, configure-a para disponibilizá-la para as políticas da organização. Para configurar uma restrição personalizada, use o comando gcloud org-policies set-custom-constraint:
    gcloud org-policies set-custom-constraint CONSTRAINT_PATH
    Substitua CONSTRAINT_PATH pelo caminho completo do arquivo da restrição personalizada. Por exemplo, /home/user/customconstraint.yaml. Após a conclusão, as restrições personalizadas vão estar disponíveis como políticas da organização na sua lista de Google Cloud políticas da organização. Para verificar se a restrição personalizada existe, use o comando gcloud org-policies list-custom-constraints:
    gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
    Substitua ORGANIZATION_ID pelo ID do recurso da organização. Para mais informações, consulte Como visualizar as políticas da organização.

    Aplicar uma política da organização personalizada

    Para aplicar uma restrição, crie uma política da organização que faça referência a ela e aplique essa política a um recurso Google Cloud .

    Console

    1. No console Google Cloud , acesse a página Políticas da organização.

      Acessar as políticas da organização

    2. No seletor de projetos, selecione o projeto em que você quer definir a política da organização.
    3. Na lista da página Políticas da organização, selecione a restrição para acessar a página Detalhes da política dela.
    4. Para personalizar a política da organização nesse recurso, clique em Gerenciar política.
    5. Na página Editar política, selecione Substituir a política do editor principal.
    6. Clique em Adicionar uma regra.
    7. Na seção Aplicação, selecione se a aplicação dessa política da organização está ativada ou desativada.
    8. Opcional: para tornar a política da organização condicional em uma tag, clique em Adicionar condição. Se você adicionar uma regra condicional a uma política da organização, inclua pelo menos uma regra não condicional. Caso contrário, não será possível salvar a política. Para mais informações, consulte Como configurar uma política da organização com tags.
    9. Clique em Testar mudanças para simular o efeito da política da organização. A simulação de política não está disponível para restrições gerenciadas legadas. Para mais informações, consulte Testar mudanças na política da organização com o Simulador de política.
    10. Para concluir e aplicar a política da organização, clique em Definir política. A política levará até 15 minutos para entrar em vigor.

    gcloud

    Para criar uma política da organização com regras booleanas, crie um arquivo YAML da política que faça referência à restrição:

          name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
          spec:
            rules:
            - enforce: true
        

    Substitua:

    • PROJECT_ID: o projeto em que você quer aplicar a restrição.
    • CONSTRAINT_NAME: o nome definido para a restrição personalizada. Por exemplo, custom.denyDataplexEntryGroup.

    Para aplicar a política da organização que contém a restrição, execute o seguinte comando:

        gcloud org-policies set-policy POLICY_PATH
        

    Substitua POLICY_PATH pelo caminho completo do arquivo YAML da política da organização. A política leva até 15 minutos para entrar em vigor.

    Testar a política personalizada da organização

    O exemplo a seguir cria uma restrição e política personalizada que impede que os usuários criem grupos de entradas em um projeto específico em que a descrição do grupo de entradas contenha o texto invalid_name.

    Antes de começar, você precisa saber o seguinte:

    • O código da sua organização.
    • Um ID do projeto

    Crie a restrição.

    1. Salve o seguinte arquivo como constraint-valid-entry-groups.yaml:

      name: organizations/ORGANIZATION_ID/customConstraints/custom.denyDataplexEntryGroup
      resourceTypes:
      - dataplex.googleapis.com/EntryGroup
      methodTypes:
      - CREATE
      condition: "resource.description.contains('invalid_name')"
      actionType: DENY
      displayName: Validate entry group description
      description: All new entry groups have valid descriptions.
      

      Isso define uma restrição em que, para cada novo grupo de entradas, se a descrição contiver o texto invalid_name, a operação será negada.

    2. Aplique a restrição:

      gcloud org-policies set-custom-constraint ~/constraint-valid-entry-groups.yaml
      
    3. Verifique se a restrição existe:

      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
      

      O resultado será assim:

      CUSTOM_CONSTRAINT                           ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES                       DISPLAY_NAME
      custom.denyDataplexEntryGroup               DENY         CREATE         dataplex.googleapis.com/EntryGroup   Validate Entry Group description
      ...
      

    Crie a política

    1. Salve o seguinte arquivo como policy-deny-entry-group.yaml:

      name: projects/PROJECT_ID/policies/custom.denyDataplexEntryGroup
      spec:
        rules:
        - enforce: true
      

      Substitua PROJECT_ID pela ID do seu projeto.

    2. Aplique a política:

      gcloud org-policies set-policy ~/policy-deny-entry-group.yaml
      
    3. Verifique se a política existe:

      gcloud org-policies list --project=PROJECT_ID
      

      O resultado será assim:

      CONSTRAINT                      LIST_POLICY    BOOLEAN_POLICY    ETAG
      custom.denyDataplexEntryGroup   -              SET               COCsm5QGENiXi2E=
      

    Depois de aplicar a política, aguarde cerca de 15 minutos para que o Google Cloud comece a aplicá-la.

    Testar a política

    Tente criar um grupo de entrada no projeto:

    gcloud dataplex entry-groups create org-policy-test \
        --project=PROJECT_ID \
        --location=LOCATION \
        --display-name=DISPLAY_NAME \
        --description='invalid_name'
    

    A operação foi negada. A saída é esta:

    Operation denied by custom org policy on resource 'projects/PROJECT_ID/locations/LOCATION/entryGroups/org-policy-test': ["customConstraints/custom.denyDataplexEntryGroup"]
    

    Exemplos de políticas personalizadas da organização para casos de uso comuns

    A tabela a seguir mostra a sintaxe de algumas restrições personalizadas para casos de uso comuns:

    Descrição Sintaxe de restrição
    Exigir um tipo de aspecto específico para tipos de entrada
        name: organizations/ORGANIZATION_ID/customConstraints/custom.requireAspectTypeForEntryType
        resourceTypes:
        - dataplex.googleapis.com/EntryType
        methodTypes:
        - CREATE
        - UPDATE
        condition: "resource.requiredAspects.exists(value, value.type =="projects/PROJECT_ID/locations/LOCATION/aspectTypes/exampleAspectType")
        actionType: DENY
        displayName: All entry types require aspect type exampleAspectType
        description: All entry types require the aspect type exampleAspectType
        
    Exigir uma taxa de amostragem mínima para verificações de criação de perfil de dados
        name: organizations/ORGANIZATION_ID/customConstraints/custom.minimumSamplingDataScans
        resourceTypes:
        - dataplex.googleapis.com/DataScan
        methodTypes:
        - CREATE
        - UPDATE
        condition: "resource.dataProfileSpec.samplingPercent >= 20.0"
        actionType: ALLOW
        displayName: Require minimum sampling for data profiling scans
        description: All data profiling scans need at least 20% sampling rate
        

    Recursos compatíveis com o Dataplex Universal Catalog

    A tabela a seguir lista os recursos do Dataplex Universal Catalog que podem ser referenciados em restrições personalizadas.

    Recurso Campo
    dataplex.googleapis.com/AspectType resource.authorization.alternateUsePermission
    resource.description
    resource.displayName
    resource.metadataTemplate.annotations.deprecated
    resource.metadataTemplate.annotations.description
    resource.metadataTemplate.annotations.displayName
    resource.metadataTemplate.annotations.displayOrder
    resource.metadataTemplate.annotations.stringType
    resource.metadataTemplate.annotations.stringValues
    resource.metadataTemplate.constraints.required
    resource.metadataTemplate.enumValues.deprecated
    resource.metadataTemplate.enumValues.index
    resource.metadataTemplate.enumValues.name
    resource.metadataTemplate.index
    resource.metadataTemplate.name
    resource.metadataTemplate.type
    resource.metadataTemplate.typeId
    resource.metadataTemplate.typeRef
    dataplex.googleapis.com/DataScan resource.data.entity
    resource.data.resource
    resource.dataDiscoverySpec.bigqueryPublishingConfig.connection
    resource.dataDiscoverySpec.bigqueryPublishingConfig.location
    resource.dataDiscoverySpec.bigqueryPublishingConfig.tableType
    resource.dataDiscoverySpec.storageConfig.csvOptions.delimiter
    resource.dataDiscoverySpec.storageConfig.csvOptions.encoding
    resource.dataDiscoverySpec.storageConfig.csvOptions.headerRows
    resource.dataDiscoverySpec.storageConfig.csvOptions.quote
    resource.dataDiscoverySpec.storageConfig.csvOptions.typeInferenceDisabled
    resource.dataDiscoverySpec.storageConfig.excludePatterns
    resource.dataDiscoverySpec.storageConfig.includePatterns
    resource.dataDiscoverySpec.storageConfig.jsonOptions.encoding
    resource.dataDiscoverySpec.storageConfig.jsonOptions.typeInferenceDisabled
    resource.dataProfileSpec.excludeFields.fieldNames
    resource.dataProfileSpec.includeFields.fieldNames
    resource.dataProfileSpec.postScanActions.bigqueryExport.resultsTable
    resource.dataProfileSpec.rowFilter
    resource.dataProfileSpec.samplingPercent
    resource.dataQualitySpec.postScanActions.bigqueryExport.resultsTable
    resource.dataQualitySpec.postScanActions.notificationReport.recipients.emails
    resource.dataQualitySpec.postScanActions.notificationReport.scoreThresholdTrigger.scoreThreshold
    resource.dataQualitySpec.rowFilter
    resource.dataQualitySpec.rules.column
    resource.dataQualitySpec.rules.description
    resource.dataQualitySpec.rules.dimension
    resource.dataQualitySpec.rules.ignoreNull
    resource.dataQualitySpec.rules.name
    resource.dataQualitySpec.rules.rangeExpectation.maxValue
    resource.dataQualitySpec.rules.rangeExpectation.minValue
    resource.dataQualitySpec.rules.rangeExpectation.strictMaxEnabled
    resource.dataQualitySpec.rules.rangeExpectation.strictMinEnabled
    resource.dataQualitySpec.rules.regexExpectation.regex
    resource.dataQualitySpec.rules.rowConditionExpectation.sqlExpression
    resource.dataQualitySpec.rules.setExpectation.values
    resource.dataQualitySpec.rules.sqlAssertion.sqlStatement
    resource.dataQualitySpec.rules.statisticRangeExpectation.maxValue
    resource.dataQualitySpec.rules.statisticRangeExpectation.minValue
    resource.dataQualitySpec.rules.statisticRangeExpectation.statistic
    resource.dataQualitySpec.rules.statisticRangeExpectation.strictMaxEnabled
    resource.dataQualitySpec.rules.statisticRangeExpectation.strictMinEnabled
    resource.dataQualitySpec.rules.suspended
    resource.dataQualitySpec.rules.tableConditionExpectation.sqlExpression
    resource.dataQualitySpec.rules.threshold
    resource.dataQualitySpec.samplingPercent
    resource.description
    resource.displayName
    resource.executionSpec.field
    resource.executionSpec.trigger.schedule.cron
    dataplex.googleapis.com/EntryGroup resource.description
    resource.displayName
    dataplex.googleapis.com/EntryType resource.authorization.alternateUsePermission
    resource.description
    resource.displayName
    resource.platform
    resource.requiredAspects.type
    resource.system
    resource.typeAliases
    dataplex.googleapis.com/MetadataJob resource.exportSpec.outputPath
    resource.exportSpec.scope.aspectTypes
    resource.exportSpec.scope.entryGroups
    resource.exportSpec.scope.entryTypes
    resource.exportSpec.scope.organizationLevel
    resource.exportSpec.scope.projects
    resource.importSpec.aspectSyncMode
    resource.importSpec.entrySyncMode
    resource.importSpec.logLevel
    resource.importSpec.scope.aspectTypes
    resource.importSpec.scope.entryGroups
    resource.importSpec.scope.entryTypes
    resource.importSpec.sourceCreateTime
    resource.importSpec.sourceStorageUri
    resource.type

    A seguir