Gerenciar recursos do Dataplex usando restrições personalizadas

Nesta página, mostramos como usar restrições personalizadas do serviço de políticas da organização para restringir operações específicas nos seguintes recursos Google Cloud :

  • dataplex.googleapis.com/AspectType
  • dataplex.googleapis.com/EntryType
  • dataplex.googleapis.com/EntryGroup
  • dataplex.googleapis.com/DataScan
  • dataplex.googleapis.com/MetadataJob

Para saber mais sobre a política da organização, consulte Políticas da organização personalizadas.

Sobre políticas e restrições da organização

O Google Cloud Serviço de políticas da organização oferece controle centralizado e programático sobre os recursos da sua organização. Como administrador de políticas da organização, é possível definir uma política da organização, que é um conjunto de restrições chamado restrições que se aplicam aos recursosGoogle Cloud e aos descendentes desses recursos na hierarquia de recursosGoogle Cloud . É possível aplicar políticas da organização no nível da organização, da pasta ou para envolvidos no projeto.

A política da organização fornece restrições predefinidas para vários serviços Google Cloud . No entanto, se você quiser um controle mais granular e personalizável sobre os campos específicos restritos nas suas políticas da organização, crie também restrições personalizadas e use-as em uma política da organização.

Herança de políticas

Por padrão, as políticas da organização são herdadas pelos descendentes dos recursos em que a política é aplicada. Por exemplo, se você aplicar uma política em uma pasta, Google Cloud vai aplicar a política a todos os projetos da pasta. Para saber mais sobre esse comportamento e como alterá-lo, consulte Regras de avaliação de hierarquia.

Limitações

As restrições personalizadas e as políticas da organização não são compatíveis com os seguintes recursos:

  • dataplex.googleapis.com/Lake
  • dataplex.googleapis.com/Zone
  • dataplex.googleapis.com/Task
  • dataplex.googleapis.com/Asset
  • dataplex.googleapis.com/Environment

Antes de começar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Install the Google Cloud CLI.
  5. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  6. To initialize the gcloud CLI, run the following command:

    gcloud init
  7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  8. Make sure that billing is enabled for your Google Cloud project.

  9. Install the Google Cloud CLI.
  10. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  11. To initialize the gcloud CLI, run the following command:

    gcloud init
  12. Certifique-se de conhecer o ID da organização.

Funções exigidas

Para receber as permissões necessárias a fim de gerenciar políticas personalizadas da organização, peça ao administrador para conceder a você o papel do IAM de Administrador de políticas da organização (roles/orgpolicy.policyAdmin) no recurso da organização. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Criar uma restrição personalizada

Uma restrição personalizada é definida em um arquivo YAML pelos recursos, métodos, condições e ações compatíveis com o serviço em que você está aplicando a política da organização. As condições das restrições personalizadas são definidas usando a Common Expression Language (CEL). Para mais informações sobre como criar condições em restrições personalizadas usando a CEL, consulte a seção CEL de Como criar e gerenciar restrições personalizadas.

Para criar uma restrição personalizada, crie um arquivo YAML usando o seguinte formato:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- RESOURCE_NAME
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Substitua:

  • ORGANIZATION_ID: o ID da organização, como 123456789.

  • CONSTRAINT_NAME: o nome da sua nova restrição personalizada. Uma restrição personalizada precisa começar com custom. e só pode incluir letras maiúsculas, minúsculas ou números. Por exemplo, custom.denyDataplexEntryGroup. O comprimento máximo desse campo é de 70 caracteres.

  • RESOURCE_NAME: o nome totalmente qualificado do recursoGoogle Cloud que contém o objeto e o campo que você quer restringir. Por exemplo, dataplex.googleapis.com/dataplex.googleapis.com/EntryGroup.

  • CONDITION: uma condição de CEL gravada em uma representação de um recurso de serviço compatível. Esse campo tem um comprimento máximo de 1000 caracteres. Consulte Recursos compatíveis para mais informações sobre os recursos disponíveis para gravar condições. Por exemplo, "resource.description.contains('invalid_name')".

  • ACTION: a ação a ser realizada se o condition for atendido. Os valores possíveis são ALLOW e DENY.

  • DISPLAY_NAME: um nome legível para a restrição. Esse campo tem um comprimento máximo de 200 caracteres.

  • DESCRIPTION: uma descrição legível da restrição a ser exibida como uma mensagem de erro quando a política for violada. Esse campo tem um comprimento máximo de 2000 caracteres.

Para mais informações sobre como criar uma restrição personalizada, consulte Como definir restrições personalizadas.

Configurar uma restrição personalizada

Depois de criar o arquivo YAML para uma nova restrição personalizada, configure-a para disponibilizá-la para as políticas da organização. Para configurar uma restrição personalizada, use o comando gcloud org-policies set-custom-constraint:
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
Substitua CONSTRAINT_PATH pelo caminho completo do arquivo da restrição personalizada. Por exemplo, /home/user/customconstraint.yaml. Após a conclusão, as restrições personalizadas vão estar disponíveis como políticas da organização na sua lista de Google Cloud políticas da organização. Para verificar se a restrição personalizada existe, use o comando gcloud org-policies list-custom-constraints:
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
Substitua ORGANIZATION_ID pelo ID do recurso da organização. Para mais informações, consulte Como visualizar as políticas da organização.

Aplicar uma política da organização personalizada

Para aplicar uma restrição booleana, crie uma política da organização com referência a ela e aplique essa política da organização a um recurso Google Cloud .

Console

  1. No Google Cloud console, acesse a página Políticas da organização.

    Acessar as políticas da organização

  2. No seletor de projetos, selecione o projeto em que você quer definir a política da organização.
  3. Na lista da página Políticas da organização, selecione a restrição para acessar a página Detalhes da política dela.
  4. Para personalizar a política da organização nesse recurso, clique em Gerenciar política.
  5. Na página Editar política, selecione Substituir a política do editor principal.
  6. Clique em Adicionar uma regra.
  7. Na seção Aplicação, selecione se a aplicação dessa política da organização está ativada ou desativada.
  8. Opcional: para tornar a política da organização condicional em uma tag, clique em Adicionar condição. Se você adicionar uma regra condicional a uma política da organização, inclua pelo menos uma regra não condicional. Caso contrário, não será possível salvar a política. Para mais informações, consulte Como configurar uma política da organização com tags.
  9. Se essa for uma restrição personalizada, clique em Testar alterações para simular o efeito da política da organização. Para mais informações, consulte Testar alterações na política da organização com o Simulador de política.
  10. Para concluir e aplicar a política da organização, clique em Definir política. A política levará até 15 minutos para entrar em vigor.

gcloud

Para criar uma política da organização que aplica uma restrição booleana, crie um arquivo YAML da política com referência à restrição:

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true
    

Substitua:

  • PROJECT_ID: o projeto em que você quer aplicar a restrição.
  • CONSTRAINT_NAME: o nome definido para a restrição personalizada. Por exemplo, custom.denyDataplexEntryGroup.

Para aplicar a política da organização que contém a restrição, execute o seguinte comando:

    gcloud org-policies set-policy POLICY_PATH
    

Substitua POLICY_PATH pelo caminho completo do arquivo YAML da política da organização. A política leva até 15 minutos para entrar em vigor.

Testar a política personalizada da organização

O exemplo a seguir cria uma restrição e política personalizada que impede que os usuários criem grupos de entrada em um projeto específico em que a descrição do grupo de entrada contém o texto invalid_name.

Antes de começar, você precisa saber o seguinte:

  • O código da sua organização.
  • Um ID do projeto

Crie a restrição.

  1. Salve o seguinte arquivo como constraint-valid-entry-groups.yaml:

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyDataplexEntryGroup
    resourceTypes:
    - dataplex.googleapis.com/EntryGroup
    methodTypes:
    - CREATE
    condition: "resource.description.contains('invalid_name')"
    actionType: DENY
    displayName: Validate entry group description
    description: All new entry groups have valid descriptions.
    

    Isso define uma restrição em que, para cada novo grupo de entrada, se a descrição contiver o texto invalid_name, a operação será negada.

  2. Aplique a restrição:

    gcloud org-policies set-custom-constraint ~/constraint-valid-entry-groups.yaml
    
  3. Verifique se a restrição existe:

    gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
    

    O resultado será assim:

    CUSTOM_CONSTRAINT                           ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES                       DISPLAY_NAME
    custom.denyDataplexEntryGroup               DENY         CREATE         dataplex.googleapis.com/EntryGroup   Validate Entry Group description
    ...
    

Crie a política

  1. Salve o seguinte arquivo como policy-deny-entry-group.yaml:

    name: projects/PROJECT_ID/policies/custom.denyDataplexEntryGroup
    spec:
      rules:
      - enforce: true
    

    Substitua PROJECT_ID pela ID do seu projeto.

  2. Aplique a política:

    gcloud org-policies set-policy ~/policy-deny-entry-group.yaml
    
  3. Verifique se a política existe:

    gcloud org-policies list --project=PROJECT_ID
    

    O resultado será assim:

    CONSTRAINT                      LIST_POLICY    BOOLEAN_POLICY    ETAG
    custom.denyDataplexEntryGroup   -              SET               COCsm5QGENiXi2E=
    

Depois de aplicar a política, aguarde cerca de 15 minutos para que o Google Cloud comece a aplicá-la.

Testar a política

Tente criar um grupo de entrada no projeto:

gcloud dataplex entry-groups create org-policy-test \
    --project=PROJECT_ID \
    --location=LOCATION \
    --display-name=DISPLAY_NAME \
    --description='invalid_name'

A operação foi negada. A saída é esta:

Operation denied by custom org policy on resource 'projects/PROJECT_ID/locations/LOCATION/entryGroups/org-policy-test': ["customConstraints/custom.denyDataplexEntryGroup"]

Exemplos de políticas personalizadas da organização para casos de uso comuns

A tabela a seguir mostra a sintaxe de algumas restrições personalizadas para casos de uso comuns:

Descrição Sintaxe de restrição
Exigir um tipo de aspecto específico para tipos de entrada
    name: organizations/ORGANIZATION_ID/customConstraints/custom.requireAspectTypeForEntryType
    resourceTypes:
    - dataplex.googleapis.com/EntryType
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.requiredAspects.exists(value, value.type =="projects/PROJECT_ID/locations/LOCATION/aspectTypes/exampleAspectType")
    actionType: DENY
    displayName: All entry types require aspect type exampleAspectType
    description: All entry types require the aspect type exampleAspectType
    
Exigir uma taxa mínima de amostragem para verificações de perfil de dados
    name: organizations/ORGANIZATION_ID/customConstraints/custom.minimumSamplingDataScans
    resourceTypes:
    - dataplex.googleapis.com/DataScan
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.dataProfileSpec.samplingPercent >= 20.0"
    actionType: ALLOW
    displayName: Require minimum sampling for data profiling scans
    description: All data profiling scans need at least 20% sampling rate
    

Recursos compatíveis com o Dataplex

A tabela a seguir lista os recursos do Dataplex que podem ser referenciados em restrições personalizadas.

Recurso Campo
dataplex.googleapis.com/AspectType resource.authorization.alternateUsePermission
resource.description
resource.displayName
resource.metadataTemplate.annotations.deprecated
resource.metadataTemplate.annotations.description
resource.metadataTemplate.annotations.displayName
resource.metadataTemplate.annotations.displayOrder
resource.metadataTemplate.annotations.stringType
resource.metadataTemplate.annotations.stringValues
resource.metadataTemplate.constraints.required
resource.metadataTemplate.enumValues.deprecated
resource.metadataTemplate.enumValues.index
resource.metadataTemplate.enumValues.name
resource.metadataTemplate.index
resource.metadataTemplate.name
resource.metadataTemplate.type
resource.metadataTemplate.typeId
resource.metadataTemplate.typeRef
dataplex.googleapis.com/DataScan resource.data.entity
resource.data.resource
resource.dataDiscoverySpec.bigqueryPublishingConfig.connection
resource.dataDiscoverySpec.bigqueryPublishingConfig.location
resource.dataDiscoverySpec.bigqueryPublishingConfig.tableType
resource.dataDiscoverySpec.storageConfig.csvOptions.delimiter
resource.dataDiscoverySpec.storageConfig.csvOptions.encoding
resource.dataDiscoverySpec.storageConfig.csvOptions.headerRows
resource.dataDiscoverySpec.storageConfig.csvOptions.quote
resource.dataDiscoverySpec.storageConfig.csvOptions.typeInferenceDisabled
resource.dataDiscoverySpec.storageConfig.excludePatterns
resource.dataDiscoverySpec.storageConfig.includePatterns
resource.dataDiscoverySpec.storageConfig.jsonOptions.encoding
resource.dataDiscoverySpec.storageConfig.jsonOptions.typeInferenceDisabled
resource.dataProfileSpec.excludeFields.fieldNames
resource.dataProfileSpec.includeFields.fieldNames
resource.dataProfileSpec.postScanActions.bigqueryExport.resultsTable
resource.dataProfileSpec.rowFilter
resource.dataProfileSpec.samplingPercent
resource.dataQualitySpec.postScanActions.bigqueryExport.resultsTable
resource.dataQualitySpec.postScanActions.notificationReport.recipients.emails
resource.dataQualitySpec.postScanActions.notificationReport.scoreThresholdTrigger.scoreThreshold
resource.dataQualitySpec.rowFilter
resource.dataQualitySpec.rules.column
resource.dataQualitySpec.rules.description
resource.dataQualitySpec.rules.dimension
resource.dataQualitySpec.rules.ignoreNull
resource.dataQualitySpec.rules.name
resource.dataQualitySpec.rules.rangeExpectation.maxValue
resource.dataQualitySpec.rules.rangeExpectation.minValue
resource.dataQualitySpec.rules.rangeExpectation.strictMaxEnabled
resource.dataQualitySpec.rules.rangeExpectation.strictMinEnabled
resource.dataQualitySpec.rules.regexExpectation.regex
resource.dataQualitySpec.rules.rowConditionExpectation.sqlExpression
resource.dataQualitySpec.rules.setExpectation.values
resource.dataQualitySpec.rules.sqlAssertion.sqlStatement
resource.dataQualitySpec.rules.statisticRangeExpectation.maxValue
resource.dataQualitySpec.rules.statisticRangeExpectation.minValue
resource.dataQualitySpec.rules.statisticRangeExpectation.statistic
resource.dataQualitySpec.rules.statisticRangeExpectation.strictMaxEnabled
resource.dataQualitySpec.rules.statisticRangeExpectation.strictMinEnabled
resource.dataQualitySpec.rules.suspended
resource.dataQualitySpec.rules.tableConditionExpectation.sqlExpression
resource.dataQualitySpec.rules.threshold
resource.dataQualitySpec.samplingPercent
resource.description
resource.displayName
resource.executionSpec.field
resource.executionSpec.trigger.schedule.cron
dataplex.googleapis.com/EntryGroup resource.description
resource.displayName
dataplex.googleapis.com/EntryType resource.authorization.alternateUsePermission
resource.description
resource.displayName
resource.platform
resource.requiredAspects.type
resource.system
resource.typeAliases
dataplex.googleapis.com/MetadataJob resource.exportSpec.outputPath
resource.exportSpec.scope.aspectTypes
resource.exportSpec.scope.entryGroups
resource.exportSpec.scope.entryTypes
resource.exportSpec.scope.organizationLevel
resource.exportSpec.scope.projects
resource.importSpec.aspectSyncMode
resource.importSpec.entrySyncMode
resource.importSpec.logLevel
resource.importSpec.scope.aspectTypes
resource.importSpec.scope.entryGroups
resource.importSpec.scope.entryTypes
resource.importSpec.sourceCreateTime
resource.importSpec.sourceStorageUri
resource.type

A seguir