Gerenciar recursos de linhagem de dados usando restrições personalizadas

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

A política da organização fornece restrições predefinidas para vários serviçosGoogle Cloud . No entanto, se você quiser um controle mais granular e personalizável sobre os campos específicos restritos nas suas políticas da organização, crie também políticas da organização personalizadas.

Vantagens

É possível usar uma política da organização personalizada para permitir ou negar a criação de processos de linhagem de dados com condições baseadas em atributos de recursos com suporte, como nome do processo, tipo de origem e origem.

Herança de políticas

Por padrão, as políticas da organização são herdadas pelos descendentes dos recursos em que a política é aplicada. Por exemplo, se você aplicar uma política em uma pasta, Google Cloud vai aplicar a política a todos os projetos da pasta. Para saber mais sobre esse comportamento e como alterá-lo, consulte Regras de avaliação de hierarquia.

Preços

O Organization Policy Service, incluindo políticas predefinidas e personalizadas, é oferecido sem custos financeiros.

Limitações

• As restrições personalizadas só podem ser aplicadas a recursos de linhagem de dados Process. Outros recursos, como Runs e Events, não são compatíveis.

• As restrições personalizadas recém-aplicadas não se aplicam aos recursos atuais.

Antes de começar

• Certifique-se de conhecer o ID da organização.

• Se você quiser testar políticas da organização personalizadas que se referem a recursos de linhagem de dados, crie um novo projeto. Testar essas políticas da organização em um projeto atual pode interromper os fluxos de trabalho de segurança.

  1. In the Google Cloud console, go to the project selector page.

     Go to project selector

  2. Click Create project.

  3. Name your project. Make a note of your generated project ID.

  4. Edit the other fields as needed.

  5. Click Create.

Funções exigidas

Para receber as permissões necessárias a fim de gerenciar as políticas da organização, peça ao administrador para conceder a você o papel do IAM de Administrador de políticas da organização (roles/orgpolicy.policyAdmin) na organização. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para gerenciar as políticas da organização. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Criar uma restrição personalizada

Uma restrição personalizada é definida em um arquivo YAML pelos recursos, métodos, condições e ações compatíveis com o serviço em que você está aplicando a política da organização. As condições das restrições personalizadas são definidas usando a Common Expression Language (CEL). Para mais informações sobre como criar condições em restrições personalizadas usando a CEL, consulte a seção CEL de Como criar e gerenciar restrições personalizadas.

Para criar um arquivo YAML para uma restrição personalizada:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- datalineage.googleapis.com/RESOURCE_TYPE
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Substitua:

• ORGANIZATION_ID: o ID da organização, como 123456789.

• CONSTRAINT_NAME: o nome da sua nova restrição personalizada. Uma restrição personalizada precisa começar com custom. e só pode incluir letras maiúsculas, minúsculas ou números, por exemplo, custom.denyLineageProcess. O tamanho máximo desse campo é de 70 caracteres, sem contar o prefixo (por exemplo, organizations/123456789/customConstraints/custom).

• RESOURCE_TYPE: o nome (não o URI) do recurso REST da API Data Lineage que contém o objeto e o campo que você quer restringir. Para a linhagem de dados, apenas Process está disponível.

• CONDITION: uma condição de CEL gravada em uma representação de um recurso de serviço compatível. Esse campo tem um comprimento máximo de 1000 caracteres. Consulte Recursos compatíveis para mais informações sobre os recursos disponíveis para gravar condições. Por exemplo, "resource.name.contains('invalid_name')".

• ACTION: a ação a ser realizada se o condition for atendido. Pode ser ALLOW ou DENY.

• DISPLAY_NAME: um nome legível para a restrição. Esse campo tem um comprimento máximo de 200 caracteres.

• DESCRIPTION: uma descrição legível da restrição a ser exibida como uma mensagem de erro quando a política for violada. Esse campo tem um comprimento máximo de 2000 caracteres.

Para mais informações sobre como criar uma restrição personalizada, consulte Como definir restrições personalizadas.

Configurar uma restrição personalizada

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

Aplicar uma política da organização personalizada

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true
    

    gcloud org-policies set-policy POLICY_PATH
    

Testar a política personalizada da organização

Esta seção descreve como testar uma restrição de política da organização que impede os usuários de criar um processo de linhagem de dados com um nome que contenha o texto invalid_name.

Se você quiser testar essa restrição personalizada, faça o seguinte:

1. Crie um novo projeto, conforme descrito na seção Antes de começar.

2. Copie a seguinte restrição para um arquivo YAML:

     name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcess
     resourceTypes: datalineage.googleapis.com/Process
     methodTypes:
       - CREATE
       - UPDATE
     condition:
       "resource.name.contains('invalid_name')"
     actionType: DENY
     displayName: Do not allow data lineage process with 'invalid_name' to be created.
   

   Substitua ORGANIZATION_ID pelo ID numérico da Google Cloud organização.

3. Configure a restrição personalizada e aplique ao projeto que você criou para testar a restrição da política da organização personalizada.

4. Crie um processo com o nome incluído na restrição personalizada.

   curl -s -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application.json" \
   "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/processes" \
   -d '{"name":"projects/PROJECT_ID/locations/LOCATION/processes/invalid_name"}'

   Substitua:

   • PROJECT_ID: ID do projeto em que o processo é criado. Ele precisa estar na mesma organização em que a restrição está definida.
   • LOCATION: Google Cloud região em que o processo é criado.

   A saída é esta:

   Operation denied by org policy on resource 'projects/PROJECT_ID/locations/LOCATION': ["customConstraints/custom.denyLineageProcess"]
   

Recursos e operações com suporte à linhagem de dados

Os seguintes campos de restrição personalizada estão disponíveis para uso ao criar ou atualizar um processo de linhagem de dados:

• resource.name
• resource.displayName
• resource.origin.name
• resource.origin.sourceType

As restrições personalizadas são verificadas para os seguintes métodos:

• CreateProcess
• UpdateProcess
• ProcessopenLineageRunEvent

Exemplos de políticas personalizadas da organização para casos de uso comuns

A tabela a seguir mostra a sintaxe de algumas restrições personalizadas para casos de uso comuns:

Para mais informações sobre as macros da CEL disponíveis para uso em condições de restrição personalizada, consulte Common Expression Language.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "True"
    actionType: DENY
    displayName: Deny creation of all data lineage processes.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "resource.origin.sourceType == 'BIGQUERY' || resource.origin.sourceType == 'DATAPROC'"
    actionType: DENY
    displayName: Deny data lineage processes created by BigQuery or Dataproc.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.name.contains('RESTRICTED_NAME')"
    actionType: DENY
    displayName: Deny data lineage processes whose name contains RESTRICTED_NAME.

A seguir

• Consulte Introdução ao serviço Política da organização para saber mais sobre as políticas da organização.
• Saiba mais sobre como criar e gerenciar políticas da organização.
• Veja a lista completa de restrições da política da organização predefinidas.