Administra recursos de linaje de datos con restricciones personalizadas

Google Cloud La Política de la organización te brinda un control centralizado y programático sobre los recursos de tu organización. Como administrador de políticas de la organización, puedes definir una política de la organización, que es un conjunto de limitaciones llamadas restricciones que se aplican a los recursos deGoogle Cloud y a sus descendientes en la jerarquía de recursos deGoogle Cloud . Puedes aplicar políticas de la organización a nivel de la organización, carpeta o proyecto.

La política de la organización proporciona restricciones predefinidas para varios servicios deGoogle Cloud . Sin embargo, si deseas un control más detallado y personalizable sobre los campos específicos que están restringidos en las políticas de tu organización, también puedes crear políticas de la organización personalizadas.

Beneficios

Puedes usar una política de organización personalizada para permitir o denegar la creación de procesos de linaje de datos con condiciones basadas en atributos de recursos compatibles, como el nombre del proceso, el tipo de fuente y el origen.

Herencia de políticas

De forma predeterminada, las políticas de la organización se heredan según los subordinados de los recursos en los que se aplica la política. Por ejemplo, si aplicas una política en una carpeta, Google Cloud aplica la política en todos los proyectos de la carpeta. Para obtener más información sobre este comportamiento y cómo cambiarlo, consulta Reglas de evaluación de la jerarquía.

Precios

El Servicio de políticas de la organización, que incluye las políticas de la organización predefinidas y personalizadas, se ofrece sin cargo.

Limitaciones

• Las restricciones personalizadas solo se pueden aplicar a los recursos Process de linaje de datos. No se admiten otros recursos, como Runs y Events.

• Las restricciones personalizadas recién aplicadas no se aplican de forma automática a los recursos existentes.

Antes de comenzar

• Asegúrate de conocer tu ID de la organización.

• Si deseas probar políticas de la organización personalizadas que hagan referencia a recursos de linaje de datos, crea un proyecto nuevo. Probar estas políticas de la organización en un proyecto existente podría interrumpir los flujos de trabajo de seguridad.

  1. In the Google Cloud console, go to the project selector page.

     Go to project selector

  2. Click Create project.

  3. Name your project. Make a note of your generated project ID.

  4. Edit the other fields as needed.

  5. Click Create.

Roles obligatorios

Para obtener los permisos que necesitas para administrar las políticas de la organización, pídele a tu administrador que te otorgue el rol de IAM de administrador de políticas de la organización (roles/orgpolicy.policyAdmin) en la organización. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para administrar las políticas de la organización. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Crea una restricción personalizada

Una restricción personalizada se define en un archivo YAML mediante los recursos, los métodos, las condiciones y las acciones que son compatibles con el servicio en el que aplicas la política de la organización. Las condiciones para tus restricciones personalizadas se definen con Common Expression Language (CEL). Si deseas obtener más información para compilar condiciones en restricciones personalizadas mediante CEL, consulta la sección CEL de Crea y administra restricciones personalizadas.

Para crear un archivo YAML para una restricción personalizada, haz lo siguiente:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- datalineage.googleapis.com/RESOURCE_TYPE
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Reemplaza lo siguiente:

• ORGANIZATION_ID: el ID de la organización, como 123456789.

• CONSTRAINT_NAME: el nombre que deseas para tu nueva restricción personalizada. Una restricción personalizada debe comenzar con custom. y solo puede incluir letras mayúsculas, minúsculas o números, por ejemplo, custom.denyLineageProcess. La longitud máxima de este campo es de 70 caracteres, sin contar el prefijo, por ejemplo, organizations/123456789/customConstraints/custom.

• RESOURCE_TYPE: El nombre (no el URI) del recurso REST de la API de Data Lineage que contiene el objeto y el campo que deseas restringir. Para el linaje de datos, solo está disponible Process.

• CONDITION: una condición de CEL que se escribe en una representación de un recurso de servicio compatible. La longitud máxima de este campo es 1000 caracteres. Consulta Recursos compatibles con el fin de obtener más información sobre los recursos disponibles para escribir condiciones. Por ejemplo, "resource.name.contains('invalid_name')".

• ACTION: la acción que se realiza si se cumple condition. Puede ser ALLOW o DENY.

• DISPLAY_NAME: un nombre descriptivo para la restricción. La longitud máxima de este campo es 200 caracteres.

• DESCRIPTION: una descripción fácil de usar de la restricción que se mostrará como un mensaje de error cuando se infringe la política. La longitud máxima de este campo es 2000 caracteres.

Para obtener más información sobre cómo crear una restricción personalizada, consulta Define restricciones personalizadas.

Configura una restricción personalizada

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

Aplica de manera forzosa una política de la organización personalizada

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true
    

    gcloud org-policies set-policy POLICY_PATH
    

Prueba la política de la organización personalizada

En esta sección, se describe cómo probar una restricción de política de la organización que impide que los usuarios creen un proceso de linaje de datos con un nombre que contenga el texto invalid_name.

Si deseas probar esta restricción personalizada, haz lo siguiente:

1. Crea un proyecto nuevo, como se describe en la sección Antes de comenzar.

2. Copia la siguiente restricción en un archivo YAML:

     name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcess
     resourceTypes: datalineage.googleapis.com/Process
     methodTypes:
       - CREATE
       - UPDATE
     condition:
       "resource.name.contains('invalid_name')"
     actionType: DENY
     displayName: Do not allow data lineage process with 'invalid_name' to be created.
   

   Reemplaza ORGANIZATION_ID por el ID numérico de tuGoogle Cloud organización.

3. Configura la restricción personalizada y aplica la restricción de la política de la organización personalizada para el proyecto que creaste para probarla.

4. Crea un proceso con el nombre que incluiste en la restricción personalizada.

   curl -s -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application.json" \
   "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/processes" \
   -d '{"name":"projects/PROJECT_ID/locations/LOCATION/processes/invalid_name"}'

   Reemplaza lo siguiente:

   • PROJECT_ID: ID del proyecto en el que se crea el proceso. Debe estar en la misma organización en la que se define la restricción.
   • LOCATION: Google Cloud región en la que se crea el proceso.

   Esta es la salida:

   Operation denied by org policy on resource 'projects/PROJECT_ID/locations/LOCATION': ["customConstraints/custom.denyLineageProcess"]
   

Operaciones y recursos compatibles con el linaje de datos

Los siguientes campos de restricción personalizada están disponibles para que los uses cuando crees o actualices un proceso de linaje de datos:

• resource.name
• resource.displayName
• resource.origin.name
• resource.origin.sourceType

Las restricciones personalizadas se verifican para los siguientes métodos:

• CreateProcess
• UpdateProcess
• ProcessopenLineageRunEvent

Ejemplos de políticas de la organización personalizadas para casos de uso comunes

En la siguiente tabla, se proporciona la sintaxis de algunas restricciones personalizadas para casos de uso comunes:

Para obtener más información sobre las macros de CEL disponibles para usar en condiciones de restricciones personalizadas, consulta Common Expression Language.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "True"
    actionType: DENY
    displayName: Deny creation of all data lineage processes.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "resource.origin.sourceType == 'BIGQUERY' || resource.origin.sourceType == 'DATAPROC'"
    actionType: DENY
    displayName: Deny data lineage processes created by BigQuery or Dataproc.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.name.contains('RESTRICTED_NAME')"
    actionType: DENY
    displayName: Deny data lineage processes whose name contains RESTRICTED_NAME.

¿Qué sigue?

• Consulta Introducción al Servicio de las Políticas de la Organización para obtener más información sobre las políticas de la organización.
• Obtén más información para crear y administrar políticas de la organización.
• Consulta la lista completa de Restricciones de políticas de la organización predefinidas.