Consultar el linaje en Dataplex

En esta página, se describe cómo ver el linaje de datos que genera tu Canalizaciones de Cloud Data Fusion con otros movimientos de datos en Google Cloud, con fines de descubrimiento y administración. Puedes ver los gráficos de linaje para las fuentes de datos admitidas en la Página de Dataplex en la consola o usar la API de Data Lineage para recuperar registros completos de linaje de datos.

Antes de comenzar

Para habilitar la visualización de los gráficos de linaje de Cloud Data Fusion en la Página de Dataplex en la consola, haz lo siguiente:

1. Crea una canalización de datos que usa solo los complementos compatibles.

2. Habilita la API de Data Lineage en el proyecto que contiene tu instancia de Cloud Data Fusion.

3. Otorga el rol de Productor de eventos de linaje de datos (roles/datalineage.producer) a la cuenta de servicio administrada por Cloud Data Fusion, la cuenta de Cloud Servicio de la API de Fusion de operaciones. El proceso varía si la instancia se ejecuta en una versión anterior de Cloud Data Fusion y RBAC están habilitados.

   RBAC 6.10 o superior, o sin RBAC

   Si tu instancia de Cloud Data Fusion usa la versión 6.10.0 o una posterior, o usa una versión anterior y no está habilitada la RBAC, sigue estos pasos:

   1. En la consola de Google Cloud, ve a la página IAM.

      Ir a IAM

   2. Selecciona la casilla de verificación Incluir asignaciones de funciones proporcionadas por Google.

   3. Selecciona la cuenta de servicio del agente de servicio de la API de Cloud Data Fusion y haz clic en edit Editar.

   4. Haz clic en Agregar otra función y selecciona el rol de Productor de eventos de linaje de datos.

   5. Haz clic en Guardar.

   < 6.10 con RBAC

   Si tu instancia de Cloud Data Fusion usa una versión anterior a 6.10.0 y RBAC está habilitado, la cuenta de servicio no aparece en el una lista de principales en la página de IAM. Debes ingresar el nombre de la cuenta de servicio de forma manual.

   Para otorgar el rol necesario, sigue estos pasos:

   1. En la consola de Google Cloud, ve a la página IAM.

      Ir a IAM

   2. Haz clic en Otorgar acceso.

   3. En el campo Principales nuevas, ingresa la API de Cloud Data Fusion. Cuenta de servicio del agente de servicio. Usa el siguiente formato: datafusion-system@TENANT_PROJECT_ID.iam.gserviceaccount.com

      Reemplaza TENANT_PROJECT_ID por el el ID de usuario de tu instancia. Para ver el ID del proyecto de usuario, ve a la página Instancias y haz clic en su nombre. más detalles.

      Ir a Instancias

   4. Selecciona el rol Productor de eventos de linaje de datos.

   5. Haz clic en Guardar.

Habilita el linaje de datos de Dataplex en Cloud Data Fusion

Para instancias nuevas en Cloud Data Fusion, datos de Dataplex el linaje está desactivado de forma predeterminada. Si creaste la instancia antes del 27 de enero, 2024 con la versión 6.8.0 o posterior, se activa de forma predeterminada después de completar los pasos que se indican en Antes de comenzar.

Habilita el linaje de datos de Dataplex cuando crees una instancia

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME"

Habilita o inhabilita el linaje de datos de Dataplex en una instancia existente

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "false"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

Ver gráficos de linaje de datos

Para ver los gráficos de linaje de las entidades en todos los servicios de Google Cloud, haz lo siguiente:

1. Dirígete a tu instancia en Cloud Data Fusion y ejecuta una canalización de datos que usa complementos compatibles.

2. Visualiza los gráficos de linaje en la página de Dataplex en la consola y busque el recurso cuya información de linaje quiere ver.

Limitaciones

La visualización del linaje en Dataplex tiene las siguientes limitaciones:

• El linaje en Dataplex solo es detectable si hay Entidad de BigQuery conectada a los complementos compatibles. Para ver más información sobre cuándo estarán disponibles los gráficos de linaje de datos, consulta Acerca del linaje de datos.

• La API de Data Lineage no admite claves de encriptación administradas por el cliente (CMEK).

• Cloud Data Fusion no admite esta función en ubicaciones me-central1 ni europe-west12.

• Revisa el consideraciones del linaje de datos.

¿Qué sigue?

• Obtén más información sobre el linaje de datos.