Usa el linaje de datos en Dataflow

El linaje de datos es una función de Dataflow que te permite hacer un seguimiento de cómo los datos se mueven a través de tus sistemas: de dónde provienen, a dónde se pasan y qué transformaciones se les aplican.

Cada canalización que ejecutas con Dataflow tiene varios recursos de datos asociados. El linaje de un recurso de datos incluye su origen, lo que le sucede y adónde se mueve con el tiempo. Con el linaje de datos, puedes hacer un seguimiento del movimiento de extremo a extremo de tus recursos de datos, desde el origen hasta el destino final.

Cuando habilitas el linaje de datos para tus trabajos de Dataflow, Dataflow captura los eventos de linaje y los publica en la API de Data Lineage de Dataplex.

Para acceder a la información del linaje a través de Dataplex, consulta Cómo usar el linaje de datos con Google Cloud sistemas.

Antes de comenzar

Configura tu proyecto:

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Enable the Dataplex, BigQuery, and Data lineage APIs.

    Enable the APIs

    4.

  4. Make sure that billing is enabled for your Google Cloud project.

  5. Enable the Dataplex, BigQuery, and Data lineage APIs.

    Enable the APIs

    6.

En Dataflow, también debes habilitar el linaje a nivel del trabajo. Consulta Habilita el linaje de datos en Dataflow en este documento.

Roles obligatorios

Para obtener los permisos que necesitas para ver los gráficos de visualización de linaje, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Para obtener más información sobre los roles de linaje de datos, consulta Roles predefinidos para el linaje de datos.

Asistencia y limitaciones

El linaje de datos en Dataflow tiene las siguientes limitaciones:

  • El linaje de datos es compatible con las versiones 2.63.0 y posteriores del SDK de Apache Beam.
  • Debes habilitar el linaje de datos por trabajo.
  • La captura de datos no es instantánea. Los datos del linaje de trabajos de Dataflow pueden tardar unos minutos en aparecer en Dataplex.

  • Se admiten las siguientes fuentes y receptores:

    • Apache Kafka
    • BigQuery
    • Bigtable
    • Cloud Storage
    • JDBC (conectividad a bases de datos de Java)
    • Pub/Sub
    • Spanner

    Las plantillas de Dataflow que usan estas fuentes y destinos también capturan y publican automáticamente los eventos de linaje.

Habilita el linaje de datos en Dataflow

Debes habilitar el linaje a nivel del trabajo. Para habilitar el linaje de datos, usa la opción de servicio de Dataflow enable_lineage de la siguiente manera:

Java

--dataflowServiceOptions=enable_lineage=true

Python

--dataflow_service_options=enable_lineage=true

Go

--dataflow_service_options=enable_lineage=true

gcloud

Usa el comando gcloud dataflow jobs run con la opción additional-experiments. Si usas plantillas de Flex, usa el comando gcloud dataflow flex-template run.

--additional-experiments=enable_lineage=true

De manera opcional, puedes especificar uno o ambos de los siguientes parámetros con la opción de servicio:

  • process_id: Es un identificador único que Dataplex usa para agrupar ejecuciones de trabajos. Si no se especifica, se usa el nombre del trabajo.
  • process_name: Es un nombre legible para el proceso de linaje de datos. Si no se especifica, se usa el nombre del trabajo con el prefijo "Dataflow ".

Especifica estas opciones de la siguiente manera:

Java

--dataflowServiceOptions=enable_lineage=process_id=PROCESS_ID;process_name=DISPLAY_NAME

Python

--dataflow_service_options=enable_lineage=process_id=PROCESS_ID;process_name=DISPLAY_NAME

Go

--dataflow_service_options=enable_lineage=process_id=PROCESS_ID;process_name=DISPLAY_NAME

gcloud 

--additional-experiments=enable_lineage=process_id=PROCESS_ID;process_name=DISPLAY_NAME

Consultar el linaje en Dataplex

El linaje de datos proporciona información sobre las relaciones entre los recursos de tu proyecto y los procesos que los crearon. Puedes ver la información del linaje de datos en la consola de Google Cloud en forma de gráfico o de una sola tabla. También puedes recuperar información del linaje de datos de la API de Data Lineage en forma de datos JSON.

Para obtener más información, consulta Cómo usar el linaje de datos con Google Cloud sistemas.

Inhabilita el linaje de datos en Dataflow

Si el linaje de datos está habilitado para un trabajo específico y deseas inhabilitarlo, cancela el trabajo existente y ejecuta una versión nueva sin la opción de servicio enable_lineage.

Facturación

El uso del linaje de datos en Dataflow no afecta tu factura de Dataflow, pero podría generar cargos adicionales en tu factura de Dataplex. Para obtener más información, consulta Consideraciones sobre el linaje de datos y Precios de Dataplex.

¿Qué sigue?