Usa el linaje de datos con sistemas de Google Cloud

El linaje de datos muestra las relaciones entre los perfiles recursos y los procesos que los crearon. Puedes ver información del linaje de datos en forma de una visualización gráfica o de lista en la consola de Google Cloud, o recuperarla desde API de Data Lineage en forma de datos JSON.

El linaje se captura entre proyectos. Cuando veas el linaje que se genera desde varios proyectos, puedes ver la información de linaje agregada en cualquier de los proyectos relevantes.

Funciones y permisos

Para ver la información del linaje, pídele a tu administrador que te otorgue roles de visualizador como se describe en Roles predefinidos de linaje de datos. Debes tener acceso en el proyecto en el que ves el linaje y en el proyectos en los que se registra el linaje.

Data Catalog hace un seguimiento de la información del linaje automáticamente cuando lo habilitas la API de Data Lineage. No necesitas ningún rol de administrador o editor para capturar el linaje de tu y recursos de datos.

Para obtener más información sobre cómo otorgar roles, consulta Administrar acceso. Puedes asignar un rol a un nivel superior de la organización o la carpeta (consulta Otorgar o revocar un solo rol).

Habilita el linaje de datos

Habilitar el linaje de datos para comenzar a hacer un seguimiento automático del linaje información de sistemas compatibles. Debes habilitar la API de Data Lineage en el proyecto en el que ves y los proyectos en los que se registra. Para obtener más información, consulta Tipos de proyectos.

  1. Para capturar información del linaje, haz lo siguiente:

    1. En la consola de Google Cloud, en el selector de proyectos selecciona el proyecto en el que deseas registrar el linaje.

      Ir al Selector de proyectos

    2. Habilitar la API de Data Lineage

      Habilita la API de Data Lineage

    3. Repite los pasos anteriores para cada proyecto en el que desees linaje de los registros.
  2. En el proyecto donde ves el linaje, habilita la API de Data Lineage. y la API de Data Catalog.

    Habilitar las API

Ver el linaje en la IU de Dataplex

Puedes ver la información del linaje de datos en la IU de Dataplex en forma de un gráfico o una lista.

Los gráficos de linaje representan información recopilada por la API de Data Lineage para un entrada específica.

Un gráfico de muestra en el que se muestran datos de dos tablas que se transforman y, luego, se combinan.
Figure 1. Ejemplo de un gráfico de visualización de linaje en la IU de Dataplex.

Aparece la vista de lista de linaje (vista previa) información detallada del linaje para las entidades en una sola que incluye información de linaje para entidades con muchas conexiones.

Para ver el linaje, sigue estas instrucciones:

  1. Abre la página de búsqueda de Dataplex y busca el recurso para el cual quieres ver la información del linaje.

    Abrir la página de búsqueda de Dataplex

    Para obtener más información, consulta Cómo buscar recursos de datos.

  2. En la página de detalles de entrada, selecciona la pestaña Linaje.

  3. Selecciona los botones del proceso o de la fuente de datos para mostrar el panel de detalles.

  4. Para ver información de linaje upstream o downstream para un recurso, haz clic en Expandir.

  5. Para ver el linaje en la vista de lista en lugar de la vista de gráfico, haz clic en Lista.

Visualiza el linaje en la IU de BigQuery

Puedes ver la información del linaje de datos en la IU de BigQuery en la forma de un gráfico o una lista (Vista previa)

Para ver el linaje, sigue estas instrucciones:

  1. En la consola de Google Cloud, ve a la página de BigQuery.

    Abrir la página de BigQuery

  2. Abre la tabla en la que deseas ver el linaje de datos.

  3. Haz clic en la pestaña Linaje.

  4. Selecciona los botones del proceso o de la fuente de datos para mostrar el panel de detalles.

  5. Para ver información de linaje upstream o downstream para un recurso, haz clic en Expandir.

  6. Para ver el linaje en la vista de lista en lugar de la vista de gráfico, haz clic en Lista.

Visualiza el linaje en la IU de Vertex AI

Los sistemas como Vertex AI Pipelines generan datos de linaje para modelos y conjuntos de datos de Vertex AI. Puedes ver la información del linaje de datos en la IU de Vertex AI en forma de un gráfico o una lista (Vista previa).

Consulta el linaje de un conjunto de datos administrado en Vertex AI

Para ver el linaje de un conjunto de datos, sigue estas instrucciones:

  1. En la consola de Google Cloud, ve a la página Conjuntos de datos.

    Abrir la página Conjuntos de datos

  2. Haz clic en el conjunto de datos del que quieres ver el linaje de datos.

  3. Haz clic en la pestaña Linaje.

  4. Selecciona los botones del proceso o de la fuente de datos para mostrar el panel de detalles.

  5. Para ver información de linaje upstream o downstream para un recurso, haz clic en Expandir.

  6. Para ver el linaje en la vista de lista en lugar de la vista de gráfico, haz clic en Lista.

Visualiza el linaje de un modelo en Vertex AI

Para ver el linaje de un modelo, sigue estas instrucciones:

  1. En la consola de Google Cloud, ve a la página Model Registry.

    Abrir la página Registro de modelos

  2. Haz clic en el modelo del que deseas ver el linaje de datos.

  3. Haz clic en la pestaña Linaje.

  4. Selecciona los botones del proceso o de la fuente de datos para mostrar el panel de detalles.

  5. Para ver información de linaje upstream o downstream para un recurso, haz clic en Expandir.

  6. Para ver el linaje en la vista de lista en lugar de la vista de gráfico, haz clic en Lista.

¿Qué sigue?