Monitorizar los registros de Dataplex Universal Catalog

Los registros de trabajos de Dataplex Universal Catalog se pueden ver, buscar, filtrar y archivar en Cloud Logging.

Para conocer los costes, consulta los precios de Google Cloud Observability.

Para obtener más información sobre la conservación de registros, consulta Periodos de conservación de registros.

Para inhabilitar todos los registros o excluir registros de Logging, consulta Filtros de exclusión.

Para enrutar registros de Logging a Cloud Storage, BigQuery o Pub/Sub, consulta el artículo Descripción general del enrutamiento y el almacenamiento.

Acceder a los registros de servicio de Dataplex Universal Catalog en Logging

Dataplex Universal Catalog publica los siguientes registros de servicio en Cloud Logging.

Tipo de registro Nombre del registro logName consulta Descripción del registro
Registros de eventos de análisis de datos dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Registros de eventos de los trabajos de análisis de datos que indican el estado, los resultados y las estadísticas de los trabajos
Registros de resultados de reglas de análisis de calidad de los datos dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Resultados de las reglas de análisis de calidad de los datos en un trabajo de calidad de los datos
Registros de discovery dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Progreso y actualizaciones del descubrimiento de recursos en una zona
Registros de tareas de metadatos dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Registros sobre las tareas de importación de metadatos y los elementos de importación del archivo de metadatos
Registros de procesos dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Ejecuciones de trabajos resultantes de tareas de procesamiento de datos

Haz los cambios siguientes:

  • PROJECT_ID: el ID de tu proyecto

Para acceder a Logging, puedes usar el Explorador de registros de laGoogle Cloud consola, los comandos gcloud logging o la API Logging.

Consultar registros de eventos de análisis de datos

Cuando usas Dataplex Universal Catalog para crear y ejecutar un análisis de datos, se genera un registro de eventos de análisis de datos en Logging para el trabajo resultante.

Consola

  1. En la Google Cloud consola, ve a la página Explorador de registros.

    Ir a Explorador de registros

  2. En la vista Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Cloud Dataplex DataScan. Haz clic en Aplicar.

  5. Haz clic en el menú Nombre del registro.

  6. En el campo Buscar nombres de registro, introduce dataplex.googleapis.com%2Fdata_scan. Selecciona data_scan y haz clic en Aplicar.

  7. Opcional: Filtra los registros por un ID de análisis de datos o una ubicación específicos añadiendo los siguientes filtros a la consulta de registro:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Haz clic en Realizar una consulta.

gcloud

Para leer las entradas del registro de eventos de análisis de datos, usa el comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el método entries.list.

Consultar registros de resultados de reglas de análisis de calidad de los datos

Cuando usas Dataplex Universal Catalog para crear y ejecutar un análisis de calidad de los datos, se genera un registro de resultados de la regla de análisis de calidad de los datos en Logging para el trabajo resultante.

Consola

  1. En la Google Cloud consola, ve a la página Explorador de registros.

    Ir a Explorador de registros

  2. En la vista Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Cloud Dataplex DataScan. Haz clic en Aplicar.

  5. Haz clic en el menú Nombre del registro.

  6. En el campo Buscar nombres de registro, introduce dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Seleccione data_quality_scan_rule_result y haga clic en Aplicar.

  7. Opcional: Filtra los registros por un ID de análisis de datos o una ubicación específicos añadiendo los siguientes filtros a la consulta de registro:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Haz clic en Realizar una consulta.

gcloud

Para leer las entradas de registro de los resultados de la regla de análisis de calidad de los datos, usa el comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el método entries.list.

Consultar registros de discovery

Cuando usas Dataplex Universal Catalog para descubrir datos en recursos, se genera un registro de descubrimiento en Logging.

Consola

  1. En la Google Cloud consola, ve a la página Explorador de registros.

    Ir a Explorador de registros

  2. En la vista Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Seleccione Zona de Cloud Dataplex. Haz clic en Aplicar.

  5. Haz clic en el menú Nombre del registro.

  6. En el campo Buscar nombres de registro, introduce dataplex.googleapis.com%2Fdiscovery. Selecciona Descubrimiento y haz clic en Aplicar.

  7. Opcional: Filtra los registros de un recurso específico añadiendo los siguientes filtros a la consulta de registro:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

  8. Haz clic en Realizar una consulta.

gcloud

Para leer las entradas de registro de descubrimiento, usa el comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el método entries.list.

Consultar registros de tareas de metadatos

Cuando ejecutas una tarea de importación de metadatos, se generan registros de tareas de metadatos en Logging.

Consola

  1. En la Google Cloud consola, ve a la página Explorador de registros.

    Ir a Explorador de registros

  2. En la vista Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Seleccione Tarea de metadatos de Cloud Dataplex.

  5. Opcional: Para filtrar los registros por una ubicación o un ID de tarea de metadatos específicos, selecciona una ubicación o un ID de tarea.

  6. Haz clic en Aplicar.

  7. Haz clic en el menú Nombre del registro.

  8. Escribe dataplex.googleapis.com%2Fmetadata_job y, a continuación, selecciona metadata_job.

  9. Haz clic en Aplicar.

gcloud

Para leer las entradas de registro de tu trabajo de metadatos, usa el comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

Para enumerar las entradas de registro, usa el método entries.list.

Consultar registros de procesos

Cuando usas Dataplex Universal Catalog para programar y ejecutar tareas, se genera un registro de proceso en Logging para la tarea resultante.

Consola

  1. En la Google Cloud consola, ve a la página Explorador de registros.

    Ir a Explorador de registros

  2. En la vista Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Tarea de Cloud Dataplex. Haz clic en Aplicar.

  5. Haz clic en el menú Nombre del registro.

  6. En el campo Buscar nombres de registro, introduce dataplex.googleapis.com%2Fprocess. Selecciona Procesar y haz clic en Aplicar.

  7. Opcional: Filtra los registros de una tarea específica añadiendo los siguientes filtros a la consulta de registro:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

  8. Haz clic en Realizar una consulta.

gcloud

Para leer las entradas de registro de tu proceso, usa el comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el método entries.list.

Siguientes pasos