Os registros de jobs do Dataplex podem ser visualizados, pesquisados, filtrados e arquivados no Cloud Logging.
Consulte Preços do Google Cloud Observability para entender seus custos.
Consulte Períodos de retenção dos registros para obter informações sobre retenção de registros.
Consulte Filtros de exclusão para desativar ou excluir todos os registros. registros do Logging.
Consulte Visão geral de roteamento e armazenamento para rotear registros do Logging para o Cloud Storage, BigQuery ou Pub/Sub.
Acessar registros de serviço do Dataplex no Logging
O Dataplex publica os seguintes registros de serviço no Cloud Logging.
Tipo de registro | Nome do registro | Consulta logName |
Descrição do registro |
---|---|---|---|
Registros de eventos de verificação de dados | dataplex.googleapis.com/data_scan |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) |
Logs de eventos para jobs de verificação de dados indicando o estado, os resultados e as estatísticas do job |
Registros de resultados da regra de verificação de qualidade de dados | dataplex.googleapis.com/data_quality_scan_rule_result |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) |
Resultados das regras de verificação de qualidade de dados em um job de qualidade |
Registros de descoberta | dataplex.googleapis.com/discovery |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) |
Progresso da descoberta e atualizações dos recursos em uma zona |
(Prévia) Registros de jobs de metadados | dataplex.googleapis.com/metadata_job |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) |
Registros sobre jobs de importação de metadados e itens de importação no arquivo de importação de metadados |
Processar registros | dataplex.googleapis.com/process |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) |
Execuções de jobs resultantes de tarefas de processamento de dados |
Para acessar o Logging, use o
Análise de registros na
console do Google Cloud, a
comandos gcloud logging
ou
a API Logging.
Consultar registros de eventos de verificação de dados
Quando você usa o Dataplex para criar e executar uma verificação de dados, um log de eventos dessa verificação é produzido no Logging para o job resultante.
Console
No console do Google Cloud, acesse a página do Explorador de registros.
Na visualização Análise de registros, localize a guia Consulta.
Clique no menu Recurso.
Selecione DataScan do Cloud Dataplex. Clique em Aplicar.
Clique no menu Nome do registro.
No campo Pesquisar nomes de log, digite
dataplex.googleapis.com%2Fdata_scan
Selecione data_scan e Clique em Aplicar.Opcional: adicione os seguintes filtros à consulta de registro para filtrar os registros por um local ou ID de verificação de dados específico:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
Clique em Executar consulta.
gcloud
Para ler as entradas do log de eventos da verificação de dados, use o
Comando gcloud logging read
pela seguinte consulta:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/DataScan" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND resource.labels.location=LOCATION AND resource.labels.datascan_id=DATA_SCAN_ID' --limit 10
REST
Para listar as entradas de registro, use o
método entries.list
.
Consultar registros de resultados da regra de verificação de qualidade de dados
Quando você usa o Dataplex para criar e executar uma verificação de qualidade de dados, um registro de resultados dessa regra é gerado no Logging para o job resultante.
Console
No console do Google Cloud, acesse a página do Explorador de registros.
Na visualização Análise de registros, localize a guia Consulta.
Clique no menu Recurso.
Selecione DataScan do Cloud Dataplex. Clique em Aplicar.
Clique no menu Nome do registro.
No campo Pesquisar nomes de log, digite
dataplex.googleapis.com%2Fdata_quality_scan_rule_result
Selecionar data_quality_scan_rule_result e clique em Aplicar.Opcional: adicione os seguintes filtros à consulta de registro para filtrar os registros por um local ou ID de verificação de dados específico:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
Clique em Executar consulta.
gcloud
Para ler as entradas de registro dos resultados da regra de verificação de qualidade de dados, use o
Comando gcloud logging read
pela seguinte consulta:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/DataScan" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND resource.labels.location=LOCATION AND resource.labels.datascan_id=DATA_SCAN_ID' --limit 10
REST
Para listar as entradas de registro, use o
método entries.list
.
Registros de descoberta de consultas
Quando você usa o Dataplex para descobrir dados em recursos, um registro de descoberta é gerada no Logging.
Console
No console do Google Cloud, acesse a página do Explorador de registros.
Na visualização Análise de registros, localize a guia Consulta.
Clique no menu Recurso.
Selecione Zona do Cloud Dataplex. Clique em Aplicar.
Clique no menu Nome do registro.
No campo Pesquisar nomes de log, digite
dataplex.googleapis.com%2Fdiscovery
Selecione discovery e Clique em Aplicar.Opcional: filtre os registros para um recurso específico adicionando os seguintes filtros na consulta de registro:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.zone_id="ZONE_ID" jsonPayload.assetId="ASSET_ID"
Clique em Executar consulta.
gcloud
Para ler as entradas do registro de descoberta, use o
Comando gcloud logging read
pela seguinte consulta:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/Zone" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND resource.labels.location=LOCATION AND resource.labels.lake_id=LAKE_ID AND resource.labels.zone_id=ZONE_ID AND jsonPayload.assetId=ASSET_ID' --limit 10
REST
Para listar entradas de registro, use o
método entries.list
.
Registros de jobs de metadados de consulta
Quando você executa um job de importação de metadados, os metadados registros de jobs são produzidos no Logging.
Console
No console do Google Cloud, acesse a página do Explorador de registros.
Na visualização Análise de registros, encontre a guia Consulta.
Clique no menu Recurso.
Selecione Job de metadados do Cloud Dataplex.
Opcional: para filtrar os registros por um local específico ou um ID de job de metadados, selecione um local ou ID da tarefa.
Clique em Aplicar.
Clique no menu Nome do registro.
Digite
dataplex.googleapis.com%2Fmetadata_job
e selecione metadata_job (em inglês).Clique em Aplicar.
gcloud
Para ler as entradas de registro do job de metadados, use o
Comando gcloud logging read
pela seguinte consulta:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/MetadataJob" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND resource.labels.location=LOCATION AND resource.labels.metadata_job_id=METADATA_JOB_ID --limit 10
REST
Para listar as entradas de registro, use o
método entries.list
.
Registros do processo de consulta
Quando você usa o Dataplex para programar e executar tarefas, um processo log é produzido no Logging para o job resultante.
Console
No console do Google Cloud, acesse a página do Explorador de registros.
Na visualização Análise de registros, localize a guia Consulta.
Clique no menu Recurso.
Selecione Tarefa do Cloud Dataplex. Clique em Aplicar.
Clique no menu Nome do registro.
No campo Pesquisar nomes de log, digite
dataplex.googleapis.com%2Fprocess
Selecione process e clique Aplicar.Opcional: adicione os seguintes filtros à consulta de registro para filtrar os registros de uma tarefa específica:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.task_id="TASK_ID"
Clique em Executar consulta.
gcloud
Para ler as entradas de registro do processo, use o
Comando gcloud logging read
pela seguinte consulta:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/Task" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND resource.labels.location=LOCATION AND resource.labels.lake_id=LAKE_ID AND resource.labels.task_id=TASK_ID' --limit 10
REST
Para listar entradas de registro, use o
método entries.list
.
A seguir
- Saiba mais sobre o Cloud Logging.
- Saiba mais sobre o monitoramento do Dataplex.