Resolver problemas do Cloud Data Fusion

Nesta página, você verá como resolver problemas com o Cloud Data Fusion.

Extrair informações de erro de uma execução de pipeline com falha

Quando uma execução de pipeline falha, é possível recuperar informações detalhadas sobre o erro. O Cloud Data Fusion 6.11.0 classifica os erros do pipeline por categoria, motivo e mensagem. Essa classificação acelera a resolução e reduz a necessidade de examinar registros complexos.

Para conferir os detalhes do erro, siga estas etapas:

Console

  1. No console do Google Cloud, abra a instância do Cloud Data Fusion e acesse o pipeline na página Studio.

  2. No nó em que o erro ocorreu, clique em Ver erros.

  3. Revise os detalhes do erro, que incluem a categoria, o motivo e a mensagem.

  4. Opcional: para fazer o download de registros brutos para análise posterior, clique em Fazer o download de registros brutos.

  5. Opcional: para conferir os registros brutos, clique em Mostrar registros.

REST

Envie uma solicitação POST para o seguinte endpoint:

 curl -H "Authorization: Bearer $(gcloud auth print-access-token)"
 -H "Content-Type: application/json" 
 ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps/PIPELINE_NAME/workflows/DataPipelineWorkflow/runs/RUN_ID/classify -X POST

Substitua:

  • NAMESPACE_ID: o ID do namespace
  • PIPELINE_NAME: o nome do pipeline
  • RUN_ID: o ID da execução do pipeline

Confira a seguir um exemplo de resposta para um erro de plug-in:

 [
    {
       "stageName": "Stage Name",
       "errorCategory": "Plugin-x",
       "errorReason": "Input path gs://x does not exist",
       "errorMessage": "Input path gs://x does not exist",
       "errorType": "SYSTEM/USER/UNKNOWN",
       "dependency": "true/false"
    }
 ]
 ```
You can also [view advanced logs for your pipelines](/data-fusion/docs/how-to/viewing-stackdriver-logs).

Resolver problemas com a criação de instâncias do Cloud Data Fusion

Ao criar uma instância do Cloud Data Fusion, você pode encontrar o seguinte problema:

Read access to project PROJECT_ID was denied.

Para resolver esse problema, desative e reative a API Cloud Data Fusion e crie a instância.