Résoudre les problèmes liés à Cloud Data Fusion

Cette page explique comment résoudre les problèmes liés à Cloud Data Fusion.

Récupérer des informations d'erreur pour une exécution de pipeline ayant échoué

Lorsqu'une exécution de pipeline échoue, vous pouvez récupérer des informations détaillées sur l'erreur. Cloud Data Fusion 6.11.0 classe les erreurs de pipeline par catégorie, raison et message. Cette classification accélère la résolution et réduit le besoin d'examiner des journaux complexes.

Pour obtenir des informations sur l'erreur, procédez comme suit:

Console

  1. Dans la console Google Cloud, ouvrez votre instance Cloud Data Fusion, puis accédez à votre pipeline sur la page Studio.

  2. Sur le nœud où l'erreur s'est produite, cliquez sur Afficher les erreurs.

  3. Examinez les détails de l'erreur, y compris la catégorie, la raison et le message d'erreur.

  4. Facultatif: Pour télécharger les journaux bruts à des fins d'analyse, cliquez sur Télécharger les journaux bruts.

  5. Facultatif: Pour afficher les journaux bruts, cliquez sur Afficher les journaux.

REST

Envoyez une requête POST au point de terminaison suivant:

 curl -H "Authorization: Bearer $(gcloud auth print-access-token)"
 -H "Content-Type: application/json" 
 ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps/PIPELINE_NAME/workflows/DataPipelineWorkflow/runs/RUN_ID/classify -X POST

Remplacez les éléments suivants :

  • NAMESPACE_ID: ID de l'espace de noms
  • PIPELINE_NAME: nom du pipeline
  • RUN_ID: ID d'exécution du pipeline

Voici un exemple de réponse en cas d'erreur de plug-in:

 [
    {
       "stageName": "Stage Name",
       "errorCategory": "Plugin-x",
       "errorReason": "Input path gs://x does not exist",
       "errorMessage": "Input path gs://x does not exist",
       "errorType": "SYSTEM/USER/UNKNOWN",
       "dependency": "true/false"
    }
 ]
 ```
You can also [view advanced logs for your pipelines](/data-fusion/docs/how-to/viewing-stackdriver-logs).

Résoudre les problèmes liés à la création d'une instance Cloud Data Fusion

Lorsque vous créez une instance Cloud Data Fusion, vous pouvez rencontrer le problème suivant:

Read access to project PROJECT_ID was denied.

Pour résoudre ce problème, désactivez et réactivez l'API Cloud Data Fusion, puis créez l'instance.