Planifier des DAG Airflow

Ce document explique comment planifier des DAG (graphes orientés acycliques) Airflow à partir de Cloud Composer 3 sur la page Planification de BigQuery. Il explique également comment déclencher des DAG manuellement et comment afficher l'historique et les journaux des exécutions de DAG passées.

À propos de la gestion des DAG Airflow dans BigQuery

La page Planification de BigQuery fournit des outils permettant de planifier les DAG Airflow qui s'exécutent dans vos environnements Cloud Composer 3.

Les DAG Airflow que vous planifiez dans BigQuery sont exécutés dans un ou plusieurs environnements Cloud Composer de votre projet. La page Planification de BigQuery combine les informations de tous les DAG Airflow de votre projet.

Lors d'une exécution de DAG, Airflow planifie et exécute les tâches individuelles qui composent un DAG dans une séquence définie par le DAG. Sur la page Planification de BigQuery, vous pouvez afficher l'état des exécutions de DAG passées, explorer les journaux détaillés de toutes les exécutions de DAG et de toutes les tâches de ces exécutions de DAG, et afficher des informations sur les DAG.

Pour en savoir plus sur les concepts fondamentaux d'Airflow, tels que les DAG Airflow, les exécutions de DAG, les tâches ou les opérateurs, consultez la page Concepts fondamentaux de la documentation Airflow.

Pour en savoir plus sur les environnements Cloud Composer, consultez la page Présentation de Cloud Composer 3 dans la documentation Cloud Composer.

Avant de commencer

  1. Enable the Cloud Composer API.

    Enable the API

  2. Assurez-vous que votre projet Google Cloud contient au moins un environnement Cloud Composer 3, avec au moins un fichier DAG déjà importé :

Autorisations requises

Pour obtenir les autorisations nécessaires pour planifier des DAG Airflow, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour planifier des DAG Airflow. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour planifier des DAG Airflow :

  • Pour afficher les DAG Airflow et leurs détails : composers.dags.list, composer.environments.list
  • Pour déclencher et suspendre des DAG Airflow : composers.dags.list, composer.environments.list, composer.dags.execute

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur Cloud Composer 3 IAM, consultez Contrôle des accès avec IAM dans la documentation Cloud Composer.

Déclencher manuellement un DAG Airflow

Lorsque vous déclenchez manuellement un DAG Airflow, Airflow exécute le DAG une seule fois, indépendamment de la planification spécifiée pour le DAG.

Pour déclencher manuellement un DAG Airflow sélectionné, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Planification.

    Accéder à la page Planification

  2. Effectuez l'une des opérations suivantes :

    • Cliquez sur le nom du DAG sélectionné, puis sur Déclencher le DAG sur la page Informations sur le DAG.

    • Sur la ligne contenant le DAG sélectionné, cliquez sur Afficher les actions dans la colonne Actions, puis cliquez sur Déclencher le DAG.

Afficher les journaux et les détails d'exécution des DAG Airflow

Pour afficher les détails d'un DAG Airflow sélectionné, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Planification.

    Accéder à la page Planification

  2. Cliquez sur le nom du DAG sélectionné.

  3. Sur la page Détails du DAG, sélectionnez l'onglet Détails.

  4. Pour afficher les exécutions de DAG précédentes, sélectionnez l'onglet Exécutions.

    1. Facultatif : L'onglet Exécutions affiche par défaut les exécutions de DAG des 10 derniers jours. Pour filtrer les exécutions de DAG selon une autre période, sélectionnez une période dans le menu déroulant 10 jours, puis cliquez sur OK.

    2. Facultatif : Pour afficher des colonnes supplémentaires avec des détails sur les exécutions de DAG dans la liste de toutes les exécutions de DAG, cliquez sur Options d'affichage des colonnes, puis sélectionnez les colonnes et cliquez sur OK.

    3. Pour afficher les détails et les journaux d'une exécution de DAG sélectionnée, sélectionnez-la.

  5. Pour afficher une visualisation du DAG avec les dépendances des tâches, sélectionnez l'onglet Diagramme.

    1. Pour afficher les détails d'une tâche, sélectionnez-la dans le diagramme.

  6. Pour afficher le code source du DAG, sélectionnez l'onglet Code.

  7. Facultatif : Pour actualiser les données affichées, cliquez sur Actualiser.

Afficher tous les DAG Airflow

Pour afficher les DAG Airflow de tous les environnements Cloud Composer 3 de votre projetGoogle Cloud , procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Planification.

    Accéder à la page Planification

  2. Facultatif : Pour afficher des colonnes supplémentaires avec des informations sur le DAG, cliquez sur Options d'affichage des colonnes, puis sélectionnez les colonnes et cliquez sur OK.

Suspendre un DAG Airflow

Pour mettre en veille un DAG Airflow sélectionné, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Planification.

    Accéder à la page Planification

  2. Effectuez l'une des opérations suivantes :

    • Cliquez sur le nom du DAG sélectionné, puis sur Suspendre le DAG sur la page Détails du DAG.

    • Sur la ligne contenant le DAG sélectionné, cliquez sur Afficher les actions dans la colonne Actions, puis sur Mettre en veille le DAG.

Dépannage

Pour savoir comment résoudre les problèmes liés aux DAG Airflow, consultez Résoudre les problèmes liés aux DAG Airflow dans la documentation Cloud Composer.

Étapes suivantes