Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Cette page explique comment gérer la base de données Airflow dans votre environnement.
Nettoyage automatique de la base de données avec une règle de conservation de la base de données
Vous pouvez configurer le nettoyage automatique des bases de données pour votre environnement Cloud Composer 3 en définissant une règle de conservation des bases de données. Une fois cette règle configurée, les enregistrements datant de plus d'une certaine période sont automatiquement supprimés de la base de données Airflow chaque jour. Pour en savoir plus, consultez la section Configurer la règle de conservation des données de base de données.
Procédures de nettoyage obsolètes
Avant que la règle de conservation des bases de données ne soit disponible dans Cloud Composer, nous recommandions une approche différente pour automatiser le nettoyage des bases de données, via un DAG de nettoyage des bases de données. Cette approche est obsolète dans Cloud Composer 3. Ce DAG effectue un travail redondant. Vous pouvez réduire la consommation de ressources en le supprimant et en le remplaçant par une règle de conservation de la base de données.
Limites de taille de la base de données
Au fil du temps, la base de données Airflow de votre environnement stocke de plus en plus de données. Ces données incluent des informations et des journaux liés aux exécutions DAG, aux tâches et aux autres opérations Airflow passées.
Si la taille de la base de données Airflow est supérieure à 20 Go, vous ne pouvez pas mettre à niveau votre environnement vers une version ultérieure.
Si la taille de la base de données Airflow est supérieure à 20 Go, il est impossible de créer des instantanés.
Maintenir les performances de la base de données
Les problèmes de performances de la base de données Airflow peuvent entraîner des problèmes d'exécution globale du DAG. Observez les statistiques sur l'utilisation du processeur et de la mémoire de la base de données. Si l'utilisation du processeur et de la mémoire approche des limites, la base de données est surchargée et nécessite un scaling. La quantité de ressources disponibles pour la base de données Airflow est contrôlée par la propriété de taille d'environnement de votre environnement. Pour effectuer un scaling de la base de données à la hausse, modifiez la taille de l'environnement pour choisir un niveau supérieur. L'augmentation de la taille de l'environnement augmente les coûts associés à votre environnement.
Si vous utilisez le mécanisme XCom pour transférer des fichiers, assurez-vous de l'utiliser conformément aux consignes d'Airflow. Le transfert de fichiers volumineux ou d'un grand nombre de fichiers à l'aide de XCom a un impact sur les performances de la base de données Airflow et peut entraîner des échecs lors du chargement d'instantanés ou de la mise à niveau de votre environnement. Pensez à utiliser des solutions alternatives telles que Cloud Storage pour transférer de grands volumes de données.
Supprimer les entrées des DAG inutilisés
Vous pouvez supprimer les entrées de base de données des DAG inutilisés en supprimant les DAG de l'UI d'Airflow.
Étape suivante
- Configurer la règle de conservation des données de la base de données
- Accéder à l'interface de ligne de commande Airflow