Cloud Composer 1 è in modalità post-manutenzione. Google non rilascia ulteriori aggiornamenti a Cloud Composer 1, incluse nuove versioni di Airflow, correzioni di bug e aggiornamenti della sicurezza. Ti consigliamo di pianificare la migrazione a Cloud Composer 2.

Questa pagina è stata tradotta dall'API Cloud Translation.

Pulizia del database Airflow
Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Questa pagina spiega come gestire il database Airflow nel tuo ambiente.

Pulizia automatica del database con una policy di conservazione del database

Puoi configurare la pulizia automatica del database per il tuo ambiente Cloud Composer 3 impostando un criterio di conservazione del database. Dopo aver configurato questo piano, i record precedenti a un determinato periodo vengono rimossi automaticamente ogni giorno dal database Airflow. Per ulteriori informazioni, consulta la pagina sulla configurazione del criterio di conservazione del database.

Procedure di pulizia ritirate

Prima che il criterio di conservazione del database diventasse disponibile in Cloud Composer, consigliavamo un approccio diverso per automatizzare la pulizia del database tramite un DAG di pulizia del database. Questo approccio è obsoleto in Cloud Composer 3. Questo DAG esegue un'operazione ridondante e puoi ridurre il consumo di risorse rimuovendolo e sostituendolo con un criterio di conservazione del database.

Limiti per le dimensioni del database

Con il passare del tempo, il database Airflow del tuo ambiente archivia sempre più dati. Questi dati includono informazioni e log relativi a esecuzioni DAG, attività e altre operazioni Airflow passate.

Se le dimensioni del database Airflow superano i 20 GB, non puoi eseguire l'upgrade dell'ambiente a una versione successiva.
Se le dimensioni del database Airflow sono superiori a 20 GB, non è possibile creare snapshot.

Mantenere le prestazioni del database

I problemi di prestazioni del database Airflow possono causare problemi di esecuzione complessiva dei DAG. Osserva le statistiche sull'utilizzo di CPU e memoria del database. Se l'utilizzo della CPU e della memoria si avvicina ai limiti, il database è sovraccaricato e richiede lo scaling. La quantità di risorse disponibili per il database Airflow è controllata dalla proprietà dimensione dell'ambiente. Per eseguire lo scaling del database verso l'alto, modifica le dimensioni dell'ambiente impostandole su un livello più grande. L'aumento delle dimensioni dell'ambiente ne aumenta i costi.
Se utilizzi il meccanismo XCom per trasferire i file, assicurati di utilizzarlo in base alle linee guida di Airflow. Il trasferimento di file di grandi dimensioni o di un numero elevato di file utilizzando XCom influisce sul rendimento del database Airflow e può causare errori durante il caricamento degli snapshot o l'upgrade dell'ambiente. Valuta la possibilità di utilizzare alternative come Cloud Storage per trasferire grandi volumi di dati.

Rimuovere le voci per i DAG inutilizzati

Puoi rimuovere le voci del database per i DAG inutilizzati rimuovendo i DAG dall'interfaccia utente di Airflow.