Airflow 데이터베이스 삭제

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

이 페이지에서는 환경의 Airflow 데이터베이스를 유지보수하는 방법을 설명합니다.

데이터베이스 보관 정책을 사용한 자동 데이터베이스 정리

데이터베이스 보존 정책을 설정하여 Cloud Composer 3 환경에 자동 데이터베이스 정리를 구성할 수 있습니다. 이 정책을 설정하면 일정 기간이 지난 레코드는 매일 Airflow 데이터베이스에서 자동으로 삭제됩니다. 자세한 내용은 데이터베이스 보관 정책 구성을 참고하세요.

지원 중단된 정리 절차

Cloud Composer에서 데이터베이스 보관 정책을 사용할 수 있게 되기 전에는 데이터베이스 정리 DAG를 통해 데이터베이스 정리를 자동화하는 다른 접근 방식을 권장했습니다. 이 접근 방식은 Cloud Composer 3에서는 더 이상 사용되지 않습니다. 이 DAG는 중복 작업을 실행하므로 이를 삭제하고 데이터베이스 보관 정책으로 대체하여 리소스 사용량을 줄일 수 있습니다.

데이터베이스 크기 제한

시간이 지남에 따라 환경의 Airflow 데이터베이스에는 더 많은 데이터가 저장됩니다. 이 데이터에는 과거 DAG 실행, 태스크, 기타 Airflow 작업과 관련된 정보 및 로그가 포함됩니다.

  • Airflow 데이터베이스 크기가 20GB를 초과하면 환경을 이후 버전으로 업그레이드할 수 없습니다.

  • Airflow 데이터베이스 크기가 20GB를 초과하면 스냅샷을 만들 수 없습니다.

데이터베이스 성능 유지

  • Airflow 데이터베이스 성능 문제로 인해 전체 DAG 실행 문제가 발생할 수 있습니다. 데이터베이스 CPU 및 메모리 사용량 통계를 관찰합니다. CPU 및 메모리 사용률이 한도에 가까워지면 데이터베이스에 과부하가 발생하므로 확장해야 합니다. Airflow 데이터베이스에 사용할 수 있는 리소스 양은 환경의 환경 크기 속성에 따라 제어됩니다. 데이터베이스를 확장하려면 환경 크기를 더 큰 등급으로 변경하세요. 환경 크기를 늘리면 환경의 비용이 증가합니다.

  • XCom 메커니즘을 사용하여 파일을 전송하는 경우 Airflow 가이드라인에 따라 사용해야 합니다. XCom을 사용하여 큰 파일이나 다수의 파일을 전송하면 Airflow 데이터베이스 성능이 영향을 받고 스냅샷을 로드하거나 환경을 업그레이드할 때 오류가 발생할 수 있습니다. 대용량 데이터를 전송하려면 Cloud Storage와 같은 대안을 사용하는 것이 좋습니다.

사용하지 않는 DAG의 항목 삭제

Airflow UI에서 DAG를 삭제하여 사용하지 않는 DAG의 데이터베이스 항목을 삭제할 수 있습니다.

다음 단계