Pada 15 September 2026, semua lingkungan Cloud Composer 1 dan Cloud Composer 2 versi 2.0.x akan mencapai akhir masa pakainya yang direncanakan, dan Anda tidak akan dapat menggunakannya. Sebaiknya rencanakan migrasi ke Cloud Composer 3.
Cloud Composer menyinkronkan folder tertentu di bucket lingkungan Anda ke komponen Airflow yang berjalan di lingkungan Anda. Lihat Data yang disimpan di Cloud Storage untuk mengetahui informasi selengkapnya. Halaman ini membahas masalah yang dapat mengganggu proses sinkronisasi dan cara memecahkan masalah tersebut.
Masalah Umum
Bagian berikut menjelaskan gejala dan kemungkinan perbaikan untuk beberapa masalah sinkronisasi file umum.
Menangani sejumlah besar DAG dan plugin di folder DAG dan plugin
Isi folder /dags dan /plugins disinkronkan dari bucket lingkungan Anda ke sistem file lokal pekerja dan penjadwal Airflow.
Makin banyak data yang disimpan di folder ini, makin lama waktu yang diperlukan untuk melakukan sinkronisasi. Untuk mengatasi situasi tersebut:
Batasi jumlah file di folder /dags dan /plugins. Simpan hanya
file minimum yang diperlukan.
Tingkatkan ruang disk yang tersedia untuk scheduler dan pekerja Airflow.
Tingkatkan CPU dan memori penjadwal dan pekerja Airflow, sehingga operasi sinkronisasi dilakukan lebih cepat.
Jika jumlah DAG sangat banyak, bagi DAG menjadi beberapa batch, kompresi
DAG ke dalam arsip zip, lalu deploy arsip ini ke folder /dags.
Pendekatan ini mempercepat proses sinkronisasi DAG. Komponen Airflow
mengekstrak arsip ZIP sebelum memproses DAG.
Membuat DAG secara terprogram juga dapat menjadi metode untuk membatasi jumlah file DAG yang disimpan di folder /dags.
Lihat bagian DAG Terprogram di halaman Pemecahan Masalah DAG untuk menghindari masalah terkait penjadwalan dan eksekusi DAG yang dibuat secara terprogram.
Anti-pola yang memengaruhi sinkronisasi DAG dan plugin ke scheduler, worker, dan server web
Cloud Composer menyinkronkan konten folder /dags dan /plugins ke scheduler dan worker. Objek tertentu di folder /dags dan /plugins
dapat mencegah sinkronisasi ini berfungsi dengan benar atau memperlambatnya.
Folder /dags disinkronkan ke penjadwal dan pekerja.
Folder ini tidak disinkronkan ke server web.
Folder /plugins disinkronkan ke scheduler, worker, dan server web.
Anda mungkin mengalami masalah berikut:
Anda mengupload file yang dikompresi dengan gzip yang menggunakan
[transcoding kompresi][transcoding penyimpanan] ke folder /dags dan /plugins. Hal ini biasanya terjadi jika Anda menggunakan tanda --gzip-local-all dalam perintah
gcloud storage cp untuk mengupload data ke bucket.
Solusi: Hapus objek yang menggunakan transkode kompresi dan upload ulang ke bucket.
Salah satu objek diberi nama '.'—objek tersebut tidak disinkronkan ke
penjadwal dan pekerja, dan mungkin berhenti disinkronkan sama sekali.
Solusi: Ganti nama objek.
Folder dan file Python DAG memiliki nama yang sama, misalnya a.py.
Dalam hal ini, file DAG tidak disinkronkan dengan benar ke komponen Airflow.
Solusi: Hapus folder yang memiliki nama yang sama dengan file Python DAG.
Salah satu objek di folder /dags atau /plugins berisi simbol /
di akhir nama objek. Objek tersebut dapat mengganggu proses sinkronisasi karena simbol / berarti bahwa objek adalah folder, bukan file.
Solusi: Hapus simbol / dari nama objek yang bermasalah.
Jangan menyimpan file yang tidak perlu di folder /dags dan /plugins.
Terkadang DAG dan plugin yang Anda terapkan dilengkapi dengan file tambahan,
seperti file yang menyimpan pengujian untuk komponen ini. File ini disinkronkan ke pekerja dan penjadwal serta memengaruhi waktu yang diperlukan untuk menyalin file ini ke penjadwal, pekerja, dan server web.
Solusi: Jangan menyimpan file tambahan yang tidak perlu di folder /dags dan /plugins.
Error Done [Errno 21] Is a directory: '/home/airflow/gcs/dags/...' dihasilkan oleh scheduler dan worker
Masalah ini terjadi karena objek dapat memiliki
namespace yang tumpang-tindih di Cloud Storage, sementara pada saat yang sama
scheduler dan pekerja menggunakan sistem file Linux konvensional. Misalnya, Anda dapat menambahkan folder dan objek dengan nama yang sama ke bucket lingkungan. Saat bucket disinkronkan ke scheduler dan worker lingkungan,
error ini akan muncul, yang dapat menyebabkan kegagalan tugas.
Untuk memperbaiki masalah ini, pastikan tidak ada namespace yang tumpang-tindih di bucket lingkungan. Misalnya, jika /dags/misc (satu file) dan
/dags/misc/example_file.txt (file lain) berada dalam bucket, error akan
dibuat oleh penjadwal.
[[["Mudah dipahami","easyToUnderstand","thumb-up"],["Memecahkan masalah saya","solvedMyProblem","thumb-up"],["Lainnya","otherUp","thumb-up"]],[["Sulit dipahami","hardToUnderstand","thumb-down"],["Informasi atau kode contoh salah","incorrectInformationOrSampleCode","thumb-down"],["Informasi/contoh yang saya butuhkan tidak ada","missingTheInformationSamplesINeed","thumb-down"],["Masalah terjemahan","translationIssue","thumb-down"],["Lainnya","otherDown","thumb-down"]],["Terakhir diperbarui pada 2025-09-03 UTC."],[],[],null,["# Troubleshooting file synchronization issues\n\n\u003cbr /\u003e\n\n\u003cbr /\u003e\n\n\n**Cloud Composer 3** \\| [Cloud Composer 2](/composer/docs/composer-2/troubleshooting-cloud-storage \"View this page for Cloud Composer 2\") \\| Cloud Composer 1\n\n\u003cbr /\u003e\n\n\u003cbr /\u003e\n\n\u003cbr /\u003e\n\n\u003cbr /\u003e\n\n\u003cbr /\u003e\n\n\u003cbr /\u003e\n\nCloud Composer synchronizes specific folders in your environment's bucket to Airflow components that run in your environment. See [Data stored in Cloud Storage](/composer/docs/composer-3/cloud-storage) for more information. This page refers to issues that could disrupt the synchronization process and how to troubleshoot them.\n\nCommon Issues\n-------------\n\nThe following sections describe symptoms and potential fixes for some common file synchronization issues.\n\n### Handling a large number of DAGs and plugins in dags and plugins folders\n\nContents of `/dags` and `/plugins` folders are synchronized from\nyour environment's bucket to local file systems of Airflow workers and\nschedulers.\n\nThe more data stored in these folders, the longer it takes to perform the\nsynchronization. To address such situations:\n\n- Limit the number of files in `/dags` and `/plugins` folders. Store only the\n minimum of required files.\n\n- Increase the disk space available to Airflow schedulers and workers.\n\n- Increase CPU and memory of Airflow schedulers and workers, so\n that the sync operation is performed faster.\n\n- In case of a very large number of DAGs, divide DAGs into batches, compress\n them into zip archives and deploy these archives into the `/dags` folder.\n This approach speeds up the DAGs syncing process. Airflow components\n extract zip archives before processing DAGs.\n\n- Generating DAGs in a programmatic way might also be a method for limiting\n the number of DAG files stored in the `/dags` folder.\n See the **Programmatic DAGs** section in the [DAGs Troubleshooting page](/composer/docs/composer-3/troubleshooting-dags#programmatic-dags) to avoid\n problems with scheduling and executing DAGs generated programmatically.\n\n### Anti-patterns impacting DAGs and plugins syncing to schedulers, workers and web servers\n\nCloud Composer synchronizes the content of `/dags` and `/plugins`\nfolders to schedulers and workers. Certain objects in `/dags` and `/plugins`\nfolders might prevent this synchronization to work correctly or slow it down.\n\n- The `/dags` folder is synchronized to schedulers and workers.\n\n\n This folder is not synchronized to the web server.\n- The `/plugins` folder is synchronized to schedulers, workers and web servers.\n\nYou might encounter the following issues:\n\n- You uploaded gzip-compressed files that use\n \\[compression transcoding\\]\\[storage-transcoding\\] to `/dags` and `/plugins`\n folders. It usually happens if you use the `--gzip-local-all` flag in a\n `gcloud storage cp` command to upload data to the bucket.\n\n Solution: Delete the object that used compression transcoding and re-upload\n it to the bucket.\n- One of the objects is named '.'---such an object is not synchronized to\n schedulers and workers, and it might stop synchronizing at all.\n\n Solution: Rename the object.\n- A folder and a DAG Python file have the same names, for example `a.py`.\n In this case, the DAG file is not properly synchronized to Airflow\n components.\n\n Solution: Remove the folder that has the same name as the DAG Python file.\n- One of the objects in `/dags` or `/plugins` folders contains a `/` symbol\n at the end of the object's name. Such objects can interfere with the\n synchronization process because the `/` symbol means that an object is a\n folder, not a file.\n\n Solution: Remove the `/` symbol from the name of the problematic object.\n- Don't store unnecessary files in `/dags` and `/plugins` folders.\n\n Sometimes DAGs and plugins that you implement come with additional files,\n such as files that store tests for these components. These files are\n synchronized to workers and schedulers and impact the time needed to\n copy these files to schedulers, workers and web servers.\n\n Solution: Don't store any additional and unnecessary files in `/dags` and\n `/plugins` folders.\n\n### Done \\[Errno 21\\] Is a directory: '/home/airflow/gcs/dags/...' error is generated by schedulers and workers\n\nThis problem happens because objects can have\noverlapping namespace in Cloud Storage, while at the same time\nschedulers and workers use conventional linux file systems. For example, it is possible\nto add both a folder and an object with the same name to an environment's\nbucket. When the bucket is synced to the environment's schedulers and workers,\nthis error is generated, which can lead to task failures.\n\nTo fix this problem, make sure that there are no overlapping namespaces in the\nenvironment's bucket. For example, if both `/dags/misc` (a file) and\n`/dags/misc/example_file.txt` (another file) are in a bucket, an error is\ngenerated by the scheduler.\n\nWhat's next\n-----------\n\n- [Troubleshooting DAG Processor issues](/composer/docs/composer-3/troubleshooting-dag-processor#inspect-dag-processor-logs)\n- [Troubleshooting Airflow scheduler issues](/composer/docs/composer-3/troubleshooting-scheduling)\n- [Troubleshooting DAGs](/composer/docs/composer-3/troubleshooting-dags)"]]
