Alur Kerja dan Cloud Composer dapat digunakan untuk orkestrasi layanan guna menggabungkan layanan untuk menerapkan fungsi aplikasi atau melakukan pemrosesan data. Meskipun secara konsep mirip, masing-masing dirancang untuk kumpulan kasus penggunaan yang berbeda. Halaman ini membantu Anda memilih produk yang tepat untuk kasus penggunaan Anda.
Perbedaan utama
Perbedaan inti antara Workflows dan Cloud Composer adalah jenis arsitektur yang didukung oleh setiap produk.
Workflows mengatur beberapa layanan berbasis HTTP ke dalam alur kerja yang tahan lama dan memiliki status. Layanan ini memiliki latensi rendah dan dapat menangani eksekusi dalam jumlah yang besar. Layanan ini juga sepenuhnya serverless.
Alur kerja sangat cocok untuk merangkai microservice, mengotomatiskan tugas infrastruktur seperti memulai atau menghentikan VM, dan berintegrasi dengan sistem eksternal. Konektor alur kerja juga mendukung urutan operasi sederhana di layanan Google Cloud seperti Cloud Storage dan BigQuery.
Cloud Composer dirancang untuk mengatur alur kerja berbasis data (terutama ETL/ELT). Cloud Composer dibuat berdasarkan project Apache Airflow, tetapi dikelola sepenuhnya. Cloud Composer mendukung pipeline Anda di mana pun, termasuk di infrastruktur lokal atau di beberapa platform cloud. Semua logika di Cloud Composer, termasuk tugas dan penjadwalan, dinyatakan dalam Python sebagai file definisi Directed Acyclic Graph (DAG).
Cloud Composer paling cocok untuk workload batch yang dapat menangani latensi beberapa detik antara eksekusi tugas. Anda dapat menggunakan Cloud Composer untuk mengorkestrasi layanan di pipeline data, seperti memicu tugas di BigQuery atau memulai pipeline Dataflow. Anda dapat menggunakan operator yang sudah ada untuk berkomunikasi dengan berbagai layanan, dan ada lebih dari 150 operator untuk Google Cloud saja.
Perbandingan fitur mendetail
| Fitur | Workflows | Cloud Composer |
|---|---|---|
| Sintaks | Sintaksis alur kerja dalam format YAML atau JSON | Python |
| Model status | Kontrol alur imperatif | DAG deklaratif dengan resolusi dependensi otomatis |
| Integrasi | Permintaan HTTP dan konektor | Operator dan Sensor Airflow |
| Meneruskan data antar-langkah | 512 KB untuk variabel | 48 KB1 untuk XCom |
| Pemicu dan penjadwalan eksekusi | gcloud CLI, Google Cloud konsol, Workflows API, library klien Workflows, Cloud Scheduler | Jadwal seperti Cron dalam file definisi DAG, Sensor Airflow |
| Pola asinkron |
|
Polling |
| Eksekusi paralel | Eksekusi serentak alur kerja yang sama atau dalam alur kerja menggunakan langkah paralel | Otomatis berdasarkan dependensi |
| Latensi eksekusi | Milidetik | Detik |
| Berdasarkan open source | Tidak | Ya (Apache Airflow) |
| Model penskalaan | Tanpa server (diskalakan sesuai permintaan dan diturunkan hingga nol) | Disediakan |
| Model penagihan | Berbasis penggunaan (per langkah yang dijalankan) | Berdasarkan kapasitas yang disediakan |
| Fitur pemrosesan data | Tidak | Pengisian ulang, kemampuan untuk menjalankan ulang DAG |
-
Kode sumber untuk airflow.models.xcom. Dokumentasi Apache Airflow. 2 Agustus 2021. ↩