Pemicu Apache Kafka

Pemicu Apache Kafka adalah pemicu Peristiwa Konektor yang memungkinkan Anda memanggil integrasi berdasarkan peristiwa Apache Kafka yang telah Anda daftarkan di koneksi Apache Kafka.

Sebelum memulai

Jika Anda berencana membuat atau mengonfigurasi koneksi baru untuk pemicu Apache Kafka, pastikan Anda memiliki peran Identity and Access Management (IAM) berikut di project:

Connector Admin (roles/connectors.admin)

Untuk mengetahui informasi tentang cara memberikan peran, lihat Mengelola akses.

Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk pemicu Apache Kafka:

Pemanggil Integrasi Aplikasi (roles/integrations.integrationInvoker)

Untuk mengetahui informasi tentang cara memberikan peran ke akun layanan, lihat Mengelola akses ke akun layanan.

Batasan

Pemicu Apache Kafka tunduk pada batasan berikut:

Tidak mendukung protokol keamanan SASL_SSL untuk langganan peristiwa dengan truststore pribadi.
Tidak mendukung mTLS untuk langganan peristiwa.

Menambahkan pemicu Apache Kafka

Untuk menambahkan pemicu Apache Kafka ke integrasi Anda, lakukan langkah-langkah berikut:

Di konsol Google Cloud , buka halaman Application Integration.
Buka Integrasi Aplikasi
Di menu navigasi, klik Integrasi.
Halaman Integrations List akan muncul dan mencantumkan semua integrasi yang tersedia di project Google Cloud.
Pilih integrasi yang ada atau klik Buat integrasi untuk membuat integrasi baru.
Jika Anda membuat integrasi baru:
1. Masukkan nama dan deskripsi di panel Buat Integrasi.
2. Pilih region untuk integrasi.
  Catatan: Dropdown Regions hanya mencantumkan region yang disediakan di project Google Cloud Anda. Untuk menyediakan wilayah baru, Klik Aktifkan Wilayah. Lihat Mengaktifkan region baru untuk mengetahui informasi selengkapnya.
3. Pilih akun layanan untuk integrasi. Anda dapat mengubah atau memperbarui detail akun layanan integrasi kapan saja dari panel Ringkasan integrasi di toolbar integrasi.
  Catatan: Opsi untuk memilih akun layanan hanya ditampilkan jika Anda telah mengaktifkan tata kelola integrasi untuk wilayah yang dipilih.
4. Klik Buat.
Integrasi yang baru dibuat akan terbuka di editor integrasi.
Di menu navigasi editor integrasi, klik Pemicu untuk melihat daftar pemicu yang tersedia.
Klik dan tempatkan elemen pemicu Apache Kafka di editor integrasi.

Untuk mengonfigurasi pemicu Apache Kafka, Anda dapat menggunakan koneksi Apache Kafka yang ada dan tersedia di Integration Connectors, atau membuat koneksi Apache Kafka baru menggunakan opsi pembuatan koneksi inline.

Mengonfigurasi pemicu Apache Kafka menggunakan koneksi yang ada

Anda dapat mengonfigurasi pemicu Apache Kafka menggunakan koneksi Apache Kafka yang ada di Integration Connectors. Perhatikan bahwa pemicu Apache Kafka adalah pemicu Peristiwa Konektor, sehingga Anda hanya dapat menggunakan koneksi Apache Kafka dengan langganan peristiwa yang diaktifkan untuk mengonfigurasi pemicu.

Untuk mengetahui informasi tentang cara mengonfigurasi pemicu Apache Kafka menggunakan koneksi Apache Kafka baru, lihat Mengonfigurasi pemicu Apache Kafka menggunakan koneksi baru

Untuk mengonfigurasi pemicu Apache Kafka menggunakan koneksi Apache Kafka yang ada, lakukan langkah-langkah berikut:

Klik elemen pemicu Apache Kafka di editor integrasi untuk membuka panel konfigurasi pemicu.
Klik Konfigurasi pemicu.
Berikan detail konfigurasi berikut di halaman Editor Pemicu Peristiwa Konektor:
1. Region: Pilih region koneksi Apache Kafka Anda.
2. Koneksi: Pilih koneksi Apache Kafka yang ingin Anda gunakan.
  Integrasi Aplikasi hanya menampilkan koneksi Apache Kafka yang aktif dan mengaktifkan langganan peristiwa.
3. Nama topik: Masukkan nama topik.
4. ID grup konsumen: Secara opsional, masukkan ID grup konsumen yang menentukan nama grup konsumen tempat konsumen Kafka berada.
5. Partisi: Masukkan partisi jika Anda ingin berlangganan partisi tertentu. Partisi adalah cara untuk membagi topik menjadi beberapa bagian dan menyimpan setiap bagian di node yang berbeda dalam cluster.
6. Offset Awal: Pilih strategi reset offset:
  - Jika Anda memilih paling awal, koneksi Anda akan menggunakan pesan yang belum digunakan, termasuk pesan yang dibuat sebelum masa aktif grup konsumen.
  - Jika Anda memilih latest, koneksi Anda akan menggunakan pesan yang dibuat setelah grup konsumen dibuat.
7. Akun Layanan: Pilih akun layanan dengan peran IAM yang diperlukan untuk pemicu Apache Kafka.
Klik Selesai.

Mengonfigurasi pemicu Apache Kafka menggunakan koneksi baru

Untuk mengonfigurasi pemicu Apache Kafka menggunakan koneksi Apache Kafka baru, lakukan langkah-langkah berikut:

Klik elemen pemicu Apache Kafka di editor integrasi untuk membuka panel konfigurasi pemicu.
Klik Konfigurasi pemicu Apache Kafka.
Lewati kolom Region.
Klik Connection, lalu pilih opsi Create Connection dari daftar. Panel Buat Koneksi akan muncul.
Pada langkah Location, pilih lokasi untuk koneksi Apache Kafka baru:
1. Region: Pilih region dari daftar.
2. Klik Berikutnya.
Pada langkah Detail Koneksi, berikan detail tentang koneksi Apache Kafka baru:
1. Versi konektor: Pilih versi konektor Apache Kafka yang tersedia dari daftar.
2. Nama Koneksi: Masukkan nama untuk koneksi Apache Kafka.
  Catatan: Nama koneksi harus memenuhi kriteria berikut:
  - Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
  - Huruf harus berupa huruf kecil.
  - Nama koneksi harus diawali dengan huruf dan diakhiri dengan huruf atau angka.
  - Nama koneksi tidak boleh melebihi 49 karakter.
  - Untuk konektor yang mendukung langganan peristiwa, nama koneksi tidak boleh diawali dengan awalan "goog".
3. (Opsional) Deskripsi: Masukkan deskripsi untuk koneksi.
4. (Opsional) Aktifkan Cloud Logging: Centang kotak ini untuk menyimpan semua data log koneksi.
5. Akun Layanan: Pilih akun layanan dengan peran IAM yang diperlukan untuk koneksi Apache Kafka.
6. Opsi Aktifkan langganan peristiwa, entitas, dan tindakan dipilih secara default untuk koneksi Apache Kafka.
  Catatan: Konektor ini tidak mendukung opsi Enable only event subscription.
7. Skema Deteksi Jenis: Pilih MessageOnly.
8. Registry Service: Layanan Schema Registry yang digunakan untuk bekerja dengan skema topik.
9. Jenis Registry: Jenis skema yang ditentukan untuk topik tertentu.
10. Versi Registry: Versi skema yang dibaca dari RegistryUrl untuk topik yang ditentukan.
11. Pengguna Registry: Nilai Nama Pengguna atau Kunci Akses untuk memberikan otorisasi dengan server yang ditentukan dalam RegistryUrl.
12. Registry Password: Secret Manager Secret yang berisi nilai Kunci sandi/rahasia untuk memberikan otorisasi dengan server yang ditentukan dalam RegistryUrl.
13. Jika perlu, konfigurasikan Setelan node koneksi:
  - Jumlah minimum node: Masukkan jumlah minimum node koneksi.
  - Jumlah node maksimum: Masukkan jumlah maksimum node koneksi.
  Node adalah unit (atau replika) koneksi yang memproses transaksi. Jumlah node yang diperlukan untuk memproses lebih banyak transaksi untuk suatu koneksi akan bertambah dan sebaliknya, jumlah node yang diperlukan untuk memproses lebih sedikit transaksi akan berkurang. Untuk memahami pengaruh node terhadap harga konektor, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.
14. Secara opsional, klik + TAMBAHKAN LABEL untuk menambahkan label ke Koneksi dalam bentuk pasangan kunci dan nilai.
15. Aktifkan SSL: Kolom ini menentukan apakah SSL diaktifkan.
16. Klik Berikutnya.
Di bagian Tujuan, masukkan detail server bootstrap Kafka yang ingin Anda hubungkan.
1. Jenis Tujuan: Pilih Jenis Tujuan.
  - Untuk menentukan nama host atau alamat IP tujuan, pilih Alamat host dan masukkan alamat di kolom Host 1.
  - Untuk membuat koneksi pribadi, pilih Endpoint attachment dan pilih lampiran yang diperlukan dari daftar Endpoint Attachment.
    Catatan: Untuk memahami cara membuat lampiran endpoint, lihat Lampiran layanan PSC dan lampiran endpoint. Setelah Anda membuat lampiran endpoint, lampiran tersebut akan terlihat dalam daftar Lampiran Endpoint.
  Jika ingin membuat koneksi publik ke sistem backend dengan keamanan tambahan, Anda dapat mempertimbangkan mengonfigurasi alamat IP keluar statis untuk koneksi Anda, lalu mengonfigurasi aturan firewall untuk hanya mengizinkan alamat IP statis tertentu.
  
  Untuk menentukan server bootstrap Kafka tambahan, klik + TAMBAHKAN TUJUAN.
2. Klik Berikutnya.
Di bagian Authentication, masukkan detail autentikasi.
1. Pilih Jenis autentikasi dan masukkan detail yang relevan.
  Jenis autentikasi berikut didukung oleh koneksi Apache Kafka:
  - Nama pengguna dan sandi
    - Nama pengguna: Nama pengguna Apache Kafka yang akan digunakan untuk koneksi.
    - Sandi: Secret Manager Secret yang berisi sandi yang terkait dengan nama pengguna Apache Kafka.
    - Skema Auth: Skema yang digunakan untuk autentikasi.
      Skema Auth berikut didukung oleh koneksi Apache Kafka:
      - Polos
      - SCRAM-SHA-1
      - SCRAM-SHA-256
  - Tidak Tersedia
    Jika Anda ingin menggunakan login anonim, pilih Tidak Tersedia.
2. Klik Berikutnya.
Masukkan konfigurasi pesan yang dihentikan pengirimannya. Jika Anda mengonfigurasi pesan yang dihentikan pengirimannya, koneksi akan menulis peristiwa yang belum diproses ke topik Pub/Sub yang ditentukan. Masukkan detail berikut:
1. Project ID pesan yang tidak terkirim: Project ID Google Cloud tempat Anda mengonfigurasi topik Pub/Sub pesan yang tidak terkirim.
2. Topik yang dihentikan pengirimannya: Topik Pub/Sub tempat Anda ingin menulis detail peristiwa yang belum diproses.
Klik Berikutnya.
Tinjau: Tinjau detail koneksi dan autentikasi Anda.
Klik Buat.

Output pemicu

Pemicu Apache Kafka memerlukan waktu beberapa menit untuk menyelesaikan konfigurasi langganan peristiwa. Anda dapat melihat status langganan acara di panel konfigurasi pemicu pada bagian Detail Langganan Acara.

Pemicu Apache Kafka menunjukkan status langganan peristiwa menggunakan status berikut:

Creating: Menunjukkan bahwa pemicu berlangganan ke langganan peristiwa.
Active: Menunjukkan bahwa pemicu berhasil berlangganan langganan peristiwa.
Error: Menunjukkan bahwa ada masalah dengan langganan peristiwa yang dikonfigurasi.

Selain status langganan peristiwa, bagian Detail Langganan Peristiwa juga menampilkan detail lain seperti wilayah koneksi, nama koneksi, dan nama langganan peristiwa.

Variabel output pemicu

Untuk setiap peristiwa, pemicu Apache Kafka menghasilkan variabel output ConnectorEventPayload (dalam format JSON) yang dapat Anda gunakan dalam tugas hilir. Variabel output akan memiliki payload dari peristiwa Apache Kafka Anda. Contoh:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Melihat langganan acara

Untuk melihat dan mengelola semua langganan peristiwa yang terkait dengan koneksi di Integration Connectors, lakukan hal berikut:

Buka halaman Integration Connectors > Connections.
Buka halaman Koneksi
Klik koneksi yang langganannya ingin Anda lihat.
Klik tab Langganan acara.
Tindakan ini akan menampilkan semua langganan peristiwa untuk koneksi.

Mengedit pemicu Apache Kafka

Anda dapat mengedit pemicu Apache Kafka untuk mengubah atau memperbarui konfigurasi koneksi dan detail langganan peristiwa.

Untuk mengedit pemicu Apache Kafka, lakukan langkah-langkah berikut:

Klik elemen pemicu Apache Kafka di editor integrasi untuk membuka panel konfigurasi pemicu.
Klik Konfigurasi pemicu Apache Kafka.
Lakukan tindakan berikut di halaman Editor Pemicu Peristiwa Konektor:
1. Untuk mempertahankan langganan peristiwa yang dikonfigurasi sebelumnya, klik Pertahankan, atau klik Hapus.
  Peringatan: Menghapus langganan peristiwa akan memengaruhi semua integrasi yang dipublikasikan menggunakan langganan peristiwa tersebut. Tugas ini tidak dapat diurungkan.
2. Perbarui konfigurasi koneksi dan detail langganan peristiwa sesuai keinginan.
3. Klik Selesai.

Anda dapat melihat detail koneksi dan langganan peristiwa yang diperbarui di panel konfigurasi pemicu pada bagian Detail Langganan Peristiwa.

Kuota dan batas

Untuk mengetahui informasi tentang kuota dan batas, lihat Kuota dan batas.

Langkah berikutnya

Pelajari semua tugas dan pemicu.
Pelajari cara menguji dan memublikasikan integrasi .

Pelajari penanganan error.
Pelajari log eksekusi integrasi.