Halaman ini diterjemahkan oleh Cloud Translation API.

Apache Kafka

Gunakan konektor Kafka untuk berintegrasi dengan Apache Kafka dan memublikasikan pesan ke topik tertentu. Konektor Kafka juga mendukung langganan peristiwa, yang memungkinkan pembuatan pemicu saat pesan diterima dalam topik.

Versi yang didukung

Konektor Apache Kafka memanfaatkan library klien native untuk membuat koneksi ke cluster Kafka tertentu, dan konektor ini berfungsi dengan klien versi 3.3.1. Namun, konektor dapat membuat konektivitas ke cluster Kafka dari versi 3.0 hingga 3.3.1.

Sebelum memulai

Sebelum menggunakan konektor Apache Kafka, lakukan tugas berikut:

Di project Google Cloud Anda:
- Pastikan konektivitas jaringan telah disiapkan. Untuk mengetahui informasi tentang pola jaringan, lihat Konektivitas jaringan.
- Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
- Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
  - roles/secretmanager.viewer
  - roles/secretmanager.secretAccessor
  Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu diautentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika Anda tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk mengetahui informasi selengkapnya, lihat Membuat akun layanan.
- Aktifkan layanan berikut:
  - secretmanager.googleapis.com (Secret Manager API)
  - connectors.googleapis.com (Connectors API)
  Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.
Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

Mengonfigurasi konektor

Koneksi khusus untuk sumber data. Artinya, jika Anda memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan hal berikut:

Di Konsol Cloud, buka halaman Integration Connectors > Connections lalu pilih atau buat project Google Cloud.
Buka halaman Koneksi
Klik + BUAT BARU untuk membuka halaman Buat Koneksi.
Pada langkah Location, pilih lokasi untuk koneksi Apache Kafka baru:
1. Region: Pilih region dari daftar.
2. Klik Berikutnya.
Pada langkah Detail Koneksi, berikan detail tentang koneksi Apache Kafka baru:
1. Versi konektor: Pilih versi konektor Apache Kafka yang tersedia dari daftar.
2. Nama Koneksi: Masukkan nama untuk koneksi Apache Kafka.
  Catatan: Nama koneksi harus memenuhi kriteria berikut:
  - Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
  - Huruf harus berupa huruf kecil.
  - Nama koneksi harus diawali dengan huruf dan diakhiri dengan huruf atau angka.
  - Nama koneksi tidak boleh melebihi 49 karakter.
  - Untuk konektor yang mendukung langganan peristiwa, nama koneksi tidak boleh diawali dengan awalan "goog".
3. (Opsional) Deskripsi: Masukkan deskripsi untuk koneksi.
4. (Opsional) Aktifkan Cloud Logging: Centang kotak ini untuk menyimpan semua data log koneksi.
5. Akun Layanan: Pilih akun layanan dengan peran IAM yang diperlukan untuk koneksi Apache Kafka.
6. Opsi Aktifkan langganan peristiwa, entitas, dan tindakan dipilih secara default untuk koneksi Apache Kafka.
  Catatan: Konektor ini tidak mendukung opsi Enable only event subscription.
7. Skema Deteksi Jenis: Pilih MessageOnly.
8. Registry Service: Layanan Schema Registry yang digunakan untuk bekerja dengan skema topik.
9. Jenis Registry: Jenis skema yang ditentukan untuk topik tertentu.
10. Versi Registry: Versi skema yang dibaca dari RegistryUrl untuk topik yang ditentukan.
11. Pengguna Registry: Nilai Nama Pengguna atau Kunci Akses untuk memberikan otorisasi dengan server yang ditentukan dalam RegistryUrl.
12. Registry Password: Secret Manager Secret yang berisi nilai Kunci sandi/rahasia untuk memberikan otorisasi dengan server yang ditentukan dalam RegistryUrl.
13. Jika perlu, konfigurasikan Setelan node koneksi:
  - Jumlah minimum node: Masukkan jumlah minimum node koneksi.
  - Jumlah node maksimum: Masukkan jumlah maksimum node koneksi.
  Node adalah unit (atau replika) koneksi yang memproses transaksi. Jumlah node yang diperlukan untuk memproses lebih banyak transaksi untuk suatu koneksi akan bertambah dan sebaliknya, jumlah node yang diperlukan untuk memproses lebih sedikit transaksi akan berkurang. Untuk memahami pengaruh node terhadap harga konektor, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.
14. Secara opsional, klik + TAMBAHKAN LABEL untuk menambahkan label ke Koneksi dalam bentuk pasangan kunci dan nilai.
15. Aktifkan SSL: Kolom ini menentukan apakah SSL diaktifkan.
16. Klik Berikutnya.
Di bagian Tujuan, masukkan detail server bootstrap Kafka yang ingin Anda hubungkan.
1. Jenis Tujuan: Pilih Jenis Tujuan.
  - Untuk menentukan nama host atau alamat IP tujuan, pilih Alamat host dan masukkan alamat di kolom Host 1.
  - Untuk membuat koneksi pribadi, pilih Endpoint attachment dan pilih lampiran yang diperlukan dari daftar Endpoint Attachment.
    Catatan: Untuk memahami cara membuat lampiran endpoint, lihat Lampiran layanan PSC dan lampiran endpoint. Setelah Anda membuat lampiran endpoint, lampiran tersebut akan terlihat dalam daftar Lampiran Endpoint.
  Jika ingin membuat koneksi publik ke sistem backend dengan keamanan tambahan, Anda dapat mempertimbangkan mengonfigurasi alamat IP keluar statis untuk koneksi Anda, lalu mengonfigurasi aturan firewall untuk hanya mengizinkan alamat IP statis tertentu.
  
  Untuk menentukan server bootstrap Kafka tambahan, klik + TAMBAHKAN TUJUAN.
2. Klik Berikutnya.
Di bagian Authentication, masukkan detail autentikasi.
1. Pilih Jenis autentikasi dan masukkan detail yang relevan.
  Jenis autentikasi berikut didukung oleh koneksi Apache Kafka:
  - Nama pengguna dan sandi
    - Nama pengguna: Nama pengguna Apache Kafka yang akan digunakan untuk koneksi.
    - Sandi: Secret Manager Secret yang berisi sandi yang terkait dengan nama pengguna Apache Kafka.
    - Skema Auth: Skema yang digunakan untuk autentikasi.
      Skema Auth berikut didukung oleh koneksi Apache Kafka:
      - Polos
      - SCRAM-SHA-1
      - SCRAM-SHA-256
  - Tidak Tersedia
    Jika Anda ingin menggunakan login anonim, pilih Tidak Tersedia.
2. Klik Berikutnya.
Masukkan konfigurasi pesan yang dihentikan pengirimannya. Jika Anda mengonfigurasi pesan yang dihentikan pengirimannya, koneksi akan menulis peristiwa yang belum diproses ke topik Pub/Sub yang ditentukan. Masukkan detail berikut:
1. Project ID pesan yang tidak terkirim: Project ID Google Cloud tempat Anda mengonfigurasi topik Pub/Sub pesan yang tidak terkirim.
2. Topik yang dihentikan pengirimannya: Topik Pub/Sub tempat Anda ingin menulis detail peristiwa yang belum diproses.
Klik Berikutnya.
Tinjau: Tinjau detail koneksi dan autentikasi Anda.
Klik Buat.

Batasan sistem

Konektor Apache Kafka dapat memproses maksimum 50 transaksi per detik, per node, dan membatasi transaksi apa pun yang melebihi batas ini. Secara default, Integration Connectors mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk koneksi.

Untuk mengetahui informasi tentang batas yang berlaku untuk Integration Connectors, lihat Batas.

Catatan: Jumlah node Integration Connectors akan diskalakan otomatis secara dinamis berdasarkan penggunaan Anda. Namun, jika ingin mencadangkan kapasitas untuk volume besar tanpa menunggu penskalaan otomatis, Anda dapat menyesuaikan nilai node minimum untuk koneksi. Jumlah node yang diperlukan meningkat saat jumlah transaksi yang diproses untuk koneksi bertambah. Sebaliknya, jumlah node yang diperlukan lebih sedikit jika koneksi memproses lebih sedikit transaksi. Untuk mengonfigurasi nilai node, lakukan hal berikut:

Jika Anda adalah pelanggan prabayar, konfigurasikan nilai node minimum dan maksimum di halaman edit koneksi.
Jika Anda adalah pelanggan berbasis langganan, hubungi dukungan.

Jumlah transaksi maksimum yang dapat ditangani oleh sebuah node bergantung pada berbagai faktor. Jadi, sebelum menyesuaikan node minimum untuk mendapatkan throughput yang lebih baik, sebaiknya periksa apakah sistem backend Anda telah disiapkan secara optimal untuk menangani traffic yang diperlukan.

Tindakan

Tindakan PublishMessage

Tindakan ini memublikasikan pesan ke topik Apache Kafka. Tabel berikut menjelaskan parameter input dan output tindakan PublishMessage.

Parameter input

Nama parameter	Wajib	Jenis data	Deskripsi
Topik	Ya	String	Nama topik tempat Anda ingin memublikasikan pesan.
Partisi	Tidak	String	Partisi tempat pesan ditetapkan. Nilai harus valid untuk topik yang diberikan. Jika Anda tidak menyetel nilai ini, nilai akan disetel secara otomatis oleh klien native.
Kunci	Tidak	String	Kunci pesan.
Pesan	Ya	String	Pesan yang ingin Anda publikasikan. Pesan harus berupa JSON yang di-stringifikasi dan ukuran pesan maksimum yang didukung adalah 10 MB.
HasBytes	Tidak	Boolean	Menentukan apakah pesan dalam format biner.
MessageBytes	Tidak	String	Pesan dalam bentuk string berenkode Base64.
Validasi	Tidak	Boolean	Menentukan apakah pesan yang akan dipublikasikan harus divalidasi terhadap skema pesan yang ditentukan di registry skema untuk topik. Jika Anda telah menentukan registry skema saat membuat koneksi, definisi skema topik dari registry akan digunakan untuk tujuan validasi. Nilai default untuk kolom ini adalah `false`.

Parameter output

Nama parameter	Jenis data	Deskripsi
PartitionWritten	Bilangan bulat	Partisi tempat pesan ditulis.
OffsetWritten	Long	Posisi dalam partisi tempat pesan ditulis.
TimestampWritten	Long	Waktu (stempel waktu Unix) saat pesan di-commit ke partisi.
KeyWritten	String	Nilai kunci pesan yang ditulis. Nilainya adalah NULL jika tidak ada kunci pesan yang diberikan saat menulis pesan.
Berhasil	Boolean	Menentukan apakah pesan dipublikasikan.

Catatan: Hasil semua operasi dan tindakan entitas akan tersedia sebagai respons JSON dalam parameter respons tugas Konektor connectorOutputPayload setelah Anda menjalankan integrasi.

Contoh respons tindakan PublishMessage adalah sebagai berikut:

{Success: true,
PartitionWritten: 1,
OffsetWritten: 22301,
KeyWritten: "dGVzdA==",
TimestampWritten: 1690806748}

Konfigurasi untuk Confluent Cloud

Konfigurasi untuk Confluent Cloud sedikit berbeda dari langkah-langkah yang didokumentasikan sebelumnya untuk Apache Kafka. Pertimbangkan poin-poin berikut saat membuat koneksi untuk Confluent Cloud:

Kunci API cluster Confluent Cloud digunakan sebagai nama pengguna, dan Secret Manager Secret kunci digunakan sebagai sandi untuk menghubungkan ke server bootstrap. Anda harus membuat kunci API di Confluent Cloud jika Anda belum memilikinya.
Pilih Use SSL di bagian Connection Details.

Jika Anda menggunakan registry skema, konfigurasi nilai berikut:

Di bagian Connection Details:
- Versi Registry: Masukkan nomor versi registry. Jika Anda ingin menggunakan versi terbaru, masukkan latest.
- Pengguna Registry: Masukkan kunci API schema registry. Anda perlu membuat kunci API registri skema jika belum memilikinya.
- Registry Password: Masukkan Secret Manager Secret sandi registry.
- Versi Secret: Pilih nomor versi secret.
- Jenis Registry: Pilih Confluent.
- Skema Deteksi Jenis: Pilih MessageOnly
Di bagian Destinations, masukkan URL registri di kolom nama host.

Membuat koneksi menggunakan Terraform

Anda dapat menggunakan resource Terraform untuk membuat koneksi baru.

Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform.

Untuk melihat contoh template terraform untuk pembuatan koneksi, lihat contoh template.

Saat membuat koneksi ini menggunakan Terraform, Anda harus menetapkan variabel berikut dalam file konfigurasi Terraform:

Nama parameter	Jenis data	Wajib	Deskripsi
type_detection_scheme	ENUM	Benar	Skema yang digunakan untuk autentikasi dengan broker Apache Kafka. Nilai yang didukung adalah: MessageOnly
registry_service	ENUM	Salah	Layanan Schema Registry yang digunakan untuk bekerja dengan skema topik. Nilai yang didukung adalah: Confluent
registry_type	ENUM	Salah	Jenis skema yang ditentukan untuk topik tertentu. Nilai yang didukung adalah: AVRO, JSON
registry_version	STRING	Salah	Versi skema yang dibaca dari RegistryUrl untuk topik yang ditentukan. Nilai yang valid untuk versi registri adalah antara [1,2^31-1] atau string "latest", yang menampilkan skema terdaftar terakhir.
registry_user	STRING	Salah	Nama pengguna untuk memberikan otorisasi dengan server yang ditentukan di RegistryUrl .
registry_password	SECRET	Salah	Secret Manager Secret yang berisi nilai Kunci sandi/secret untuk memberikan otorisasi dengan server yang ditentukan di RegistryUrl.
usessl	BOOLEAN	Salah	Kolom ini menetapkan apakah SSL diaktifkan.

Menggunakan koneksi Apache Kafka dalam integrasi

Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Apigee Integration dan Application Integration. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

Untuk memahami cara membuat dan menggunakan tugas Konektor di Apigee Integration, lihat Tugas konektor.
Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Aplikasi, lihat Tugas konektor.

Mendapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Forum Cloud.

Langkah berikutnya

Pahami cara menangguhkan dan melanjutkan koneksi.
Pahami cara memantau penggunaan konektor.
Pahami cara melihat log konektor.