Merutekan peristiwa Cloud Storage ke GKE

Pemicu Eventarc menyatakan minat Anda pada peristiwa atau rangkaian peristiwa tertentu. Anda dapat mengonfigurasi perutean peristiwa dengan menentukan filter untuk pemicu, termasuk sumber peristiwa, dan layanan Google Kubernetes Engine (GKE) target yang berjalan di cluster GKE. Perhatikan bahwa target hanya dapat mencakup layanan yang berjalan di cluster GKE (publik atau pribadi) dengan endpoint publik. Untuk menargetkan layanan di cluster GKE dengan endpoint pribadi, rutekan peristiwa ke endpoint HTTP internal.

Eventarc mengirimkan peristiwa ke penerima peristiwa dalam format CloudEvents melalui permintaan HTTP.

Petunjuk ini menunjukkan cara mengonfigurasi perutean peristiwa ke layanan GKE yang dipicu oleh peristiwaCloud Storage langsung. Untuk mengetahui detail selengkapnya, lihat daftar peristiwa langsung yang didukung.

Sebelum memulai

Anda harus mengaktifkan Workload Identity Federation untuk GKE di cluster GKE tempat layanan tujuan berjalan. Workload Identity Federation untuk GKE diperlukan untuk menyiapkan penerusan peristiwa dengan benar dan merupakan cara yang direkomendasikan untuk mengakses layananGoogle Cloud dari aplikasi yang berjalan dalam GKE karena properti keamanan dan pengelolaan yang lebih baik.

Arsitektur peristiwa Eventarc ke target GKE

Workload Identity Federation for GKE

Aplikasi yang berjalan di GKE mungkin memerlukan akses ke APIGoogle Cloud . Workload Identity Federation untuk GKE memungkinkan akun layanan Kubernetes di cluster GKE Anda berfungsi sebagai akun layanan IAM. Pod yang menggunakan akun layanan Kubernetes yang dikonfigurasi akan otomatis melakukan autentikasi sebagai akun layanan IAM saat mengakses Google Cloud API. Dengan menggunakan Workload Identity Federation untuk GKE, Anda dapat menetapkan identitas dan otorisasi yang berbeda secara terperinci untuk setiap aplikasi di cluster. Perhatikan bahwa izin tertentu harus diberikan ke akun layanan pemicu Eventarc. Dalam dokumen ini, lihat langkah-langkah untuk Membuat akun layanan.

Untuk mengetahui informasi selengkapnya tentang cara mengaktifkan dan mengonfigurasi Workload Identity Federation untuk GKE di cluster GKE Anda, lihat Menggunakan Workload Identity Federation untuk GKE.

Penerus peristiwa

Penerus peristiwa Eventarc menarik peristiwa baru dari Eventarc dan meneruskannya ke tujuan GKE. Komponen ini bertindak sebagai mediator antara lapisan transport Pub/Sub dan layanan GKE. Fitur ini berfungsi di layanan yang ada dan juga mendukung layanan pensinyalan (termasuk yang tidak diekspos di luar cluster yang dikelola sepenuhnya) sekaligus menyederhanakan penyiapan dan pemeliharaan. Di tingkat jaringan, untuk menerima peristiwa di layanan GKE, Anda tidak perlu membuka layanan ke traffic eksternal karena semua peristiwa dikirim dari asal yang berada dalam cluster GKE yang sama.

Perhatikan bahwa siklus proses penerusan peristiwa dikelola oleh Eventarc, dan jika Anda tidak sengaja menghapus penerusan peristiwa, Eventarc akan memulihkan komponen ini.

Untuk setiap pemicu yang mengarah ke tujuan GKE, penerus peristiwa (pod gke-forwarder yang dikonfigurasi secara khusus) melakukan hal berikut:

  1. Proses ini menggunakan Pub/Sub API untuk membuka koneksi StreamingPull ke pengirim pemicu (topik dan langganan Pub/Sub) dan menerima peristiwa saat peristiwa tersebut tersedia.

  2. Layanan ini mengubah peristiwa ke format CloudEvents yang benar, lalu mengenkode dan mengirimkannya sebagai permintaan HTTP POST ke layanan GKE target.

Agen layanan Eventarc memerlukan izin untuk menjalankan dan memperbarui instance gke-forwarder secara rutin. Izin ini harus diberikan sekali per project. Untuk mengetahui detailnya, lihat bagian Mengaktifkan tujuan GKE dalam dokumen ini.

Bersiap untuk membuat pemicu

Untuk setiap pemicu yang menargetkan layanan GKE, Eventarc membuat komponen penerusan peristiwa. Eventarc memerlukan izin untuk menginstal komponen dan mengelola resource di cluster GKE. Sebelum membuat pemicu Eventarc untuk tujuan GKE, pastikan Anda menyelesaikan tugas berikut.

Konsol

  1. Di Google Cloud konsol, pada halaman pemilih project, pilih atau buat Google Cloud project.

    Buka pemilih project

  2. Aktifkan Eventarc, Eventarc Publishing, Google Kubernetes Engine, dan Resource Manager API.

    Mengaktifkan API

  3. Jika berlaku, aktifkan API yang terkait dengan peristiwa langsung. Misalnya, untuk peristiwa Cloud Storage , aktifkan APICloud Storage .

  4. Jika Anda belum memilikinya, buat akun layanan yang dikelola pengguna, lalu berikan peran dan izin yang diperlukan agar Eventarc dapat mengelola peristiwa untuk layanan target Anda.

    1. Di konsol Google Cloud , buka halaman Create service account.

      Buka Buat akun layanan

    2. Pilih project Anda.

    3. Di kolom Nama akun layanan, masukkan nama. Konsol Google Cloud akan mengisi kolom Service account ID berdasarkan nama ini.

      Di kolom Deskripsi akun layanan, masukkan sebuah deskripsi. Contoh, Service account for event trigger.

    4. Klik Buat dan lanjutkan.

    5. Untuk memberikan akses yang sesuai, di daftar Select a role, pilih peran Identity and Access Management (IAM) yang diperlukan untuk diberikan ke akun layanan Anda. Untuk mengetahui informasi selengkapnya, lihat Peran dan izin untuk target GKE.

      Untuk peran tambahan, klik Tambahkan peran lain, lalu tambahkan setiap peran tambahan.

    6. Klik Lanjutkan.

    7. Untuk menyelesaikan pembuatan akun, klik Selesai.

  5. Berikan peran Pub/Sub Publisher ke agen layanan Cloud Storage. Biasanya, ini adalah service-PROJECT_NUMBER@gs-project-accounts.iam.gserviceaccount.com. Anda dapat mengambil alamat email agen layanan Cloud Storage.

    1. Di konsol Google Cloud , buka halaman IAM.

      Buka IAM

    2. Di baris untuk agen layanan Cloud Storage, klik Edit principal. (Jika agen layanan tidak tercantum, lanjutkan ke langkah berikutnya.) Panel Edit akses akan terbuka.

      1. Klik Tambahkan peran lain, lalu cari peran Pub/Sub Publisher.
      2. Pilih peran.
      3. Klik Simpan.
    3. Jika agen layanan tidak tercantum, klik Berikan akses. Panel Berikan akses akan terbuka.

      1. Di kolom New principals, masukkan alamat email untuk agen layanan.
      2. Di daftar Select a role, telusuri peran Pub/Sub Publisher.
      3. Pilih peran.
      4. Klik Simpan.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Aktifkan Eventarc, Eventarc Publishing, Google Kubernetes Engine, dan Resource Manager API.

    gcloud services enable eventarc.googleapis.com \
        eventarcpublishing.googleapis.com \
        container.googleapis.com \
        cloudresourcemanager.googleapis.com

  3. Jika berlaku, aktifkan API yang terkait dengan peristiwa langsung. Misalnya, untuk Cloud Storage acara, aktifkan storage.googleapis.com.

  4. Jika Anda belum memilikinya, buat akun layanan yang dikelola pengguna, lalu berikan peran dan izin yang diperlukan agar Eventarc dapat mengelola peristiwa untuk tujuan GKE target Anda.

    1. Buat akun layanan:

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

      Ganti SERVICE_ACCOUNT_NAME dengan nama akun layanan. Panjangnya harus antara 6 dan 30 karakter, serta dapat berisi karakter alfanumerik huruf kecil dan tanda pisah. Setelah membuat akun layanan, Anda tidak dapat mengubah namanya.

    2. Berikan peran atau izin Identity and Access Management (IAM) yang diperlukan. Untuk mengetahui informasi selengkapnya, lihat Peran dan izin untuk target GKE.

  5. Berikan peran pubsub.publisher ke akun layanan Cloud Storage:

    SERVICE_ACCOUNT="$(gcloud storage service-agent --project=PROJECT_ID)"
    
    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:${SERVICE_ACCOUNT}" \
      --role="roles/pubsub.publisher"
    

Mengaktifkan tujuan GKE

Untuk mengizinkan Eventarc mengelola resource di cluster GKE, aktifkan tujuan GKE, dan ikat agen layanan Eventarc dengan peran yang diperlukan.

  1. Aktifkan tujuan GKE untuk Eventarc:

    gcloud eventarc gke-destinations init
  2. Pada perintah untuk mengikat peran yang diperlukan, masukkan y.

    Peran berikut terikat:

    • roles/compute.viewer
    • roles/container.developer
    • roles/iam.serviceAccountAdmin

Buat pemicu

Anda dapat membuat pemicu Eventarc menggunakan Google Cloud CLI atau melalui konsol Google Cloud .

Konsol

  1. Di konsol Google Cloud , buka halaman Pemicu Eventarc.

    Buka Pemicu

  2. Klik Create trigger.
  3. Ketik Trigger name.

    Ini adalah ID pemicu dan harus dimulai dengan huruf. Nama ini dapat berisi hingga 63 huruf kecil, angka, atau tanda hubung.

  4. Untuk Jenis pemicu, pilih Sumber Google.
  5. Dalam daftar Penyedia peristiwa, pilih Cloud Storage.

    Perhatikan bahwa nama penyedia peristiwa yang digunakan dalam Google Cloud dokumentasi terkait mungkin tidak memiliki awalan Cloud atau Google Cloud. Misalnya, di konsol, Memorystore for Redis disebut sebagai Google Cloud Memorystore for Redis.

  6. Di daftar Jenis peristiwa, dari peristiwa Langsung, pilih jenis peristiwa:
    • google.cloud.storage.object.v1.archived: peristiwa dikirim saat versi aktif objek diarsipkan atau dihapus. Peristiwa ini hanya dikirim untuk bucket pembuatan versi.
    • google.cloud.storage.object.v1.delete: peristiwa dikirim saat objek dihapus secara permanen. Bergantung pada setelan pembuatan versi objek untuk bucket, artinya:
      • Untuk bucket yang mendukung pembuatan versi, peristiwa ini hanya dikirim saat versi dihapus secara permanen (tetapi tidak saat objek diarsipkan).
      • Untuk bucket non-versi, peristiwa ini dikirim saat objek dihapus atau ditimpa.
    • google.cloud.storage.object.v1.finalized: peristiwa dikirim saat objek baru dibuat (atau objek yang ada ditimpa, dan pembuatan baru objek tersebut dibuat) dalam bucket.
    • google.cloud.storage.object.v1.metadataUpdated: event dikirim saat [metadata](/storage/docs/metadata) objek yang ada berubah.
  7. Di daftar Jenis konten data peristiwa, pilih encoding payload peristiwa.

    Untuk peristiwa langsung dari Cloud Storage, nilai ini harus berupa application/json.

  8. Tentukan atau jelajahi ID unik global dari Bucket Cloud Storage.

    Bucket Cloud Storage harus berada di Google Cloud project dan region atau multi-region yang sama dengan pemicu Eventarc.

  9. Pilih Region.

    Pemicu Cloud Storage untuk Eventarc tersedia di lokasi single-region, dual-region, dan multi-region]. Perhatikan bahwa bucket Cloud Storage harus berada di project dan region atau multi-region Google Cloud yang sama dengan pemicu Eventarc.

    Peristiwa dikirim menggunakan notifikasi Pub/Sub dari Cloud Storage. Menyiapkan terlalu banyak notifikasi yang terdaftar untuk bucket yang sama dapat menghabiskan batas notifikasi untuk bucket seperti yang ditunjukkan oleh error Cloud Storage bucket ...: Pub/Sub notification limit reached. Bucket dapat memiliki hingga 10 konfigurasi notifikasi yang ditetapkan untuk memicu peristiwa tertentu. Lihat kuota dan batasan lainnya di halaman kuota dan batas Cloud Storage.

  10. Pilih Service account yang akan memanggil layanan atau alur kerja Anda.

    Atau, Anda dapat membuat akun layanan baru.

    Ini menentukan email akun layanan Identity and Access Management (IAM) yang terkait dengan pemicu dan yang sebelumnya Anda beri peran tertentu yang diperlukan oleh Eventarc.

  11. Dalam daftar Tujuan peristiwa, pilih Kubernetes Engine.
  12. Pilih layanan.

    Ini adalah nama layanan yang menerima peristiwa untuk pemicu. Layanan harus berada dalam project yang sama dengan pemicu dan akan menerima peristiwa sebagai permintaan POST HTTP yang dikirim ke jalur URL root-nya (/), setiap kali peristiwa dihasilkan.

  13. Secara opsional, Anda dapat menentukan jalur URL Layanan untuk mengirim permintaan masuk.

    Ini adalah jalur relatif pada layanan tujuan tempat peristiwa untuk pemicu harus dikirim. Misalnya: /, /route, route, route/subroute.

  14. Secara opsional, untuk menambahkan label, Anda dapat mengklik Tambahkan label. Label adalah pasangan nilai kunci yang membantu Anda mengaturGoogle Cloud resource. Untuk mengetahui informasi selengkapnya, lihat Apa yang dimaksud dengan label?
  15. Klik Buat.
  16. Setelah pemicu dibuat, filter sumber peristiwa tidak dapat diubah. Sebagai gantinya, buat pemicu baru dan hapus pemicu lama. Untuk mengetahui informasi selengkapnya, lihat Mengelola pemicu.

gcloud

Anda dapat membuat pemicu dengan menjalankan perintah gcloud eventarc triggers create bersama dengan flag wajib dan opsional.

gcloud eventarc triggers create TRIGGER \
    --location=LOCATION \
    --destination-gke-cluster=DESTINATION_GKE_CLUSTER \
    --destination-gke-location=DESTINATION_GKE_LOCATION \
    --destination-gke-namespace=DESTINATION_GKE_NAMESPACE \
    --destination-gke-service=DESTINATION_GKE_SERVICE \
    --destination-gke-path=DESTINATION_GKE_PATH \
    --event-filters="type=EVENT_FILTER_TYPE" \
    --event-filters="bucket=BUCKET" \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"

Ganti kode berikut:

  • TRIGGER: ID pemicu atau ID yang memenuhi syarat sepenuhnya
  • LOCATION: lokasi pemicu Eventarc. Atau, Anda dapat menetapkan properti eventarc/location; misalnya gcloud config set eventarc/location us-central1.

    Bucket Cloud Storage harus berada di Google Cloud project dan region atau multi-region yang sama dengan pemicu Eventarc. Untuk mengetahui informasi selengkapnya, lihat Lokasi Eventarc.

  • DESTINATION_GKE_CLUSTER: nama cluster GKE tempat layanan GKE target yang menerima peristiwa berjalan.
  • DESTINATION_GKE_LOCATION: (opsional) region Compute Engine cluster GKE tempat layanan GKE tujuan berjalan. Jika tidak ditentukan, diasumsikan bahwa cluster adalah cluster regional dan berada di region yang sama dengan pemicu.
  • DESTINATION_GKE_NAMESPACE: (opsional) namespace tempat layanan GKE tujuan berjalan. Jika tidak ditentukan, namespace default akan digunakan.
  • DESTINATION_GKE_SERVICE: nama layanan GKE yang menerima peristiwa untuk pemicu. Layanan dapat berada di salah satu lokasi yang didukung GKE dan tidak harus berada di lokasi yang sama dengan pemicu. Namun, layanan harus berada dalam project yang sama dengan pemicu dan akan menerima peristiwa sebagai permintaan POST HTTP yang dikirim ke jalur URL root-nya (/), setiap kali peristiwa dibuat.
  • DESTINATION_GKE_PATH: (opsional) jalur relatif yang Anda tentukan di layanan GKE tujuan tempat peristiwa untuk pemicu harus dikirim. Misalnya: /, /route, route, route/subroute.
  • EVENT_FILTER_TYPE: ID peristiwa Cloud Storage dan dapat berupa salah satu dari berikut ini:
    • google.cloud.storage.object.v1.finalized: peristiwa dikirim saat objek baru dibuat (atau objek yang ada ditimpa, dan pembuatan baru objek tersebut dibuat) dalam bucket
    • google.cloud.storage.object.v1.archived: peristiwa dikirim saat versi live objek diarsipkan atau dihapus. Peristiwa ini hanya dikirim untuk bucket pembuatan versi.
    • google.cloud.storage.object.v1.deleted: peristiwa dikirim saat objek dihapus secara permanen. Bergantung pada setelan pembuatan versi objek untuk bucket, artinya:
      • Untuk bucket yang mendukung pembuatan versi, peristiwa ini hanya dikirim saat versi dihapus secara permanen (tetapi tidak saat objek diarsipkan).
      • Untuk bucket non-versi, peristiwa ini dikirim saat objek dihapus atau ditimpa.
    • google.cloud.storage.object.v1.metadataUpdated: event dikirim saat metadata objek yang ada berubah.
  • BUCKET adalah ID unik global dari bucket Cloud Storage.
  • SERVICE_ACCOUNT_NAME: nama akun layanan yang dikelola pengguna.
  • PROJECT_ID: ID project Google Cloud Anda.

Catatan:

  • Flag ini wajib diisi:
    • --event-filters="type=EVENT_FILTER_TYPE"
    • --event-filters="bucket=BUCKET"
  • Setiap pemicu dapat memiliki beberapa filter peristiwa, yang dipisahkan dengan koma dalam satu --event-filters=[ATTRIBUTE=VALUE,...] flag, atau Anda dapat mengulangi flag untuk menambahkan lebih banyak filter. Hanya peristiwa yang cocok dengan semua filter yang dikirim ke tujuan. Karakter pengganti dan ekspresi reguler tidak didukung.
  • Setelah pemicu dibuat, jenis filter peristiwa tidak dapat diubah. Untuk jenis peristiwa yang berbeda, Anda harus membuat pemicu baru dan menghapus pemicu lama.
  • Peristiwa dikirim menggunakan notifikasi Pub/Sub dari Cloud Storage. Menyiapkan terlalu banyak notifikasi yang terdaftar untuk bucket yang sama dapat menghabiskan batas notifikasi untuk bucket tersebut, seperti yang ditunjukkan oleh error Cloud Storage bucket ...: Pub/Sub notification limit reached. Bucket dapat memiliki hingga 10 konfigurasi notifikasi yang ditetapkan untuk dipicu untuk peristiwa tertentu. Lihat kuota dan batasan lainnya di halaman kuota dan batas Cloud Storage.
  • Untuk peristiwa langsung dari Cloud Storage, encoding payload peristiwa adalah application/json.
  • Flag --service-account digunakan untuk menentukan email akun layanan Identity and Access Management (IAM) yang terkait dengan pemicu.

Contoh:

gcloud eventarc triggers create helloworld-trigger \
    --location=us-central1 \
    --destination-gke-cluster=gke-events-cluster \
    --destination-gke-location=us-central1-a \
    --destination-gke-namespace=default \
    --destination-gke-service=helloworld-events \
    --destination-gke-path=/ \
    --event-filters="type=google.cloud.storage.object.v1.finalized" \
    --event-filters="bucket=my-bucket" \
    --service-account=${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com

Perintah ini akan membuat pemicu bernama helloworld-trigger untuk bucket Cloud Storage my-bucket dan peristiwa yang diidentifikasi sebagai google.cloud.storage.object.v1.finalized.

Terraform

Anda dapat membuat pemicu untuk tujuan GKE menggunakan Terraform. Untuk mengetahui detailnya, lihat Membuat pemicu menggunakan Terraform.

Mencantumkan pemicu

Anda dapat mengonfirmasi pembuatan pemicu dengan mencantumkan pemicu Eventarc menggunakan Google Cloud CLI atau melalui konsol Google Cloud .

Konsol

  1. Di konsol Google Cloud , buka halaman Pemicu Eventarc.

    Buka Pemicu

    Halaman ini mencantumkan pemicu Anda di semua lokasi, dan menyertakan detail seperti nama, wilayah, penyedia peristiwa, tujuan, dan lainnya.

  2. Untuk memfilter pemicu stres Anda:

    1. Klik Filter atau kolom Pemicu filter.
    2. Di daftar Properti, pilih opsi untuk memfilter pemicu.

    Anda dapat memilih satu properti atau menggunakan operator logika OR untuk menambahkan lebih banyak properti.

  3. Untuk mengurutkan pemicu, di samping judul kolom yang didukung, klik Urutkan.

gcloud

Jalankan perintah berikut untuk mencantumkan pemicu Anda:

gcloud eventarc triggers list --location=-

Perintah ini mencantumkan pemicu Anda di semua lokasi, dan menyertakan detail seperti nama, jenis, tujuan, dan status.

Langkah berikutnya