Menyesuaikan throughput log

Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Dokumen ini menjelaskan throughput log default dan cara meningkatkan throughput.

Saat logging sistem diaktifkan, agen Logging khusus akan otomatis di-deploy dan dikelola. Agen ini berjalan di semua node GKE dalam cluster untuk mengumpulkan log, menambahkan metadata yang berguna tentang penampung, pod, dan cluster, lalu mengirim log ke Cloud Logging menggunakan agen berbasis Fluentbit.

Agen Logging khusus menyediakan minimal 100 KiB per throughput log per detik per node untuk log sistem dan beban kerja. Jika node tidak digunakan sepenuhnya, agen logging khusus dapat memberikan throughput sebanyak 500 KiB per detik atau lebih, bergantung pada jenis beban log (misalnya, teks atau entri log terstruktur, sangat sedikit penampung di node atau banyak penampung). Selain itu, di cluster dengan bidang kontrol GKE versi 1.23.13-gke.1000 atau yang lebih baru, agen Logging memungkinkan throughput setinggi 10 MiB per detik pada node yang memiliki setidaknya 2 core CPU yang tidak digunakan. Namun, perlu diperhatikan bahwa pada throughput yang lebih tinggi, beberapa log dapat hilang.

Mengidentifikasi node dengan throughput log yang lebih tinggi

Secara default, cluster GKE mengumpulkan metrik sistem. Metrik sistem kubernetes.io/node/logs/input_bytes memberikan jumlah byte log yang dihasilkan per detik di node. Metrik ini dapat membantu Anda memutuskan varian agen logging mana yang sesuai untuk di-deploy di cluster atau kumpulan node.

Untuk melihat throughput logging historis untuk setiap node di cluster Anda, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman leaderboard Metrics explorer:

   Buka Metrics explorer

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.

2. Di kolom Select a metric, pilih kubernetes.io/node/logs/input_bytes.

3. Di kolom Group by, pilih project_id, location, cluster_name, dan node_name.

4. Klik OK

5. Secara opsional, urutkan daftar metrik dalam urutan menurun dengan mengklik header kolom Nilai di atas daftar metrik.

Untuk memahami jumlah volume logging yang disebabkan oleh komponen sistem atau karena beban kerja yang berjalan di node, Anda juga dapat mengelompokkan menurut label metrik type.

Mengaktifkan logging throughput tinggi

Jika node GKE memerlukan throughput log lebih dari 100 KiB per detik dan cluster GKE Standar Anda menggunakan kontrol plane versi 1.23.13-gke.1000 atau yang lebih baru, Anda dapat mengonfigurasi GKE untuk men-deploy konfigurasi alternatif agen Logging yang dirancang untuk memaksimalkan throughput logging. Varian logging throughput maksimum ini memungkinkan throughput hingga 10 MiB per detik per node. Anda dapat men-deploy agen Logging throughput tinggi ini ke semua node dalam cluster atau ke semua node dalam node pool.

Konfigurasi throughput tinggi ini akan menggunakan CPU dan memori tambahan.

gcloud container clusters create CLUSTER_NAME \
    --location=COMPUTE_LOCATION \
    --logging-variant=MAX_THROUGHPUT \
    --machine-type=MACHINE_TYPE

gcloud container clusters describe CLUSTER_NAME \
   --location=COMPUTE_LOCATION  \
   --format="value(nodePoolDefaults[].loggingConfig.variantConfig.variant)"

gcloud container clusters update CLUSTER_NAME \
    --location=COMPUTE_LOCATION \
    --logging-variant=MAX_THROUGHPUT

gcloud container node-pools create NODEPOOL_NAME \
    --cluster=CLUSTER_NAME \
    --location=COMPUTE_LOCATION \
    --logging-variant=MAX_THROUGHPUT

gcloud container node-pools describe NODEPOOL_NAME \
   --cluster=CLUSTER_NAME \
   --location=COMPUTE_LOCATION  \
   --format="value(config.loggingConfig.variantConfig.variant)"

gcloud container node-pools update NODEPOOL_NAME \
    --cluster=CLUSTER_NAME \
    --location=COMPUTE_LOCATION \
    --logging-variant=MAX_THROUGHPUT

resource "google_container_cluster" "with_example_logging_variants" {
  provider           = google
  name               = "CLUSTER_NAME"
  location           = "COMPUTE_LOCATION"
  initial_node_count = 1
  remove_default_node_pool = true # We want to manage our node pools separately.
}

resource "google_container_node_pool" "with_example_logging_variant" {
  provider = google
  name     = "example-node-pool-with-htl"
  cluster  = google_container_cluster.with_example_logging_variants.name
  location = "COMPUTE_LOCATION"
  node_config {
    logging_variant = "MAX_THROUGHPUT"
    # Use a machine type with enough CPU to accommodate the high-throughput agent, such as e2-standard-8.
    machine_type = "e2-standard-8"
  }
  node_count = 1
}

resource "google_container_node_pool" "with_default_logging_variant" {
  provider = google
  name     = "example-node-pool-with-default-logging"
  cluster  = google_container_cluster.with_example_logging_variants.name
  location = "COMPUTE_LOCATION"
  node_config {
    logging_variant = "DEFAULT"
  }
  node_count = 1
}

Menonaktifkan logging throughput tinggi

Jika Anda tidak ingin lagi menggunakan agen Logging dengan throughput tinggi, deploy agen Logging default ke cluster atau node pool.

  gcloud container clusters create CLUSTER_NAME \
      --location=COMPUTE_LOCATION \
      --logging-variant=DEFAULT \
      --machine-type=MACHINE_TYPE

gcloud container clusters update CLUSTER_NAME \
    --location=COMPUTE_LOCATION \
    --logging-variant=DEFAULT

gcloud container node-pools create NODEPOOL_NAME \
    --cluster=CLUSTER_NAME \
    --location=COMPUTE_LOCATION \
    --logging-variant=DEFAULT

gcloud container node-pools update NODEPOOL_NAME \
    --cluster=CLUSTER_NAME \
    --location=COMPUTE_LOCATION \
    --logging-variant=DEFAULT

Langkah berikutnya

• Pelajari cara mengontrol penyerapan log.