自訂節點系統設定

本文說明如何使用稱為「節點系統設定」的設定檔，自訂 Google Kubernetes Engine (GKE) 節點設定。

總覽

您可以使用各種方法自訂節點設定。舉例來說，您可以在建立節點集區時指定機器類型和最低 CPU 平台等參數。

節點系統設定是設定檔，可調整一組有限的系統設定。您可以使用節點系統設定，在節點集區中為 Kubernetes 節點代理程式 (kubelet) 和低階 Linux 核心設定 (sysctl) 指定自訂設定。

您也可以使用稱為「執行階段設定檔」的不同檔案，在 GKE 節點上自訂 containerd 容器執行階段。如需操作說明，請參閱「在 GKE 節點中自訂 containerd 設定」。

您也可以使用 DaemonSet 自訂節點，例如「使用 DaemonSet 自動啟動 GKE 節點」一文所述。

使用節點系統設定

你可以使用下列任一方法自訂節點系統設定：

• 設定檔：適用於標準模式。您可以使用包含 kubelet 和 Linux 核心設定參數的 YAML 檔案。本頁的步驟說明如何建立及使用設定檔。
• ComputeClass：適用於 Autopilot 模式和 Standard 模式。您可以在 GKE ComputeClass 規格中指定節點系統設定。您可以定義一組節點屬性，供 GKE 在擴充叢集時使用。適用於 GKE 1.32.1-gke.1729000 以上版本。詳情請參閱「關於 GKE 中的運算類別」。

如要使用節點系統設定檔，請按照下列步驟操作：

1. 建立設定檔。這個檔案包含 kubelet 和 sysctl 設定。
2. 建立叢集時，或建立/更新節點集區時，新增設定。

建立設定檔

以 YAML 格式編寫節點系統設定檔。以下範例說明如何為 kubelet 和 sysctl 選項新增設定：

kubeletConfig:
  cpuManagerPolicy: static
  allowedUnsafeSysctls:
  - 'kernel.shm*'
  - 'kernel.msg*'
  - 'kernel.sem'
  - 'fs.mqueue*'
  - 'net.*'
linuxConfig:
 sysctl:
   net.core.somaxconn: '2048'
   net.ipv4.tcp_rmem: '4096 87380 6291456'

在這個例子中：

• cpuManagerPolicy: static 會將 kubelet 設定為使用靜態 CPU 管理政策。
• net.core.somaxconn: '2048' 會將 socket listen() 後備緩衝區限制為 2,048 個位元組。
• net.ipv4.tcp_rmem: '4096 87380 6291456' 將 TCP 通訊端接收緩衝區的最小值、預設值和最大值分別設為 4,096 個位元組、87,380 個位元組和 6,291,456 個位元組。

如要只為 kubelet 或 sysctl 新增設定，請只在設定檔中加入該區段。舉例來說，如要新增 kubelet 設定，請建立下列檔案：

kubeletConfig:
  cpuManagerPolicy: static

如需可新增至設定檔的完整欄位清單，請參閱「Kubelet 設定選項」和「Sysctl 設定選項」一節。

將設定新增至節點集區

建立設定檔後，請使用 Google Cloud CLI 新增 --system-config-from-file 旗標。您可以在建立叢集時新增這個標記，也可以在建立或更新節點集區時新增。您無法使用 Google Cloud 控制台新增節點系統設定。

建立具有節點系統設定的叢集

您可以在使用 gcloud CLI 或 Terraform 建立叢集時，新增節點系統設定。下列操作說明會將節點系統設定套用至預設節點集區：

gcloud container clusters create CLUSTER_NAME \
    --location=LOCATION \
    --system-config-from-file=SYSTEM_CONFIG_PATH

resource "google_container_cluster" "default" {
  name     = "gke-standard-regional-cluster"
  location = "us-central1"

  initial_node_count = 1

  node_config {
    # Kubelet configuration
    kubelet_config {
      cpu_manager_policy = "static"
    }

    linux_node_config {
      # Sysctl configuration
      sysctls = {
        "net.core.netdev_max_backlog" = "10000"
      }

      # Linux cgroup mode configuration
      cgroup_mode = "CGROUP_MODE_V2"

      # Linux huge page configuration
      hugepages_config {
        hugepage_size_2m = "1024"
      }
    }
  }
}

使用節點系統設定建立新的節點集區

使用 gcloud CLI 或 Terraform 建立新的節點集區時，可以新增節點系統設定。您也可以更新現有節點集區的節點系統設定。

下列操作說明會將節點系統設定套用至新的節點集區：

gcloud container node-pools create POOL_NAME \
     --cluster CLUSTER_NAME \
     --location=LOCATION \
     --system-config-from-file=SYSTEM_CONFIG_PATH

``` Replace the following:

resource "google_container_node_pool" "default" {
  name    = "gke-standard-regional-node-pool"
  cluster = google_container_cluster.default.name

  node_config {
    # Kubelet configuration
    kubelet_config {
      cpu_manager_policy = "static"
    }

    linux_node_config {
      # Sysctl configuration
      sysctls = {
        "net.core.netdev_max_backlog" = "10000"
      }

      # Linux cgroup mode configuration
      cgroup_mode = "CGROUP_MODE_V2"

      # Linux huge page configuration
      hugepages_config {
        hugepage_size_2m = "1024"
      }
    }
  }
}

更新現有節點集區的節點系統設定

執行下列指令：

  gcloud container node-pools update POOL_NAME \
      --cluster=CLUSTER_NAME \
      --location=LOCATION \
      --system-config-from-file=SYSTEM_CONFIG_PATH

更改下列內容：

• POOL_NAME：要更新的節點集區名稱
• CLUSTER_NAME：要更新的叢集名稱
• LOCATION：叢集的運算可用區或區域
• SYSTEM_CONFIG_PATH：包含 kubelet 和 sysctl 設定的檔案路徑

這項變更需要重新建立節點，可能會導致執行中的工作負載中斷。如要瞭解這項特定異動的詳細資訊，請在「手動變更：使用節點升級策略重建節點，但不遵守維護政策」表格中，找到對應的資料列。如要進一步瞭解節點更新，請參閱「規劃節點更新中斷」。

編輯節點系統設定

如要編輯節點系統設定，您可以建立具有所需設定的新節點集區，或是更新現有節點集區的節點系統設定。

透過建立節點集區進行編輯

如要透過建立節點集區來編輯節點系統設定，請按照下列步驟操作：

1. 建立設定檔，並加入所需設定。
2. 將設定新增至新的節點集區。
3. 將工作負載遷移至新的節點集區。
4. 刪除舊節點集區。

透過更新現有節點集區進行編輯

如要編輯現有節點集區的節點系統設定，請按照「更新節點集區」分頁中的操作說明，將設定新增至節點集區。更新節點系統設定會以新設定覆寫節點集區的系統設定，因此需要重新建立節點。如果在更新期間省略任何參數，系統會將這些參數設為各自的預設值。

如要將節點系統設定重設為預設值，請更新設定檔，將 kubelet 和 sysctl 的值設為空白。例如：

kubeletConfig: {}
linuxConfig:
  sysctl: {}

刪除節點系統設定

如要移除節點系統設定，請按照下列步驟操作：

1. 建立節點集區。
2. 將工作負載遷移至新的節點集區。
3. 刪除節點集區，該集區具有舊的節點系統設定。

Kubelet 設定選項

下表列出可修改的 kubelet 選項。

資源管理員

Kubernetes 提供一系列資源管理工具。您可以設定這些 Resource Manager，協調及最佳化節點資源的對齊方式，以符合為 Pod 設定的 CPU、裝置和記憶體 (hugepages) 資源特定需求。詳情請參閱「節點資源管理員」。

使用 GKE 時，您可以為這些資源管理員設定下列設定。您可以分別設定這些選項，但建議一併使用這些設定，以利資源管理。您可以搭配使用拓撲管理工具設定、CPU 管理工具設定和記憶體管理工具設定，將 CPU 和記憶體與 Pod 規格中要求的其他資源對齊。

      cpuManagerPolicy:
      

      memoryManager:
        policy:
      

      topologyManager:
        policy:
        scope:
      

以下範例顯示節點系統設定，其中已設定所有三項 Resource Manager 政策：

cpuManagerPolicy: static
memoryManager:
  policy: Static
topologyManager:
  policy: best-effort
  scope: pod

Sysctl 設定選項

如要調整系統效能，可以修改下列核心屬性：

• kernel.shmmni
• kernel.shmmax
• kernel.shmall
• net.core.busy_poll
• net.core.busy_read
• net.core.netdev_max_backlog
• net.core.rmem_max
• net.core.rmem_default
• net.core.wmem_default
• net.core.wmem_max
• net.core.optmem_max
• net.core.somaxconn
• net.ipv4.tcp_rmem
• net.ipv4.tcp_wmem
• net.ipv4.tcp_tw_reuse
• net.ipv6.conf.all.disable_ipv6
• net.ipv6.conf.default.disable_ipv6
• net.netfilter.nf_conntrack_acct - 適用於 GKE 1.32.0-gke.1448000 以上版本。
• net.netfilter.nf_conntrack_max - 適用於 GKE 1.32.0-gke.1448000 以上版本。
• net.netfilter.nf_conntrack_buckets - 適用於 GKE 1.32.0-gke.1448000 以上版本。
• net.netfilter.nf_conntrack_tcp_timeout_close_wait - 適用於 GKE 1.32.0-gke.1448000 以上版本。
• net.netfilter.nf_conntrack_tcp_timeout_established - 適用於 GKE 1.32.0-gke.1448000 以上版本。
• net.netfilter.nf_conntrack_tcp_timeout_time_wait - 適用於 GKE 1.32.0-gke.1448000 以上版本。
• vm.max_map_count

不同的 Linux 命名空間可能會有特定 sysctl 的專屬值，其他則為整個節點的全域值。使用節點系統設定更新 sysctl 選項，可確保 sysctl 全域套用至節點和每個命名空間，因此每個 Pod 在每個 Linux 命名空間中都有相同的 sysctl 值。

Linux cgroup 模式設定選項

kubelet 和容器執行階段會使用 Linux 核心 cgroups 進行資源管理，例如限制 Pod 中每個容器可存取的 CPU 或記憶體數量。核心中有兩個版本的 cgroup 子系統：cgroupv1 和 cgroupv2。Kubernetes cgroupv2 支援功能在 Kubernetes 1.18 版中以 Alpha 版推出，1.22 版中以 Beta 版推出，1.25 版中則以正式版推出。詳情請參閱 Kubernetes cgroups v2 說明文件。

節點系統設定可讓您自訂節點集區的 cgroup 設定。您可以使用 cgroupv1 或 cgroupv2。對於執行 1.26 以上版本的新 Standard 節點集區，GKE 會使用 cgroupv2，對於 1.26 之前的版本，則會使用 cgroupv1。如果是透過節點自動佈建功能建立的節點集區，cgroup 設定取決於初始叢集版本，而非節點集區版本。Arm 電腦不支援「cgroupv1」。

您可以使用節點系統設定，將節點集區的設定變更為明確使用 cgroupv1 或 cgroupv2。將現有節點集區升級至 1.26 版時，設定不會變更為 cgroupv2。這是因為使用 1.26 之前的版本建立的現有節點集區 (沒有自訂 cgroup 設定)，會繼續使用 cgroupv1，除非您明確指定其他設定。

舉例來說，如要將節點集區設為使用 cgroupv2，請使用節點系統設定檔，例如：

linuxConfig:
  cgroupMode: 'CGROUP_MODE_V2'

支援的 cgroupMode 選項如下：

• CGROUP_MODE_V1：在節點集區上使用 cgroupv1。
• CGROUP_MODE_V2：在節點集區上使用 cgroupv2。
• CGROUP_MODE_UNSPECIFIED：使用預設的 GKE cgroup 設定。

如要使用 cgroupv2，請務必遵守下列規定和限制：

• 如果節點集區執行的版本低於 1.26，您必須使用 gcloud CLI 408.0.0 以上版本。或者，使用 gcloud beta 395.0.0 以上版本。
• 叢集和節點集區必須執行 GKE 1.24.2-gke.300 以上版本。
• 您必須使用搭載 containerd 的 Container-Optimized OS 節點映像檔。
• 如果任何工作負載需要讀取 cgroup 檔案系統 (/sys/fs/cgroup/...)，請確保這些工作負載與 cgroupv2 API 相容。
  • 確認所有監控或第三方工具與 cgroupv2 相容。
• 如果您使用 JDK (Java 工作負載)，建議使用完全支援 cgroupv2 的版本，包括 JDK 8u372、JDK 11.0.16 以上版本，或 JDK 15 以上版本。

驗證 cgroup 設定

新增節點系統設定時，GKE 必須重新建立節點，才能實作變更。將設定新增至節點集區並重新建立節點後，即可驗證新設定。

您可以使用 gcloud CLI 或 kubectl 指令列工具，驗證節點集區中節點的 cgroup 設定：

gcloud container node-pools describe POOL_NAME \
    --format='value(Config.effectiveCgroupMode)'

Linux 大頁面設定選項

您可以使用節點系統設定檔，使用 Linux 核心功能「巨頁」。

Kubernetes 支援節點上的巨頁，這是一種資源類型，與 CPU 或記憶體類似。使用下列參數指示 Kubernetes 節點預先配置巨頁，供 Pod 使用。如要管理 Pod 的 HugePages 消耗量，請參閱「管理 HugePages」。

如要為節點預先配置巨頁，請指定數量和大小。舉例來說，如要設定節點，分配三個 1 GB 大小的巨頁，以及 1024 個 2 MB 大小的巨頁，請使用下列節點系統設定：

linuxConfig:
  hugepageConfig:
    hugepage_size2m: 1024
    hugepage_size1g: 3

如要使用巨頁，請遵守下列限制和規定：

• 為確保節點不會完全由巨頁佔用，分配的巨頁總大小不得超過機器總記憶體的 60% (記憶體小於 30 GB 的機器) 和 80% (記憶體大於 30 GB 的機器)。舉例來說，在記憶體為 8 GB 的 e2-standard-2 機器上，您無法為巨頁分配超過 4.8 GB 的空間。在記憶體為 32 GB 的 c4a-standard-8 上，巨頁不得超過 25.6 GB。
• 1 GB 巨頁僅適用於 A3、C2D、C3、C3D、C4、C4A、C4D、CT5E、CT5LP、CT6E、H3、M2、M3 或 Z3 機型。

後續步驟

• 瞭解節點集區。
• 瞭解如何建立節點集區。