本頁面由 Cloud Translation API 翻譯而成。

Apache Flink

本文件說明如何設定 Google Kubernetes Engine 部署作業，以便使用 Google Cloud Managed Service for Prometheus 收集 Apache Flink 的指標。本文件說明如何執行下列操作：

設定 Flink 以回報指標。
為 Managed Service for Prometheus 設定 PodMonitoring 資源，以便收集匯出的指標。
在 Cloud Monitoring 中存取資訊主頁，查看指標。
設定快訊規則來監控指標。

只有在您將代管收集作業與 Managed Service for Prometheus 搭配使用時，才適用這些操作說明。如果您使用的是自行部署的集合，請參閱 Flink 說明文件瞭解安裝資訊。

這些操作說明僅供參考，應可在大多數 Kubernetes 環境中運作。如果您因安全性限制或機構政策而無法順利安裝應用程式或匯出程式，建議您參閱開放原始碼文件尋求支援。

如要瞭解 Apache Flink，請參閱 Apache Flink。

事前準備

如要使用 Managed Service for Prometheus 和代管收集作業，從 Flink 匯出工具收集指標，您的部署作業必須符合下列規定：

您的叢集必須執行 Google Kubernetes Engine 1.21.4-gke.300 以上版本。
您必須在啟用代管收集作業的情況下，執行 Managed Service for Prometheus。詳情請參閱「開始使用代管集合」。
如要使用 Cloud Monitoring 提供的資訊主頁，以便整合 Flink，您必須使用 flink 1.17 以上版本。
如要進一步瞭解可用的資訊主頁，請參閱「查看資訊主頁」。

使用 metrics.reporter.prom.factory.class: org.apache.flink.metrics.prometheus.PrometheusReporterFactory 設定時，Flink 會公開 Prometheus 格式指標。

如果您是使用官方新手上路資訊清單部署 Flink，請將這個新選項新增至 ConfigMap：

  apiVersion: v1
  kind: ConfigMap
  metadata:
    name: flink-config
    labels:
      app: flink
  data:
    flink-conf.yaml: |+
      ...
  +   metrics.reporter.prom.factory.class: org.apache.flink.metrics.prometheus.PrometheusReporterFactory

如果您使用官方運算子部署 Flink，請將這個新選項新增至 FlinkDeployment 的 spec.flinkConfiguration 欄位：

  apiVersion: flink.apache.org/v1beta1
  kind: FlinkDeployment
  metadata:
    name: basic-example
  spec:
    image: flink:1.17
    flinkVersion: v1_17
    flinkConfiguration:
      taskmanager.numberOfTaskSlots: "2"
  +   metrics.reporter.prom.factory.class: org.apache.flink.metrics.prometheus.PrometheusReporterFactory

或者，您也可以在 Flink 運算子設定中，將 Prometheus 報表工具指定為預設選項。

如要確認 Flink 匯出程式是否會在預期的端點上產生指標，請按照下列步驟操作：

使用下列指令設定通訊埠轉送：

kubectl -n NAMESPACE_NAME port-forward POD_NAME 9249

在其他終端機工作階段中，使用瀏覽器或 curl 公用程式存取端點 localhost:9249/metrics。

定義 PodMonitoring 資源

針對目標探索，Managed Service for Prometheus Operator 需要與同一個命名空間中的 Flink 匯出器相對應的 PodMonitoring 資源。

您可以使用下列 PodMonitoring 設定：

# Copyright 2024 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: flink
  labels:
    app.kubernetes.io/name: flink
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  endpoints:
  - port: 9249
    scheme: http
    interval: 30s
    path: /metrics
  selector:
    matchLabels:
      app.kubernetes.io/name: flink

請確認 port 和 matchLabels 欄位的值與要監控的 Flink pod 相符。啟用指標時，Flink 預設會在 9249 連接埠上公開指標。

如要套用本機檔案中的設定變更，請執行下列指令：

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

您也可以使用 Terraform 管理設定。

定義規則和快訊

您可以使用下列 Rules 設定，針對 Flink 指標定義警示：

# Copyright 2024 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: Rules
metadata:
  name: flink-rules
  labels:
    app.kubernetes.io/component: rules
    app.kubernetes.io/name: flink-rules
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  groups:
  - name: flink
    interval: 30s
    rules:
    - alert: FlinkHighJVMMemoryNonHeapUsage
      annotations:
        description: |-
          Flink high jvm memory non-heap usage
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Flink high jvm memory non-heap usage (instance {{ $labels.instance }})
      expr: (flink_jobmanager_Status_JVM_Memory_NonHeap_Used/flink_jobmanager_Status_JVM_Memory_NonHeap_Max) >= 0.9
      for: 5m
      labels:
        severity: critical
    - alert: FlinkHighJVMMemoryHeapUsage
      annotations:
        description: |-
          Flink high jvm memory heap usage
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Flink high jvm memory heap usage (instance {{ $labels.instance }})
      expr: (flink_jobmanager_Status_JVM_Memory_Heap_Used/flink_jobmanager_Status_JVM_Memory_Heap_Max) >= 0.9
      for: 5m
      labels:
        severity: warning

如要套用本機檔案中的設定變更，請執行下列指令：

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

您也可以使用 Terraform 管理設定。

如要進一步瞭解如何將規則套用至叢集，請參閱「受管理的規則評估和快訊」。

您可以調整警示閾值，以符合應用程式的需要。

驗證設定

您可以使用 Metrics Explorer 驗證是否已正確設定 Flink 匯出程式。Cloud Monitoring 可能需要一或兩分鐘的時間才能擷取指標。

如要確認已擷取指標，請執行下列操作：

前往 Google Cloud 控制台的「Metrics Explorer」頁面：
前往 Metrics Explorer

如果您是使用搜尋列尋找這個頁面，請選取子標題為「Monitoring」的結果。
在查詢建構工具窗格的工具列中，選取名稱為 MQL 或 PromQL 的按鈕。
確認「Language」切換鈕中已選取「PromQL」。語言切換鈕位於可讓您設定查詢格式的工具列中。

輸入並執行以下查詢：

up{job="flink", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}

查看資訊主頁

Cloud Monitoring 整合功能包含「Prometheus」資訊主頁。設定整合後，系統會自動安裝資訊主頁。您也可以不必安裝整合功能，直接查看資訊主頁的靜態預覽畫面。

如要查看已安裝的資訊主頁，請按照下列步驟操作：

在 Google Cloud 控制台中，前往「Dashboards」(資訊主頁) 頁面：
前往「Dashboards」(資訊主頁)

如果您是使用搜尋列尋找這個頁面，請選取子標題為「Monitoring」的結果。
選取「資訊主頁清單」分頁標籤。
選擇「整合」類別。
按一下要查看的資訊主頁名稱。

如要查看資訊主頁的靜態預覽畫面，請按照下列步驟操作：

在 Google Cloud 控制台中，前往「Integrations」(整合) 頁面：
前往「Integrations」

如果您是使用搜尋列尋找這個頁面，請選取子標題為「Monitoring」的結果。
按一下「Kubernetes Engine」部署平台篩選器。
找出 Apache Flink 整合，然後按一下「查看詳細資料」。
選取「資訊主頁」分頁標籤。

疑難排解

如要瞭解如何排解指標攝入問題，請參閱「排解攝入端問題」一文中的「從匯出工具收集資料時發生的問題」。

Apache Flink 透過集合功能整理內容 你可以依據偏好儲存及分類內容。