使用 Prometheus CloudWatch 匯出工具收集 AWS CloudWatch 指標

本文件說明如何使用開放原始碼 Prometheus CloudWatch 匯出器，以及在 Compute Engine 執行個體上執行的 Ops Agent，收集 AWS CloudWatch 指標並儲存在 Google Cloud 專案中。

本文件適用於需要收集 AWS CloudWatch 指標的開發人員和系統管理員。本文件說明如何設定 Prometheus CloudWatch 匯出器，以便收集 AWS CloudWatch 指標。

透過 Cloud Monitoring，您可以在與 Google Cloud 指標相同的情況下查看 AWS 指標。舉例來說，您可以建立資訊主頁，並在其中顯示 Amazon EC2 和 Compute Engine 執行個體的 CPU 使用率圖表。您也可以建立快訊政策來監控 AWS 指標。詳情請參閱下列各節：

事前準備

如要使用 Prometheus CloudWatch 匯出器收集 AWS CloudWatch 指標，您需要：

  • Google Cloud 具有下列權限的專案：
    • 建立 VM
    • 將記錄檔寫入 Cloud Logging
    • 將指標寫入 Cloud Monitoring
  • 具有 AWS 憑證的 AWS 帳戶，Prometheus 匯出器可使用這些憑證擷取指標。詳情請參閱「執行 Prometheus 匯出器」。

建立 Compute Engine VM

建議您建立 Linux Compute Engine VM，專門用於執行 Ops Agent 和 Prometheus CloudWatch 匯出器。這個 VM 會做為所有 AWS 指標的收集網站。

  1. 如要在指定的可用區中建立名為 aws-exporter-test 的 Debian Linux VM，請執行下列指令：

    gcloud compute instances create \
  --image-project debian-cloud \
  --image-family debian-11 \
  --zone ZONE \
  aws-exporter-test

    請按照下列指令設定命令：

    • 將 ZONE 替換為新 VM 的區域
    • (非必要) 將 aws-exporter-test 替換為 VM 的不同名稱。

    如要進一步瞭解這個指令，請參閱 gcloud compute instances create 參考資料。

  2. 如要存取 VM 以便安裝 Prometheus CloudWatch 匯出程式和 Ops Agent，您可以使用下列指令：

    gcloud compute ssh --zone ZONE  --project PROJECT_ID  aws-exporter-test

    請按照下列指令設定命令：

    • 將 ZONE 替換為建立 VM 時指定的目的地可用區
    • 將 PROJECT_ID 替換為您的 Google Cloud 專案 ID
    • 如果您建立 VM 時使用其他名稱，請替換 aws-exporter-test

    如要進一步瞭解這個指令，請參閱 gcloud compute ssh 參考資料。

設定 Prometheus CloudWatch 匯出工具

以下各節說明在 Compute Engine VM 上下載、安裝及設定 Prometheus CloudWatch 匯出工具的程序。

下載 Prometheus 匯出工具和 JRE

如要執行 Prometheus CloudWatch 匯出工具，您必須下載匯出工具和 Java Runtime Environment (JRE) 11 以上版本。

  1. 如要下載包含 Prometheus CloudWatch 匯出器的 JAR 檔案，請在 Compute Engine 執行個體上執行下列指令：

    curl -sSO https://github.com/prometheus/cloudwatch_exporter/releases/download/v0.15.1/cloudwatch_exporter-0.15.1-jar-with-dependencies.jar

  2. 如要安裝 JRE，您可以使用以下指令：

    sudo apt install default-jre

設定 Prometheus 匯出工具

如要設定 Prometheus CloudWatch 匯出器，請為要收集指標的 AWS 服務建立設定檔。如需一般資訊，請參閱 Prometheus CloudWatch 匯出工具的設定說明文件。

  • 遷移使用者：如果您要將現有的 AWS CloudWatch 指標遷移至 Prometheus CloudWatch 匯出器，可以使用 Prometheus CloudWatch 匯出器設定中的設定檔。這些設定檔旨在盡可能複製現有指標，但不會收集使用 AWS 服務 Prometheus CloudWatch 匯出工具可用的所有指標。

  • 新使用者：如果您不遷移現有指標，建議您不要使用遷移設定。如要進一步瞭解如何為其他服務定義匯出程式設定，請參閱 AWS CloudWatch 服務說明文件。您也可以在 Prometheus CloudWatch 匯出器 GitHub 存放區中找到其他範例。

您可以將多個 AWS 服務的設定合併至單一設定檔。本文件的範例假設您的設定檔名為 config.yml。

執行 Prometheus 匯出工具

您必須先為匯出工具提供憑證和授權，才能執行 Prometheus CloudWatch 匯出工具。Prometheus CloudWatch 匯出工具會使用 AWS Java SDK，提供使用下列環境變數提供憑證的方法：

  • AWS_ACCESS_KEY
  • AWS_SECRET_ACCESS_KEY
  • AWS_SESSION_TOKEN (如果您使用的是臨時憑證)

如要進一步瞭解如何向 SDK 提供憑證，請參閱 Java 2.x 版 AWS SDK。

您也必須具備使用 CloudWatch API 擷取指標的權限，需要下列 AWS IAM CloudWatch 權限：

  • cloudwatch:ListMetrics
  • cloudwatch:GetMetricStatistics
  • cloudwatch:GetMetricData

使用 aws_tag_select 功能也需要 tag:GetResources AWS IAM 權限。

如要進一步瞭解如何授權存取 AWS 服務，請參閱「AWS 身分與存取權管理」。

如要執行 Prometheus CloudWatch 匯出器，請執行下列操作：

  1. 如要為匯出工具提供憑證，請設定存取金鑰環境變數：

    export AWS_ACCESS_KEY=YOUR_ACCESS_KEY
export AWS_SECRET_ACCESS_KEY=YOUR_SECRET_ACCESS_KEY
export AWS_SESSION_TOKEN=YOUR_SESSION_TOKEN

    將 YOUR_KEY 變數替換為存取金鑰。只有在使用臨時憑證時，才需要設定 AWS_SESSION_TOKEN 環境變數。

  2. 如要測試設定，請啟動匯出工具並載入設定檔，執行下列指令：

    java -jar cloudwatch_exporter-0.15.1-jar-with-dependencies.jar 9106 config.yml

    視需要變更連接埠 (9106) 和設定檔 (config.yml) 值。

    如果在匯出工具執行期間修改 config.yml 檔案，您可以執行下列指令來重新載入匯出工具：

    curl -X POST localhost:9106/-/reload

    如要在實際工作環境中使用，您可以將匯出程式設為在 VM 重新啟動時重新啟動。舉例來說，在 Debian 系統上，您可以使用系統和服務管理器 systemd。

設定作業套件代理程式

以下各節說明如何安裝、設定及啟動 Ops Agent。這些章節會提供 Ops Agent 的必要設定資訊，方便您搭配 Prometheus CloudWatch 匯出工具使用。如要進一步瞭解這些主題，請參閱「Ops Agent 總覽」。

安裝作業套件代理程式

如要安裝作業套件代理程式，請使用下列指令下載並執行代理程式的安裝指令碼：

curl -sSO https://dl.google.com/cloudagents/add-google-cloud-ops-agent-repo.sh
sudo bash add-google-cloud-ops-agent-repo.sh --also-install

設定作業套件代理程式

如要設定 Ops Agent，請將設定元素新增至代理程式的使用者設定檔。在 Linux 上，使用者設定檔為 /etc/google-cloud-ops-agent/config.yaml。

當您將作業套件代理程式設為從 Prometheus CloudWatch 匯出器收集 AWS 指標時，您會使用代理程式的 Prometheus 接收器。本文將說明 Ops Agent 的兩種基本設定。選取其中一個設定，並將其新增至使用者設定檔：

sudo vim /etc/google-cloud-ops-agent/config.yaml

作業套件代理程式的基本設定

以下設定可為 Ops Agent 提供最低設定。這項設定會執行以下操作：

  • 建立名為 aws 的 prometheus 型別接收器。接收器已設定為從 aws_exporter 工作擷取指標。指定的通訊埠必須與 Prometheus CloudWatch 匯出工具匯出指標的通訊埠相符，請參閱「執行 Prometheus 匯出工具」。

  • 建立名為 aws_pipeline 的管道，使用 aws 指標接收器。

metrics:
  receivers:
    aws:
      type: prometheus
      config:
        scrape_configs:
          - job_name: 'aws_exporter'
            scrape_interval: 10s
            static_configs:
              - targets: ['localhost:9106']
  service:
    pipelines:
      aws_pipeline:
        receivers:
          - aws

捨棄 JVM 指標的設定

以下設定會執行基本設定的所有動作，但也會新增重新命名設定，以便捨棄匯出工具產生的 JVM 指標。移除這些指標可減少匯入的指標資料，但由於您不會取得匯出程式自己的指標，因此可能會使匯出程式的問題更難偵錯：

metrics:
  receivers:
    aws:
      type: prometheus
      config:
        scrape_configs:
          - job_name: 'aws_exporter'
            scrape_interval: 10s
            static_configs:
              - targets: ['localhost:9106']
            # Drop the exporter's own JVM metrics to reduce noise.
            metric_relabel_configs:
              - source_labels: [ __name__ ]
                regex: 'jvm_.*'
                action: drop
  service:
    pipelines:
      aws_pipeline:
        receivers:
          - aws

您可以為作業套件代理程式建立更複雜的設定。

重新啟動作業套件代理程式

如要將設定變更套用至 Ops Agent，您必須重新啟動代理程式。

  1. 如要重新啟動代理程式，請在執行個體上執行下列指令：
    sudo service google-cloud-ops-agent restart
  2. 如要確認代理程式已重新啟動，請執行下列指令，並驗證「Metrics Agent」和「Logging Agent」元件是否已啟動：
    sudo systemctl status google-cloud-ops-agent"*"

在 Cloud Monitoring 中查看指標

在 Cloud Monitoring 中，您可以查詢 AWS CloudWatch 指標，並建立圖表，就像查詢其他指標一樣。您可以在 Metrics Explorer 介面中使用 PromQL、Monitoring Query Language (MQL) 或查詢建構工具介面。詳情請參閱「使用 Metrics Explorer 建立圖表」。

如果您已建立要保留的圖表，可以將這些圖表儲存至自訂資訊主頁。詳情請參閱「資訊主頁總覽」。

下圖顯示 AWS VM 的 aws_ec2_cpuutilization_sum 指標 PromQL 查詢：

這張圖表顯示使用 PromQL 擷取 AWS VM 的 aws_ec2_cpuutilization_sum 統計資料的結果。

您可以使用 PromQL 查詢 Cloud Monitoring 中的任何指標。如需相關資訊，請參閱「將 Cloud Monitoring 指標對應至 PromQL」。

您可以使用 PromQL 或 Cloud Monitoring 工具 (例如 Monitoring Query Language (MQL)) 查詢 Prometheus 指標。將 Prometheus 指標擷取至 Cloud Monitoring 時，系統會使用標準的 OpenTelemetry 到 Prometheus 轉換轉換每個指標，並對應至 Cloud Monitoring prometheus_target 監控的資源類型。轉換作業包括下列變更：

  • 指標名稱的前置字串為 prometheus.googleapis.com/。
  • 指標名稱中的任何非英數字元 (例如半形的句號 .) 都會替換為底線 _。
  • 指標名稱的後置字串會指出指標類型，例如 /gauge 或 /counter。

如要使用 MQL 查詢 Prometheus aws_ec2_cpuutilization_sum 指標，請將指標稱為 prometheus.googleapis.com/aws_ec2_cpuutilization_sum/gauge，並指定 prometheus_target 受控資源類型：

fetch prometheus_target :: 'prometheus.googleapis.com/aws_ec2_cpuutilization_sum/gauge'

下圖顯示 Prometheus aws_ec2_cpuutilization_sum 指標的 MQL 查詢結果：

這張圖表顯示使用 MQL 擷取 AWS 虛擬機的 aws_ec2_cpuutilization_sum 統計資料的結果。

針對指標行為發出警告

在 Cloud Monitoring 中，您可以建立 [快訊政策][alert-intro] 來監控 AWS CloudWatch 指標，並在指標值出現異常波動或趨勢時收到通知。

監控多個區域

Prometheus CloudWatch 匯出工具的設定僅支援每個設定檔使用一個區域。如果您需要監控多個區域，建議您執行多個 Prometheus 匯出程式執行個體，並為每個要監控的區域設定一個執行個體。您可以在單一 VM 上執行多個匯出工具，也可以將這些工具分散在多個 VM 中。在這種情況下，Prometheus 匯出工具 Docker 映像檔 可能會很有幫助。

您可以設定在 Compute Engine VM 上執行的作業套件代理程式，以便擷取多個 Prometheus 端點。建議您在設定多個 Prometheus 匯出工具例項時，為每個例項使用不同的 job 名稱，這樣在需要排解問題時，您就能區分匯出工具例項。

如要瞭解如何設定 Ops Agent 和 Prometheus 接收器，請參閱「設定 Ops Agent」。

費用

Amazon 會針對每項 CloudWatch API 要求或您要求的每項 CloudWatch 指標收費。如需瞭解目前的價格，請參閱「Amazon CloudWatch 定價」。Prometheus CloudWatch 匯出工具具有下列查詢特性，可能會影響您的 Amazon 費用：

  • 使用 GetMetricStatistics 方法 (預設) 時，每個指標都需要一個 API 要求。每個要求可包含多項統計資料。
  • 使用 aws_dimensions 時，匯出工具必須執行 API 要求，以決定要要求哪些指標。與指標要求數量相比，維度要求數量通常可以忽略不計。

Cloud Monitoring 會根據 Prometheus 匯出器擷取的樣本數，針對 Prometheus 匯出器的 AWS CloudWatch 指標收取費用。如要查看目前的定價，請參閱「Monitoring 定價摘要」。

遷移 Prometheus CloudWatch Exporter 的設定

本節提供的設定，可盡可能複製 AWS 指標清單中記錄的 AWS 服務指標。這些設定檔適用於從舊版解決方案遷移至 Prometheus CloudWatch 匯出工具的客戶。如果您是新使用者，而非遷移使用者，並且使用這些設定，則不會收集 Prometheus CloudWatch 匯出工具提供的所有 AWS 指標。

如要查看 AWS CloudWatch 指標的設定檔範例，請展開下列任一節。