監控及查看 BigQuery 資料移轉服務的記錄
BigQuery 資料移轉服務的監控和記錄功能,可提供服務工作負載效能和狀態的相關資訊。BigQuery 資料移轉服務會將監控資料匯出至 Cloud Monitoring。
監控 BigQuery 資料移轉服務
監控指標可用於以下目的:
- 評估資料移轉設定的用量和效能。
- 排解問題。
- 監控轉移作業的執行狀態。
如要使用 Monitoring 建立自訂資訊主頁、設定快訊及查詢指標,您可以使用 Google Cloud 控制台或 Monitoring API。
在 Metrics Explorer 中查看轉移資料
前往 Google Cloud 控制台的「Monitoring」頁面。
在導覽窗格中,按一下「指標探索工具」。
選取專案。
在「Find resource type and metric」(尋找資源類型和指標) 方塊中,輸入下列內容:
選用:選取對齊器、縮減器和其他參數。
指標會顯示在「指標探索工具」視窗中。
定義 Cloud Monitoring 快訊
您可以為 BigQuery 資料移轉服務指標定義監控快訊:
前往 Google Cloud 控制台的「Monitoring」頁面。
在導覽窗格中,依序選取「快訊」>「建立政策」。
如要進一步瞭解快訊政策和相關概念,請參閱「快訊政策類型」。
按一下「新增條件」,然後選取條件類型。
選取指標與篩選器。指標的資源類型是 BigQuery DTS 設定。
按一下 [Save Condition] (儲存條件)。
輸入政策名稱,然後按一下「儲存政策」。
如要進一步瞭解快訊政策和概念,請參閱快訊簡介。
定義 Cloud Monitoring 自訂資訊主頁
您可以根據 BigQuery 資料移轉服務指標建立自訂資訊主頁:
前往 Google Cloud 控制台的「Monitoring」頁面。
在導覽窗格中,選取「資訊主頁」>「建立資訊主頁」。
按一下 [Add Chart] (新增圖表)。
為圖表命名。
選取指標與篩選器。指標的資源類型是 BigQuery DTS 設定。
按一下 [儲存]。
詳情請參閱「管理自訂資訊主頁」。
指標回報頻率與保留期
系統會以 1 分鐘為間隔,分批將 BigQuery 資料移轉服務執行的指標匯出至 Monitoring。監控資料會保留 6 週。
資訊主頁會以 1h
(1 小時)、6H
(6 小時)、1D
(1 天)、1W
(1 週) 和 6W
(6 週) 的預設間隔時間提供資料分析。您可以手動索取從 1M
(1 分鐘) 到 6W
(6 週) 之間任何間隔時間的資料分析。
監控移轉設定的指標
BigQuery 資料移轉服務設定的下列指標會匯出至 Monitoring:
指標 | 說明 |
---|---|
執行延遲分布 | 每個移轉設定的每次移轉作業執行時間分布情形 (以秒為單位)。 |
有效執行次數 | 每個移轉設定的執行中或待處理移轉工作數。 |
已完成的執行作業數 | 每個移轉設定在一段時間內完成的移轉執行次數。 |
篩選指標的維度
系統會針對每項 BigQuery 資料移轉服務設定匯總指標。您可以依據下列維度篩選匯總的指標:
屬性 | 說明 |
---|---|
TRANSFER_STATE |
代表移轉作業目前的移轉狀態。這項維度可包含下列其中一個值:
|
ERROR_CODE |
代表轉移作業的最終錯誤代碼。這項維度可包含下列其中一個值:
|
RUN_CAUSE |
代表觸發轉移作業的方式。這項維度可包含下列其中一個值:
|
BigQuery 資料移轉服務記錄
系統會使用 Cloud Logging 記錄每次 BigQuery 資料移轉服務的執行作業。系統會自動為所有資料轉移作業啟用記錄功能。
必要的角色
「記錄檢視者」角色 (roles/logging.viewer
) 賦予您對 Logging 所有功能的唯讀存取權。如要進一步瞭解適用於記錄資料的身分與存取權管理 (IAM) 權限和角色,請參閱 Logging 存取權控管指南。
查看記錄
如要查看記錄,請前往「Logs Explorer」頁面。
BigQuery 資料移轉服務記錄會先依移轉設定建立索引,然後再依個別移轉作業建立索引。
查看移轉作業記錄
如要只顯示特定轉移作業 run_id
的記錄項目,請在查詢建立工具中新增下列篩選條件:
resource.type="bigquery_dts_config" labels.run_id="transfer_run_id"
查看移轉設定記錄
如要顯示特定轉移作業 config_id
的記錄項目,請在「查詢建立工具」中新增下列篩選條件:
resource.type="bigquery_dts_config" resource.labels.config_id="transfer_config_id"
查看所有記錄檔
如要查看所有 BigQuery 資料移轉服務記錄,請執行下列任一操作:
在「Fields」(欄位) 窗格中,選取「Resource type」(資源類型) 的「BigQuery DTS Config」(BigQuery DTS 設定)。
在「查詢建立工具」中新增下列篩選器:
resource.type="bigquery_dts_config"
如要進一步瞭解如何使用記錄檔探索工具,請參閱「使用記錄檔探索工具」。
記錄格式
BigQuery 資料移轉服務會以以下格式記錄訊息:
{ "insertId": "0000000000", "jsonPayload": { "message": "DTS transfer run message." }, "resource": { "type": "bigquery_dts_config", "labels": { "project_id": "my_project_id", "config_id": "transfer_config_id", "location": "us" } }, "timestamp": "2020-11-25T04:45:48.545732221Z", "severity": "INFO", "labels": { "run_id": "transfer_run_id" }, "logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config", "receiveTimestamp": "2020-11-25T04:45:48.960214929Z" }
記錄內容
BigQuery 資料移轉服務記錄檔項目包含的資訊適合用於監控移轉執行作業及進行偵錯。記錄項目包含下列資訊類型:
timestamp
:用於計算記錄項目的存在時間,並強制執行記錄的保留期限severity
:可以是INFO
、WARNING
或ERROR
message_text
:保留說明目前轉移作業執行狀態的字串
後續步驟
- 進一步瞭解 Monitoring。
- 請參閱 Cloud 稽核記錄和 Cloud Logging的總覽。