建立資訊主頁、圖表及快訊
本文件說明如何使用 Cloud Monitoring 建立圖表和快訊,以便監控 BigQuery 資源。
事前準備
使用 Cloud Monitoring 前,請確認您具備下列項目:
- Cloud Billing 帳戶。
- 啟用計費功能的 BigQuery 專案。
如要確認您是否兩者都擁有,請完成使用 Google Cloud 主控台的快速入門導覽課程。
查看及建立資訊主頁、圖表和快訊
查看 Cloud Monitoring 資訊主頁
如要使用 Cloud Monitoring 監控 BigQuery 專案:
在 Google Cloud 控制台中,前往「Monitoring」頁面。
如果尚未在頁面頂端選取專案名稱,請立即選取。
選取「資訊主頁」>「BigQuery」,即可查看 BigQuery 資源。您會在這個頁面中,看到使用者可設定的資料表、事件及事件報告的清單,還有專案指標或資料集指標的圖表。
將可用的運算單元與分配的運算單元視覺化
如要將可用的運算單元及已分配給您專案的運算單元視覺化,請前往檢視 Cloud Monitoring 資訊主頁小節中所述 BigQuery 適用的資訊主頁:
在 Google Cloud 控制台中,前往「Monitoring」頁面。
依序選取「Dashboard」>「BigQuery」。
在 BigQuery 適用的 Cloud Monitoring 資訊主頁中,向下捲動至名為「Slot Utilization」的圖表。
「Slot Utilization」(運算單元) 圖表會同時顯示在主要的 Cloud Monitoring 預設資訊主頁,以及 BigQuery 適用的 Cloud Monitoring 資訊主頁。
建立資訊主頁與圖表
如何在您自己的圖表和資訊主頁中,顯示 Cloud Monitoring 收集的指標:
在 Google Cloud 控制台中,前往「Monitoring」頁面。
選取 [Dashboards] (資訊主頁) > [Create Dashboard] (建立資訊主頁)。
按一下 [Add Chart] (新增圖表)。畫面會出現「Add Chart」(新增圖表) 頁面:
在「Find resource type and metric」(尋找資源類型和指標) 面板的欄位中:
- 針對「Resource type」(資源類型) 下拉式清單,選取 [Global] (通用)。您可能需要展開「Resource types」(資源類型) 清單,才能看到「Global」(全球) 選項。
- 針對「Metric」(指標) 下拉式清單,選取 [Query execution time] (查詢執行時間)。
「Aggregation」窗格欄位可用來控制執行時間資料的顯示方式。您可以調整這些欄位的預設設定。
按一下 [儲存]。
查看配額用量和限制
您可以在 Cloud Monitoring 中查看配額使用量和限制的指標:
在 Google Cloud 控制台中,前往「Monitoring」頁面。
在導覽窗格中,選取
「Metrics Explorer」。
在工具列中,依序選取「總管」>「設定」。
在「資源和指標」部分中,按一下「選取指標」。
依序選取「消費者配額」>「配額」>「配額上限」,然後按一下「套用」。
按一下
「新增篩選條件」,然後在「標籤」選單中選取「limit_name」。在「值」選單中,選取要查看指標的配額。
建立快訊
如要建立快訊政策,以便在 BigQuery 查詢的執行時間第 99 百分位數超過使用者定義的限制時觸發通知,請使用下列設定。
新條件 欄位 |
值 |
---|---|
資源和指標 | 在「資源」選單中,選取「BigQuery 專案」。 在「指標類別」選單中,選取「查詢」。 在「指標」選單中,選取「查詢執行時間」。 |
篩選 | |
跨時間序列 時間序列分組依據 |
priority |
跨時間序列 時間序列匯總 |
99th percentile |
滾動週期 | 5 m |
滾動週期函式 | sum |
設定快訊觸發條件 欄位 |
值 |
---|---|
條件類型 | Threshold |
快訊觸發條件 | Any time series violates |
門檻位置 | Above threshold |
門檻值 | 您可以自行決定這個值,但建議設定的門檻為 60 秒。 |
重新測試週期 | most recent value |
可供視覺化的指標
下列指標可供視覺化,但延遲時間可能長達數小時。
資源類型 | 名稱 | 單位 | 說明 |
---|---|---|---|
BigQuery | Scanned bytes |
每分鐘位元組數 | 已掃描的位元組數。 |
BigQuery | Scanned bytes billed |
每分鐘位元組數 | 使用隨選分析模型時,要計費的已傳送位元組數。系統會將費用四捨五入,因此掃描位元組和已收費的掃描位元組可能有所差異,每項查詢作業處理的資料量也有最低額度。 |
BigQuery | BI Engine Query Fallback Count (Preview) |
查詢 | 未使用 BI Engine 的查詢數量,以比率表示。您可以將「Group By」選項設為 reason ,將計數分為不同的備用原因,包括:
|
BigQuery | Query count |
查詢 | 進行中的查詢。 |
BigQuery | Query execution count (Preview) |
查詢 | 執行的查詢數量。 |
BigQuery |
Query execution times
|
秒 | 沒有加入快取的查詢執行時間。 |
BigQuery | Slots used by project |
運算單元 | 專案中為查詢工作分配的 BigQuery 運算單元數。 系統會依照帳單帳戶分配運算單元,且可讓多個專案共用相同的運算單元保留量。 |
BigQuery | Slots used by project and job type |
運算單元 | 在任何時間分配給專案的運算單元數,並按照工作類型來區別。這也可以視為該專案正在使用的運算單元數。載入和匯出工作都是免費作業,且在公開的資源集區中執行。 系統會依照帳單帳戶分配運算單元,且可讓多個專案共用相同的運算單元保留量。 |
BigQuery | Slots used by project, reservation, and job type |
運算單元 | 分配給專案的 BigQuery 運算單元數量。您可以根據預訂和工作類型細分運算單元分配。 |
BigQuery | Total slots |
運算單元 | 專案可用的運算單元總數。 如果某個專案與其他專案共用運算單元保留量,系統就不會顯示其他專案正在使用的運算單元。 |
BigQuery | Slots used across projects in reservations |
運算單元 | 在預留項目中分配給各專案的 BigQuery 運算單元數量。請注意,只有在至少有一個專案已指派給保留項目並正在使用時,系統才會回報指標資料。您也可以改為從 INFORMATION_SCHEMA 查詢預訂資訊。
|
BigQuery | Slots used by project in reservation |
運算單元 | 預留項目中分配給專案的 BigQuery 運算單元數量。 |
BigQuery 持續工作 | Estimated backlog logical bytes |
位元組 | 持續性工作的各個階段中待處理工作的位元組數。 |
BigQuery 持續工作 | Estimated backlog records |
記錄 | 持續性工作的各個階段中,待處理記錄的預估數量。 |
BigQuery 持續工作 | Estimated bytes processed |
位元組 | 持續性工作的各個階段預估處理的位元組數。 |
BigQuery 持續工作 | Output watermark |
時間戳記 | 最新的時間戳記,以自紀元起算的微秒為單位,表示持續性工作階段處理完所有資料的時間。 |
BigQuery 持續工作 | Records read |
記錄 | 持續性工作的各個階段讀取的輸入記錄數量。 |
BigQuery 持續工作 | Records written |
記錄 | 持續性工作的各個階段所寫入的輸出記錄數量。 |
BigQuery 持續工作 | Slots used |
運算單元時間 (毫秒) | 連續工作所使用的總運算單元毫秒數。 |
BigQuery 資料集 | Stored bytes |
位元組 | 儲存在資料集內的位元組數;系統會針對資料集內最大的前 100 個資料表,(按名稱) 顯示儲存在每個資料表中的位元組數。資料集中的所有其他資料表 (除了前 100 大資料表以外) 則會以單一總和報告,且摘要中的資料表名稱為空白字串。 |
BigQuery 資料集 | Table count |
資料表 | 資料集中的資料表數。 |
BigQuery 資料集 | Uploaded bytes |
每分鐘位元組數 | 已上傳到資料集中任何資料表的位元組數。 |
BigQuery 資料集 | 已上傳的資料列 | 每分鐘資料列數 | 已上傳到資料集中任何資料表的記錄數。 |
如需可用 Google Cloud 指標的完整清單,請參閱 Google Cloud 指標。
已知問題
如果當下沒有任何執行中的查詢,系統就不會傳回已分配運算單元數或可用運算單元數,或是任何與查詢相關變數的資料。請縮小以查看資料。
如果同時在美國與歐盟執行查詢,則分配的運算單元和可用的運算單元可能會有錯誤。
系統會以特定時間範圍的平均值回報分配的運算單元 (時間範圍的長度視圖表的縮放等級而定)。因此,進行縮放可能會變更分配運算單元的值。放大以檢視最多 1 小時的時間範圍內的資料,即可讓系統顯示已分配運算單元數的真實數值。採用這個時間範圍時,圖表上任何可見的時間都會是
avg(slots allocated) = slots allocated
。Cloud Monitoring 圖表中的資料,只會與所選專案有關。
指標是即時值,會在某個時間點取樣,且可能會遺漏取樣間隔之間的資料點。舉例來說,系統會每分鐘取樣一次工作計數指標。這個值是指在特定時間點的職缺數量,而非整分鐘內的職缺數量上限。