创建信息中心、图表和提醒
本文档介绍如何使用 Cloud Monitoring 创建图表和提醒来监控 BigQuery 资源。
准备工作
在使用 Cloud Monitoring 之前,请确保您具有以下各项:
- Cloud Billing 账号。
- 启用了结算功能的 BigQuery 项目。
确保以上两个条件同时满足的一种方法是完成快速入门:使用 Google Cloud 控制台。
查看和创建信息中心、图表与提醒
查看 Cloud Monitoring 信息中心
如需使用 Cloud Monitoring 监控 BigQuery 项目,请执行以下操作:
在 Google Cloud 控制台中,进入 Monitoring 页面。
选择您的项目名称(如果尚未在页面顶部选择该名称)。
如需查看 BigQuery 资源,请选择信息中心 > BigQuery。在此页面上,您可以看到用户可配置的表格、事件和突发事件报告的列表,以及项目指标或数据集指标的图表。
直观呈现可用槽和已分配的槽
如需直观呈现可用的槽和已分配给项目的槽,请按照查看 Cloud Monitoring 信息中心中的说明转到 BigQuery 信息中心:
在 Google Cloud 控制台中,进入 Monitoring 页面。
选择信息中心 > BigQuery。
在适用于 BigQuery 的 Cloud Monitoring 信息中心上,滚动到名为槽利用率 (Slot Utilization) 的图表。
槽利用率 (Slot Utilization) 图表会同时显示在 Cloud Monitoring 默认的主信息中心以及适用于 BigQuery 的 Cloud Monitoring 信息中心。
创建信息中心和图表
如需在您自己的图表和信息中心内显示由 Cloud Monitoring 收集的指标,请执行以下操作:
在 Google Cloud 控制台中,进入 Monitoring 页面。
选择 Dashboards > Create Dashboard。
点击 Add Chart。您会看到“Add Chart”页面:
在 Find resource type and metric 面板字段中:
- 在 Resource type 下拉列表中,选择 Global。您可能需要展开资源类型列表,以便找到全球选项。
- 在 Metric 下拉列表中,选择 Query execution time。
Aggregation 窗格字段用于控制执行时间数据的显示方式。您可以修改这些字段的默认设置。
点击保存。
查看配额用量和限制
在 Cloud Monitoring 中,您可以查看配额用量和限制的指标:
在 Google Cloud 控制台中,进入 Monitoring 页面。
在导航窗格中,选择 Metrics Explorer。
在工具栏中,选择 Explorer > 配置。
在资源和指标部分,点击选择一个指标。
选择使用方配额 > 配额 > 配额限制,然后点击应用。
点击
添加过滤条件,然后在标签菜单中选择 limit_name。在值菜单中,选择要查看其指标的配额。
创建提醒
如需创建提醒政策,以便 BigQuery 查询的执行时间的第 99 百分位超过用户定义的限制时触发此政策,请使用以下设置。
新建条件 字段 |
值 |
---|---|
资源和指标 | 在资源菜单中,选择 BigQuery 项目。 在指标类别菜单中,选择查询。 在指标菜单中,选择查询执行时间。 |
过滤 | |
跨时间序列 时间序列分组依据 |
priority |
跨时间序列 时间序列聚合 |
99th percentile |
滚动窗口 | 5 m |
滚动窗口函数 | sum |
配置提醒触发器 字段 |
值 |
---|---|
条件类型 | Threshold |
提醒触发器 | Any time series violates |
阈值位置 | Above threshold |
阈值 | 您可确定此值;不过,建议将阈值设为 60 秒。 |
重新测试窗口 | most recent value |
可用于直观呈现数据的指标
可用指标包括以下各项,时间延迟最多可达数个小时。
资源类型 | 名称 | 单位 | 说明 |
---|---|---|---|
BigQuery | Scanned bytes |
每分钟字节数 | 扫描的字节数。 |
BigQuery | Scanned bytes billed |
每分钟字节数 | 使用按需分析模型时计费的已发送字节数。扫描的字节数和计费的扫描字节数可能有所不同,因为费用会四舍五入,每个查询有最低处理数据量。 |
BigQuery | BI Engine Query Fallback Count (Preview) |
查询 | 不使用 BI Engine 作为速率的查询的数量。您可以将分组依据选项设置为 reason ,以将计数拆分为不同的回退原因,包括:
|
BigQuery | Query count |
查询 | 正在运行的查询数。 |
BigQuery | Query execution count (Preview) |
查询 | 已执行的查询数。 |
BigQuery |
Query execution times
|
秒 | 非缓存查询执行时间。 |
BigQuery | Slots used by project |
槽 | 为项目中的查询作业分配的 BigQuery 槽数。 槽按结算账号分配,多个项目可以共用同一预留插槽数。 |
BigQuery | Slots used by project and job type |
槽 | 在任意时刻分配给项目的槽数,按作业类型划分。您也可以认为,这就是项目所使用的槽数。加载和导出作业都属于免费操作,这些操作在资源的公开池中运行。 槽按结算账号分配,多个项目可以共用同一预留插槽数。 |
BigQuery | Slots used by project, reservation, and job type |
槽 | 为项目分配的 BigQuery 槽数。槽分配可以根据预留和作业类型进行细分。 |
BigQuery | Total slots |
槽 | 项目可用的总槽数。 如果项目与其他项目共用预留的槽数,则不会指出其他项目使用的槽数。 |
BigQuery | Slots used across projects in reservations |
槽 | 分配给预留中各个项目的 BigQuery 槽数。请注意,只有在至少有一个项目分配给预留并使用槽时,系统才会报告该指标数据。或者,您也可以从 INFORMATION_SCHEMA 查询预留信息。 |
BigQuery | Slots used by project in reservation |
槽 | 为预留中的项目分配的 BigQuery 槽数。 |
BigQuery 数据集 | Stored bytes |
字节 | 数据集中存储的字节数;如果数据集中表的数量未超过上限 100 个,则系统将按表名称显示每个表存储的字节数。如果数据集中表的数量超过上限 100 个,则所有超出的表将汇总一并报告,并且汇总的表名称为空字符串。 |
BigQuery 数据集 | Table count |
表 | 数据集中的表数。 |
BigQuery 数据集 | Uploaded bytes |
每分钟字节数 | 上传到数据集中任何表的字节数。 |
BigQuery 数据集 | 已上传的行数 | 每分钟行数 | 上传到数据集 depot/google3/cloud/pulse/ingestion_schema/repository/bigquery_googleapis_com/metrics/aliased_metrics.gcl 中的任何表的记录数 |
如需查看可用 Google Cloud 指标的完整列表,请参阅 Google Cloud 指标。
已知问题
如果没有运行任何查询,则系统不会为“已分配槽数”“可用槽数”或任何查询相关变量返回数据。请缩小以查看数据。
如果查询同时在 US 和 EU 运行,则“Slots allocated”和“Slots available”可能不正确。
“Slots allocated”报告为时间段(时间段的宽度取决于图表的缩放级别)内的平均值。缩放图表可能会改变“已分配槽数”的值。如果放大到 1 小时或 1 小时以内的时间段,系统就会显示“Slots allocated”的真实值。在此范围内,对于图表上可见的任意时间,
avg(slots allocated) = slots allocated
。Cloud Monitoring 图表中的数据仅与所选项目相关。
指标为在某个时间点采样的瞬时值,可能缺少采样间隔之间的数据点。例如,作业计数指标是每分钟采样的。该值是该特定时间点的作业数,而不是整个一分钟内最大的作业数。