创建信息中心、图表和提醒

本文档介绍如何使用 Cloud Monitoring 创建图表和提醒来监控 BigQuery 资源。

准备工作

在使用 Cloud Monitoring 之前,请确保您具有以下各项:

  • Cloud Billing 账号。
  • 启用了结算功能的 BigQuery 项目。

确保以上两个条件同时满足的一种方法是完成快速入门:使用 Google Cloud 控制台

查看和创建信息中心、图表与提醒

查看 Cloud Monitoring 信息中心

如需使用 Cloud Monitoring 监控 BigQuery 项目,请执行以下操作:

  1. 在 Google Cloud 控制台中,进入 Monitoring 页面。

    进入 Monitoring

  2. 选择您的项目名称(如果尚未在页面顶部选择该名称)。

  3. 如需查看 BigQuery 资源,请选择信息中心 > BigQuery。在此页面上,您可以看到用户可配置的表格、事件和突发事件报告的列表,以及项目指标或数据集指标的图表。

    BigQuery 信息中心。

直观呈现可用槽和已分配的槽

如需直观呈现可用的槽和已分配给项目的槽,请按照查看 Cloud Monitoring 信息中心中的说明转到 BigQuery 信息中心:

  1. 在 Google Cloud 控制台中,进入 Monitoring 页面。

    进入 Monitoring

  2. 选择信息中心 > BigQuery

  3. 在适用于 BigQuery 的 Cloud Monitoring 信息中心上,滚动到名为槽利用率 (Slot Utilization) 的图表。

槽利用率 (Slot Utilization) 图表会同时显示在 Cloud Monitoring 默认的主信息中心以及适用于 BigQuery 的 Cloud Monitoring 信息中心。

创建信息中心和图表

如需在您自己的图表和信息中心内显示由 Cloud Monitoring 收集的指标,请执行以下操作:

  1. 在 Google Cloud 控制台中,进入 Monitoring 页面。

    进入 Monitoring

  2. 选择 Dashboards > Create Dashboard

  3. 点击 Add Chart。您会看到“Add Chart”页面:

    “Add chart”页面。

  4. Find resource type and metric 面板字段中:

    • Resource type 下拉列表中,选择 Global。您可能需要展开资源类型列表,以便找到全球选项。
    • Metric 下拉列表中,选择 Query execution time
  5. Aggregation 窗格字段用于控制执行时间数据的显示方式。您可以修改这些字段的默认设置。

  6. 点击保存

查看配额用量和限制

在 Cloud Monitoring 中,您可以查看配额用量和限制的指标:

  1. 在 Google Cloud 控制台中,进入 Monitoring 页面。

    进入 Monitoring

  2. 在导航窗格中,选择 Metrics Explorer

  3. 在工具栏中,选择 Explorer > 配置

  4. 资源和指标部分,点击选择一个指标

  5. 选择使用方配额 > 配额 > 配额限制,然后点击应用

  6. 点击 添加过滤条件,然后在标签菜单中选择 limit_name

  7. 菜单中,选择要查看其指标的配额。

    Metrics Explorer。

创建提醒

如需创建提醒政策,以便 BigQuery 查询的执行时间的第 99 百分位超过用户定义的限制时触发此政策,请使用以下设置。

新建条件
字段

资源和指标 资源菜单中,选择 BigQuery 项目
指标类别菜单中,选择查询
指标菜单中,选择查询执行时间
过滤
跨时间序列
时间序列分组依据
priority
跨时间序列
时间序列聚合
99th percentile
滚动窗口 5 m
滚动窗口函数 sum
配置提醒触发器
字段

条件类型 Threshold
提醒触发器 Any time series violates
阈值位置 Above threshold
阈值 您可确定此值;不过,建议将阈值设为 60 秒。
重新测试窗口 most recent value

可用于直观呈现数据的指标

可用指标包括以下各项,时间延迟最多可达数个小时。

资源类型 名称 单位 说明
BigQuery
Scanned bytes
每分钟字节数 扫描的字节数。
BigQuery
Scanned bytes billed
每分钟字节数 使用按需分析模型时计费的已发送字节数。扫描的字节数和计费的扫描字节数可能有所不同,因为费用会四舍五入,每个查询有最低处理数据量。
BigQuery
BI Engine Query Fallback Count (Preview)
查询 不使用 BI Engine 作为速率的查询的数量。您可以将分组依据选项设置为 reason,以将计数拆分为不同的回退原因,包括:
  • NO_RESERVATION
  • INSUFFICIENT_RESERVATION
  • UNSUPPORTED_SQL_TEXT
  • INPUT_TOO_LARGE
  • OTHER_REASON
BigQuery
Query count
查询 正在运行的查询数。
BigQuery
Query execution count (Preview)
查询 已执行的查询数。
BigQuery
Query execution times
- 5th percentile
- 50th percentile
- 95th percentile
- 99th percentile
非缓存查询执行时间。
BigQuery
Slots used by project
为项目中的查询作业分配的 BigQuery 槽数。

槽按结算账号分配,多个项目可以共用同一预留插槽数。

BigQuery
Slots used by project and job type
在任意时刻分配给项目的槽数,按作业类型划分。您也可以认为,这就是项目所使用的槽数。加载和导出作业都属于免费操作,这些操作在资源的公开池中运行。

槽按结算账号分配,多个项目可以共用同一预留插槽数。

BigQuery
Slots used by project, reservation, and job type
为项目分配的 BigQuery 槽数。槽分配可以根据预留和作业类型进行细分。
BigQuery
Total slots
项目可用的总槽数。

如果项目与其他项目共用预留的槽数,则不会指出其他项目使用的槽数。

BigQuery
Slots used across projects in reservations
分配给预留中各个项目的 BigQuery 槽数。请注意,只有在至少有一个项目分配给预留并使用槽时,系统才会报告该指标数据。或者,您也可以从 INFORMATION_SCHEMA 查询预留信息。
BigQuery
Slots used by project in reservation
为预留中的项目分配的 BigQuery 槽数。
BigQuery 数据集
Stored bytes
字节 数据集中存储的字节数;如果数据集中表的数量未超过上限 100 个,则系统将按表名称显示每个表存储的字节数。如果数据集中表的数量超过上限 100 个,则所有超出的表将汇总一并报告,并且汇总的表名称为空字符串。
BigQuery 数据集
Table count
数据集中的表数。
BigQuery 数据集
Uploaded bytes
每分钟字节数 上传到数据集中任何表的字节数。
BigQuery 数据集 已上传的行数 每分钟行数 上传到数据集 depot/google3/cloud/pulse/ingestion_schema/repository/bigquery_googleapis_com/metrics/aliased_metrics.gcl 中的任何表的记录数

如需查看可用 Google Cloud 指标的完整列表,请参阅 Google Cloud 指标

已知问题

  • 如果没有运行任何查询,则系统不会为“已分配槽数”“可用槽数”或任何查询相关变量返回数据。请缩小以查看数据。

  • 如果查询同时在 US 和 EU 运行,则“Slots allocated”和“Slots available”可能不正确。

  • “Slots allocated”报告为时间段(时间段的宽度取决于图表的缩放级别)内的平均值。缩放图表可能会改变“已分配槽数”的值。如果放大到 1 小时或 1 小时以内的时间段,系统就会显示“Slots allocated”的真实值。在此范围内,对于图表上可见的任意时间,avg(slots allocated) = slots allocated

  • Cloud Monitoring 图表中的数据仅与所选项目相关。

  • 指标为在某个时间点采样的瞬时值,可能缺少采样间隔之间的数据点。例如,作业计数指标是每分钟采样的。该值是该特定时间点的作业数,而不是整个一分钟内最大的作业数。