指标和校准时间段

Flow Analyzer 会分析以记录格式存储的 VPC 流日志数据。日志记录包含基本字段(即每个日志记录的核心字段)以及提供更多信息的元数据字段。用于监控流量的数据日志记录包含三个主要组成部分:

  • 资源信息
  • 指标类型
  • 时间序列

资源信息

日志记录包含有关资源的以下数据:

指标类型

日志记录包含以下指标类型的数据:

  • 发送的字节数:包含有关载荷量的信息,但不包含标头。此指标值可以为零,因为某些数据包只有标头,不包含任何载荷。
  • 发送的数据包数:表示从来源到目标发送的数据包数。

原始时间序列数据

单个时间序列中的原始指标数据量可能非常大,并且通常有许多时间序列与指标类型相关联。要分析整个数据集的共性、趋势或离群值,您必须对数据集中的时间序列进行一些处理。否则,数据量过大,无法处理。

为了引入对此页面示例的抽样和汇总,请使用少量假设的时间序列。例如,下图显示了指标类型为每秒字节数的几分钟原始数据:

原始时间序列数据。
原始时间序列数据(点击可放大)。

原始时间序列数据必须经过处理才能进行分析,而分析通常涉及对数据进行抽样并将一些数据汇总在一起。本页面介绍两种主要的原始数据处理方法:

  • 抽样,可从数据中移除某些数据。Google Cloud 会进行抽样,并使用日志记录中所需的数据来执行查询中指明的操作。
  • 聚合:根据您指定的维度将多段数据合并成一组较小的数据。

抽样和聚合是强大的工具,有助于识别有趣的模式,并突出显示数据中的趋势或离群值等。

了解校准时间段

聚合时间序列数据的第一步是校准。校准会创建一个新的时间序列,其中原始数据会按时间进行正则化,以便可将其与其他时间序列合并。校准生成具有常规间隔数据的时间序列。

校准包含两个步骤:

  1. 将时间序列划分为固定的时间间隔,也称为数据分桶。该间隔称为校准时间段。
  2. 计算校准时间段内点的单个指标值。您可以选择单点的计算方式;您可以对所有值求和,计算均值或使用最大值。

下图展示了如何使用校准时间段将开始时间和结束时间之间的数据分类。

校准时间段。
校准时间段(点击可放大)。

下图显示了使用 5 分钟校准时间段的结果,以及执行以下步骤:

  1. 创建校准时间段,时间间隔为 5 分钟。
  2. 通过对原始数据中的指标值求和来计算单个指标值。
校准时间段为 5 分钟。
校准时间段为 5 分钟(点击可放大)。

细化程度

如果您知道在几分钟内发生了某事,并且希望深入分析,则可能需要使用一分钟的校准时间段。

如果您希望了解较长时间段内的趋势,则较长的校准时间段可能更合适。大型校准时间段通常不适用于了解短期异常情况,例如流量短暂激增。例如,如果您使用多周校准时间段,则该时间段内仍可能检测到异常,但校准数据可能过于粗略,无法提供帮助。

对于较长的时间段,较短的校准时间段没有帮助。例如,如果您选择 30 天内 1 分钟的校准,Flow Analyzer 会生成超过 43,000 个数据点。由于 43,000 个数据点是 4K 显示像素的 10 倍,您无法查看所有细节,且某些选项会在较长时间段内被禁用。

校准选项

校准选项包括对值求和,查找最大值、最小值或均值,找到指定的百分位值,对值进行计数等操作。使用 Flow Analyzer 时,您可以使用各种指标汇总作为校准选项。

如果您选择发送的字节数作为指标类型,并选择来源和目标作为流量汇总,则可使用以下选项。

  • 总流量
  • 平均流量速率
  • 流量速率中位数
  • P95 流量速率
  • 流量速率上限

如果您选择发送的数据包数作为指标类型,并选择来源和目标作为流量汇总,则可使用以下选项。

  • 汇总数据包
  • 平均数据包速率
  • 数据包速率中位数
  • P95 数据包速率
  • 数据包速率上限

下图显示了使用总流量平均流量率这两个校准选项的结果。

总流量和平均流量。
总流量和平均流量(点击可放大)。

使用校准时间段

您可以使用校准时间段选项将流量汇总到所选时长的时间间隔中。您可以进一步放大图表,并查看具体详情(如有需要)。

后续步骤