Flow Analyzer 会分析以记录格式存储的 VPC 流日志数据。日志记录包含基本字段(即每个日志记录的核心字段)以及元数据字段(提供更多信息)。用于监控流量的日志记录包含以下三个主要组成部分:
- 资源信息
- 指标类型
- 时间序列
资源信息
日志记录包含以下与资源相关的数据:
指标类型
日志记录包含以下指标类型的数据:
- 已发送的字节数:包含有关载荷量的相关信息,不包含标头。此指标值可以为零,因为某些数据包仅包含标头,不包含任何载荷。
- 发送的数据包数:表示从来源发送到目的地的数据包数。
原始时间序列数据
单个时间序列中的原始指标数据量可能非常大,并且通常有许多时间序列与指标类型相关联。要分析整个数据集的共性、趋势或离群值,您必须对数据集中的时序进行一些处理。否则,需要考虑的数据过多。
为了介绍此页面示例中的抽样和汇总,我们使用了少量虚构的时序。例如,下图显示了每秒字节数指标类型的几个分钟原始数据:
原始时间序列数据必须经过处理才能进行分析,而分析通常涉及对数据进行抽样并将一些数据聚合在一起。本页介绍了两种主要的原始数据优化方法:
- 抽样,可从数据中移除某些数据。Google Cloud 会执行抽样,并使用日志记录中的所需数据执行查询中指示的操作。
- 聚合:根据您指定的维度将多段数据合并成一组较小的数据。
抽样和汇总是强大的工具,有助于识别有趣的模式,并突出显示数据中的趋势或离群值等。
了解校准时间段
聚合时间序列数据的第一步是校准。校准会创建一个新的时序,其中原始数据会按时间进行正则化,以便可将其与其他时序合并。校准生成具有常规间隔数据的时间序列。
校准包含两个步骤:
- 将时间序列划分为固定的时间间隔,也称为数据分桶。该间隔称为校准时间段。
- 计算校准时间段内点的单个指标值。您可以选择单点的计算方式;您可以对所有值求和,计算均值或使用最大值。
下图展示了如何使用对齐周期对开始时间和结束时间内的数据进行分桶。
下图显示了使用以下步骤并将对齐周期设为 5 分钟的结果:
- 创建一个时间间隔为 5 分钟的校准时间段。
- 使用原始数据中的指标值的总和计算单个指标值。
细化程度
如果您知道在几分钟内发生了某事,并且希望深入分析,则可能需要使用一分钟的校准时间段。
如果您希望了解较长时间段内的趋势,则较长的校准时间段可能更合适。大型校准时间段通常不适用于了解短期异常情况,例如流量短时间内出现的峰值。例如,如果您使用多周校准时间段,则该时间段内仍可能检测到异常,但校准数据可能过于笼统,无法提供帮助。
对于较长的时间段,较短的校准时间段没有帮助。例如,如果您选择 30 天内 1 分钟的校准时间,则流量分析器会生成超过 43,000 个数据点。由于 43,000 个数据点是 4k 显示屏像素的 10 倍,因此您无法查看所有详细信息,并且在长时间段内,部分选项会停用。
对齐方式选项
校准选项包括对值求和,查找值的最大值、最小值或均值,找到所选的百分位值,对值进行计数,等等。使用 Flow Analyzer,您可以将各种指标汇总用作对齐选项。
如果您选择发送的字节数作为指标类型,并选择来源和目的地作为流量汇总,则可以使用以下选项。
- 总流量
- 平均流量速率
- 流量速率中位数
- P95 流量速率
- 流量速率上限
如果您选择发送的数据包数作为指标类型,并选择来源和目的地作为流量汇总,则可以使用以下选项。
- 汇总数据包
- 平均数据包速率
- 数据包速率中位数
- P95 数据包速率
- 数据包速率上限
下图显示了使用总流量和平均流量速率这两个对齐选项的结果。
使用校准时间段
您可以使用对齐周期选项将流量汇总到所选时长的时间间隔中。您可以根据需要进一步放大图表,查看具体详情。