监控数据流

您可以使用 Datastream 来监控数据流处理的数据和事件。此信息显示在下图中：

  • 吞吐量：Datastream 处理数据或事件的速率。此速率可以是：

    • Datastream 从来源转移到目标位置的数据量 (MB)。

    • 与要转移的数据相关联的事件数。事件是来源中的单次更改，例如数据库中的表添加了一个新行。

  • 不受支持的事件数：从来源到目标位置无法处理的事件数。

  • 数据新鲜度：驻留在来源中的数据与通过数据流传输到目标位置的数据之间的时间差。其计算方法为：处理的最早事件的源时间戳与读取时间戳之间的时间间隔。如果没有要从来源读取的新事件，新鲜度会设为 0。

    如果有已加入队列但尚未由 DataStream 处理的事件，则在 DataStream 计算数据新鲜度指标时，不会将这些事件纳入考量范围。例如，如果吞吐量出现峰值，则只有在 Datastream 处理导致峰值的事件后，新鲜度指标才会反映出这一点。

  • 系统延迟时间：Datastream 处理事件所需的时间。此间隔的计算方法为从 Datastream 读取事件到事件写入目标位置之间的时间。

  • 总延迟时间：数据写入来源与相应事件写入目标位置的时间差。

监控处理的数据或事件

  1. 前往 Google Cloud 控制台中的数据流页面。

    转到“数据流”页面

  2. 点击要监控的数据流。

  3. 可选。滚动屏幕，直到出现数据新鲜度图表。对于此图表，请点击创建提醒政策链接，为其创建提醒政策。提醒政策描述了您要针对图表监控的一组条件。

    点击该链接后，Cloud Monitoring 中会显示创建提醒政策页面。在此页面上，您可以为图表定义提醒政策。这包括指定哪些条件会触发该政策、满足这些条件时将向哪些人发送通知，以及以何种方式发送通知。

    如需详细了解提醒政策（包括如何创建提醒政策），请参阅管理基于指标的提醒政策。

  4. 点击监控标签。

  5. 滚动到代表 Datastream 监控的数据或事件的所需图表处。

  6. （可选）如果您正在查看吞吐量图表，选择（字节/秒）可查看 Datastream 从来源转移到目标位置的数据量，或者选择（事件/秒）可查看与要转移的数据相关联的事件数量。

  7. 要查看 Datastream 在几小时或数天内处理的数据量或事件数，请点击 1 小时、6 小时、12 小时、1 天、2 天、4 天、7 天、14 天或 30 天。

    或者，如需设置自定义范围，请选择自定义菜单，然后使用日历选择器指定开始日期和时间以及结束日期和时间，以获取要查看的数据量或事件数量。

    Datastream 会更新窗格中的图表以反映您的选择，并显示您指定的间隔。

    例如，如果今天是 2021 年 10 月 31 日，而您点击 30 天，则该图表将显示 Datastream 自 2021 年 10 月 1 日起处理的数据量或事件数量。

  1. 将指针悬停在图表中的线条上可显示 Datastream 在特定日期和时间处理的数据量或事件数量。

后续步骤