使用跳转功能重放和清除消息

在 Pub/Sub 中确认消息后,订阅方客户端将无法访问这些消息。此外,订阅者客户端必须处理订阅中的每条消息,即使只需要一部分消息也是如此。

还原功能允许您批量更改消息的确认状态,从而扩展订阅者功能。例如,您可以重放以前确认的消息或批量完全清除消息。此外,您还可以将还原功能与快照结合使用,将一个订阅的确认状态复制到另一个订阅。

如需快速演示这些功能的运作方式,请参阅通过跳转至快照或时间戳来重放 Pub/Sub 中的消息

快照和跳转概览

Pub/Sub 快照是一个持久且一致的视图,它以可靠的方式显示了订阅在某个时间点的消息确认 (ack) 状态。快照会记录订阅在创建时所有消息的确认状态。快照会保留快照创建时来源订阅的未确认消息,以及在快照创建后发布到主题的所有消息。

快照的生命周期由源订阅的现有积压情况决定。生命周期等于 7 天减去订阅中最早的未确认消息的存在时间。例如,设想某一订阅的快照,此订阅的积压中最早的未确认消息已保留一天时间。快照将在 6 天后过期。此时间轴对于快照提供强有力的至少传送一次保证是必要的。

快照的可能有效期最长为 7 天。您无法创建在创建后不到 1 小时内到期的快照。

借助跳转功能,您可以跳转到订阅的特定快照或时间戳。借助此功能,您可以控制 Pub/Sub 如何传送特定时间点或特定快照中的消息。

如需还原至过去某一时间并重放之前已确认的消息,您必须先配置主题的消息保留或配置订阅以保留已确认的消息:

跳转操作的最终一致性

还原操作与消息传送保证严格一致。这意味着任何基于还原条件而未被确认的消息,可保证在还原操作成功后最终至少传送一次。但是,已传送的消息不会立即与还原操作保持一致。因此,在还原时间戳之前发布的消息或在快照中确认的消息可能会在还原操作之后传送。从某种意义上说,消息传送作为相对于还原操作的最终一致系统运行:该操作可能需要一分钟才能完全生效。

跳转操作的用例

  • 安全地更新订阅者代码。 部署新订阅者代码的一个问题是新的可执行文件可能会错误地确认消息,导致消息丢失。将快照合并到部署过程中,可让您从新订阅者代码中的 Bug 进行恢复。
  • 从意外的订阅者问题中恢复。如果订阅者问题与特定部署事件无关,您可能没有相关快照。在这种情况下,如果您为订阅启用了“保留确认过的消息”,则还原至过去某一时间可让您从错误中恢复。
  • 节省处理时间和费用。对不再相关的大量积压消息执行批量确认。
  • 根据已知数据测试订阅者代码。 在测试订阅者代码的性能和一致性时,每次运行都使用相同的数据会很有用。 快照通过强大的语义实现了数据的一致性。此外,快照还可以应用于给定主题的任何订阅,包括新创建的订阅。

配置消息保留

您可以配置主题的消息保留,并配置其任何订阅以保留已确认的消息。如果您希望保留消息以用于重放的时间长于所配置的订阅消息保留时间,则可能需要配置主题消息保留。在这种情况下,系统将根据主题的项目和订阅的项目相应的消息保留设置来收取消息存储费用。

如果未配置主题消息保留功能,则当未确认的消息的存在时间超过订阅的 message_retention_duration 属性时,系统会从订阅中删除该消息。另一方面,如果配置了主题消息保留功能,则只有在未确认的消息的存在时间超过主题的和订阅的 message_retention_duration 上限时,系统才会从订阅中删除该消息。

配置主题消息保留

默认情况下,Pub/Sub 主题会在附加到该主题的所有订阅确认消息后立即舍弃消息。配置具有保留功能的主题可让您获得更大的灵活性,允许附加到该主题的任何订阅回溯并重放之前确认的消息,直至主题的 message_retention_duration。主题消息保留功能还允许订阅重放您在创建订阅之前发布的消息。

即使所有附加的订阅都已确认已发布的消息,主题最多也只能保留 31 天(可通过主题的 message_retention_duration 属性进行配置)。如果主题的 message_retention_duration 大于订阅的 message_retention_duration,则只有在消息的存在时间超过主题的 message_retention_duration 时,Pub/Sub 才会舍弃该消息。

如果启用了主题消息保留,则由主题保留的消息的存储费用将计入主题的项目。

控制台

如需创建启用了消息保留功能的主题,请按以下步骤操作:

  1. 在 Google Cloud 控制台中,前往 Pub/Sub 主题页面。

    转到“主题”页面

  2. 点击创建主题

  3. 主题 ID 字段中,输入主题 ID。

  4. 启用设置消息保留时长

    其他选项保留为默认设置。

  5. 使用消息保留时长下拉菜单选择消息的保留天数、小时数和分钟数。

  6. 点击创建主题以保存主题。

如需更新主题的消息保留设置,请执行以下操作:

  1. Pub/Sub 主题页面中选择您的主题。

    转到“主题”页面

  2. 点击主题详情页面顶部的修改

  3. 选中或取消选中启用消息保留功能选项,以调整保留期限或启用/停用消息保留功能。

  4. 点击更新以保存对主题的更改。

gcloud

如需创建消息保留时长为 7 天的主题,请使用以下 gcloud pubsub topics create 命令:

gcloud pubsub topics create TOPIC_ID --message-retention-duration=7d

您可以使用 gcloud pubsub topics update 更新此设置。 您也可以为现有主题启用消息保留功能:

gcloud pubsub topics update TOPIC_ID --message-retention-duration=1d

您还可以使用 update 命令停用主题的消息保留功能:

gcloud pubsub topics update TOPIC_ID --clear-message-retention-duration

配置订阅消息保留

Pub/Sub 会在订阅创建后开始代表订阅保留消息。默认情况下,Pub/Sub 会在消息确认后立即从订阅中舍弃消息。未确认的消息会保留默认 7 天(可通过订阅的 message_retention_duration 属性配置)。

通过配置订阅来保留已确认的消息(使用 retain_acked_messages 属性),您可以重放之前由订阅保留的已确认消息。您可以配置订阅中的消息最多保留 31 天。此配置同时适用于已确认和未确认的消息。

如果订阅配置为保留已确认的消息,则由该订阅保留的已确认消息的存储费用将计入订阅的项目。

控制台

如需创建启用了保留已确认消息的订阅,请按照以下步骤操作:

  1. 在 Google Cloud 控制台中,前往 Pub/Sub 订阅页面。

    转到“订阅”页面

  2. 点击创建订阅

  3. 订阅 ID 字段中,输入订阅的 ID。

  4. 使用消息保留时长下拉菜单选择消息的保留天数、小时数和分钟数。

  5. 启用保留已确认的消息。其他选项保留为默认设置。

  6. 点击创建订阅以保存订阅。

如需更新订阅的消息保留设置,请执行以下操作:

  1. Pub/Sub 订阅页面选择您的订阅。

    转到“订阅”页面

  2. 点击订阅详情页面顶部的修改

  3. 调整消息保留时长,或者通过选中或取消选中保留已确认的消息字段来启用或停用已确认消息的保留。

  4. 点击更新以保存对订阅的更改。

gcloud

如需创建启用了保留已确认消息的订阅,请使用以下 gcloud pubsub subscriptions create 命令:

gcloud pubsub subscriptions create SUBSCRIPTION_ID
    --retain-acked-messages
    --message-retention-duration=5d

您可以使用 gcloud pubsub subscriptions update 更新此设置。您也可以为现有订阅启用已确认消息的保留:

gcloud pubsub subscriptions update SUBSCRIPTION_ID --message-retention-duration=1d

您还可以使用 update 命令停用订阅的已确认消息保留功能:

gcloud pubsub subscriptions update SUBSCRIPTION_ID --no-retain-acked-messages

创建快照

您可以使用控制台、Google API 或 Google Cloud CLI 创建快照。

控制台

如需创建快照,请按以下步骤操作:

  1. 在 Google Cloud 控制台中,转到快照页面。

    前往“快照”页面

  2. 点击创建快照

  3. 选择 Pub/Sub 订阅部分,选择一个订阅。

  4. 对于快照 ID,输入快照的名称。

    如需详细了解如何命名 Pub/Sub 资源,请参阅主题、订阅、架构或快照命名指南

  5. 点击创建以创建快照。

您还可以通过订阅页面创建快照。如果您在创建订阅后立即创建快照,可能会因新创建的订阅的传播延迟而收到错误。

gcloud

如需创建快照,请使用以下 gcloud pubsub snapshots create 命令:

gcloud pubsub snapshots create \
    --project=PROJECT_ID \
    --subscription=SUBSCRIPTION_ID \
    SNAPSHOT_ID

替换以下内容:

  • PROJECT_ID。指定项目的 ID。

  • SUBSCRIPTION_ID。指定订阅的 ID。

  • SNAPSHOT_ID。指定快照的 ID。

还原至某一时间戳

还原至某一时间会将 Pub/Sub 在该时间之前收到的每条消息标记为已确认,以及将在该时间之后收到的所有消息标记为未确认。

您可以根据时间戳执行以下类型的跳转操作:

  • 如需清除所有消息,您可以跳转到将来的某个时间。

  • 如需重放和重新处理先前确认过的消息,请还原至过去的某一时间。

消息发布时间由 Pub/Sub 服务器生成(请参阅 API 参考文档中的 publishTime)。由于以下原因,此方法不精确:

  • Pub/Sub 服务器之间可能存在时钟偏差。

  • Pub/Sub 必须使用发布请求的到达时间而不是源系统中事件的发生时间。

您可以使用控制台、Google API 或 Google Cloud CLI 跳转到时间戳。在对订阅进行跳转之前,请确保订阅已启用消息保留功能。

控制台

如需跳转到某个时间戳,请按以下步骤操作:

  1. 在 Google Cloud 控制台中,前往订阅页面。

    前往“订阅”页面

  2. 点击已启用消息保留功能的订阅。

  3. 在订阅详情页面中,点击重放消息

  4. 对于跳转,请点击至上一个时间点

  5. 选择合适的日期和时间,然后点击跳转

gcloud

如需跳转到时间戳,请使用以下 gcloud pubsub subscriptions seek 命令:

gcloud pubsub subscriptions seek SUBSCRIPTION_ID \
    --time=TIME \

替换以下内容:

  • TIME:您要执行跳转操作的时间。
  • SUBSCRIPTION_ID:订阅的 ID。

如需详细了解支持的时间格式,请参阅 gcloud topic datetimes

跳转至快照

通过使用快照来还原至主题的任何订阅,您可以重放未确认的消息。

与还原至时间点不同,您无需执行任何特殊订阅配置即可还原至快照。您只需提前创建快照。例如,您可以在部署新订阅者代码时创建快照,以防您需要从意外或错误的确认中恢复。

如果订阅中的积压队列过时,并且生成的快照将在 1 小时内过期,则跳转操作会失败。

您可以使用控制台、Google API 或 Google Cloud CLI 跳转到快照。

控制台

如需跳转到某个快照,请按以下步骤操作:

  1. 在 Google Cloud 控制台中,前往订阅页面。

    前往“订阅”页面

  2. 点击相应订阅。

  3. 在订阅详情页面中,点击重放消息

  4. 对于跳转,点击到快照

  5. 选择合适的快照,然后点击跳转

gcloud

如需跳转到快照,请使用以下 gcloud pubsub subscriptions seek 命令:

gcloud pubsub subscriptions seek SUBSCRIPTION_ID \
    --snapshot=SNAPSHOT_ID

替换以下内容:

  • SNAPSHOT_ID:快照的 ID。快照的主题必须与订阅的主题相同。
  • SUBSCRIPTION_ID:订阅的 ID。

使用过滤条件查找

您可以重放带有过滤条件的订阅传来的消息。如果您使用带有过滤条件的订阅来查找时间戳,Pub/Sub 服务只会重新传送与过滤条件匹配的消息。

带有过滤条件的订阅快照包含以下消息:

  • 早于快照的所有消息,包括与过滤条件不匹配的消息。
  • 早于快照的未确认消息。

如果您使用包含过滤条件的订阅还原快照,Pub/Sub 服务只会重新传送快照中与还原请求匹配的订阅过滤条件相匹配的消息。

如需详细了解过滤条件,请参阅过滤消息

使用死信主题查找

如果您希望查找包含0死信主题的订阅消息,Pub/Sub 会将传送尝试设置为 。您通过这些订阅收到的消息中有一个统计传送尝试次数的字段。

如需详细了解死信主题,请参阅转发到死信主题

使用重试政策查找

如果您通过重试政策查找订阅中的消息,Pub/Sub 会重置以下各项之间的延迟:

  1. 确认截止时间即将到期或订阅者发送否定确认。
  2. Pub/Sub 重新发送该消息。

如需详细了解重试政策,请参阅使用重试政策

使用“仅传送一次”传送方式进行跳转

如果您希望查找采用“只传送一次”传送模式的订阅中的消息,Pub/Sub 会重新发送之前确认过且符合传送条件的消息。在执行 seek 操作之前进行的传送的所有确认都会失败。跳转操作具有最终一致性

如需详细了解重试政策,请参阅仅传送一次