排查 Cloud Storage 订阅问题

本页面提供了一些常见的 Cloud Storage 订阅问题排查提示。

查看 Cloud Storage 订阅的状态

如需查看订阅的状态,请按以下步骤操作:

  1. 在 Google Cloud 控制台中,前往 Pub/Sub 订阅页面。

    前往订阅页面

  2. 查看 Cloud Storage 订阅的状态图标。

    • 如果图标显示为绿色对勾标记,则表示订阅正常。

    • 如果图标是红色感叹号,则表示订阅处于错误状态。

  3. 点击 Cloud Storage 订阅。

    系统会打开订阅详情页面。

  4. 查看订阅状态,了解错误消息。

  5. 根据错误消息,前往本页中的相关部分排查问题。

问题解决后,订阅最终会恢复为正常状态。

无法创建或更新订阅

如果您在创建或更新 Cloud Storage 订阅时遇到问题,请参阅以下常见问题。

“找不到存储分区”错误

如果您在创建或更新订阅工作流中指定的存储桶不存在,则该工作流会返回 bucket not found 错误。Google Cloud 控制台中显示的消息类似于以下内容:

The Cloud Storage bucket specified cannot be found.

如需解决此问题,请创建存储桶,或更新您的 Cloud Storage 订阅以使用现有存储桶。

服务账号错误

如果您未使用正确的权限配置 Pub/Sub 服务账号,则创建或更新订阅工作流会返回错误。Google Cloud 控制台中显示的消息类似于以下内容:

Cloud Pub/Sub did not have the necessary permissions configured to access
the provided bucket my-bucket (or the bucket may not exist).
Please verify that the service account
service-112233445566@gcp-sa-pubsub.iam.gserviceaccount.com
was granted the Storage Legacy Bucket Reader and Storage Object Creator
roles for the provided bucket.

如需解决此问题,请检查服务账号是否具有正确的权限

订阅状态显示红色感叹号

如果您在创建订阅后修改了存储桶,则可能会影响 Pub/Sub 将消息写入存储桶的方式。如果更改导致问题,则订阅的状态字段会设为错误状态

在“订阅详情”页面中,查看字段 Subscription state 的状态。 Subscription state 字段会提供更具体的错误,可能是以下某种错误:

  • 找不到存储桶:存储桶已被删除。 重新创建存储桶,或更新订阅以使用现有存储桶。

  • 存储桶权限被拒:Pub/Sub 服务账号不再有权向存储桶写入数据。检查服务账号是否具有正确的权限

当 Pub/Sub 订阅处于错误状态时,系统不会将消息写入存储桶,而是会将其保留在订阅积压消息中。请注意,消息不会传送到关联的死信主题(如果已配置)。未确认的消息会保留在 message_retention_duration 中设置的时间段内(默认 7 天)。

订阅处理消息的速度非常慢

某些订阅设置可能会减慢消息处理速度。

例如,在 Cloud Storage 订阅中启用消息排序可能会导致消息写入 Cloud Storage 但未最终确定,从而延迟具有相同排序键的后续消息。为了获得更好的性能,请考虑在发布消息时使用更广泛的排序键,或者在您的用例不需要时停用消息排序。

为 Cloud Storage 订阅设置的文件大小上限过低也会对性能产生负面影响。如果文件大小上限过低,可能会导致 Pub/Sub 创建许多 Cloud Storage 对象,但每个对象中只有少量消息。创建和完成对象的额外开销会减慢消息处理速度。为了获得更好的性能,不妨考虑提高 Cloud Storage 订阅的文件大小上限设置或移除文件大小限制。

配额限制

另一种可能的原因是您的项目已达到其 Pub/Sub 推送吞吐量配额 (pubsub.googleapis.com/regionalpushsubscriber)。如需检查您是否遇到了配额限制,请检查推送请求指标 (subscription/push_request_count),看看是否存在任何 resource_exhausted 错误。

查看项目的配额,并确认您还有足够的剩余配额。在包含您的 Pub/Sub 订阅的项目中,依次前往 IAM 和管理 > 配额。搜索 pubsub.googleapis.com/regionalpushsubscriber 配额。如果您即将达到配额限制,可以申请提高配额

订阅会创建比预期更多的文件

为了提高可伸缩性,您的 Cloud Storage 订阅可能会由多个 Pub/Sub 后端处理。每个后端都会写入单独的 Cloud Storage 文件,因此您可能会发现 Cloud Storage 创建的文件数量超出预期,尤其是对于低吞吐量工作负载。

这是正常现象。如果您想减少订阅创建的文件数量,可以考虑提高订阅的文件批处理设置,以允许创建较大的文件。您还可以将这些文件组合成更少数量的较大文件,以便进行后处理。

后续步骤

  • 如果您的 Cloud Storage 订阅仍存在问题,请参阅获取支持