您应该使用哪个:Logging 代理还是客户端库?

本文档提供了有助于您决定是使用客户端库还是使用日志记录代理以编程方式将应用日志发送到 Cloud Logging 的信息。Logging 代理会将写入文件(例如 stdout 或文件)的数据作为日志发送到 Cloud Logging。Google Kubernetes Engine、App Engine 弹性环境和 Cloud Run 函数等服务包含集成的日志记录代理。对于 Compute Engine,您可以安装 Ops Agent 或旧版 Cloud Logging 代理。这些代理会从已知文件位置或日志记录服务(例如 Windows Event Logjournaldsyslogd)收集日志。

如果您无法使用客户端库或 Logging 代理,或者您只想进行实验,则可以使用 gcloud logging write 命令或向 Cloud Logging API 端点 entries.write 发送 HTTP 命令来写入日志。Cloud Logging API 同时支持 HTTP 和 gRPC 调用。Ops Agent 和大多数 Logging 客户端库都会调用 gRPC Logging API。某些语言的旧版 Logging 代理和客户端库会调用 REST Logging API。

选择代理或客户端库

在代理或客户端库之间做出决定时,请考虑以下问题:

您的应用是否在 Google Cloud 之外运行?

如果您的应用未在 Google Cloud 上运行,则需要通过某种方式将日志发送到 Logging API。如需将日志从本地系统路由到 Logging,我们建议您使用 observIQ 提供的 BindPlane。如需详细了解 BindPlane,请参阅 observIQ 和 BindPlane 简介

或者,您也可以使用客户端库直接从应用将日志路由到 Logging。对于短时性环境(例如无服务器计算),您必须使用客户端库直接调用 Logging API。

运行应用的 Google Cloud 服务是否支持
向项目写入 stdoutstderr 内容?

某些 Google Cloud 服务是全代管式,因此您无需使用代理将日志发送到 Google Cloud 项目。您可以使用任意成熟的日志记录框架(采用您选择的语言,例如 Go、Node.js 和 Python),将日志发送到默认支持 stdoutstderr 的产品中的日志记录功能。依赖 stdoutstderr 而非使用客户端库的一个优势是,应用崩溃不会中断向项目发送日志。如需了解如何通过 stdoutstderr 发送结构化日志,请参阅您的应用是否能够灵活地更改日志格式?部分。

您可以使用 Logging 客户端库,但请注意,这可能会在 Logging 中引入用于本地测试的依赖项(您不一定需要它时)。使用客户端库可能还需要使用更复杂的编码来明确处理缓冲和重试。此外,每次使用 Logging 客户端库都会创建指向 API 的新连接流。这些新连接会增加复杂性,使用其他端口,并且仅使用应用中的日志发送单独的请求,如果没有太多日志,这可能会造成浪费。

是否需要能够在本地环境中访问应用日志?

如果您需要出于调试和其他目的访问本地环境中的应用日志,则可以使用某些语言的日志记录模块将日志输出到 stdoutstderr。某些语言的 Logging 客户端库支持将日志路由到 stdoutstderr

如果您在不支持自动将写入 stdoutstderr 的日志发送到 Google Cloud 项目的 Google Cloud 服务中运行应用,则可以收集磁盘文件中的 stdoutstderr 日志,并将代理配置为抓取这些日志并将其发送到 Logging。如需了解详情,请参阅 Ops Agent 或旧版 Logging 代理的配置指南。

代理安装过程是手动还是自动?

某些服务会自动安装代理,或者允许您自行安装代理。如果您使用的服务不允许您安装代理,则必须使用客户端库才能使用 Logging。

您是否已在系统中运行 Fluentd?

旧版 Logging 代理基于 Fluentd。

如果您已在系统中运行 Fluentd,并且希望使用该守护程序将日志发送到 Logging,请使用 fluentd 的 Google Cloud Logging 插件

您是否还收集 Cloud Monitoring 的应用指标?

在 Compute Engine 虚拟机中,Ops Agent 可以收集日志和大多数指标。如需了解详情,请参阅 Ops Agent 功能

如果 Ops Agent 不能应对您的使用场景,则您可以使用旧版 Monitoring 代理Monitoring 客户端库来收集指标。

您的应用是否能够灵活地更改日志格式?

此问题有助于您确定应用是否可以生成结构化日志。如果您以结构化日志记录格式将日志发送到 Logging API,Logging 会识别结构化日志。客户端库提供了处理此格式的方法。

写入结构化日志的方法有两种:一种方法是LogEntry 信封中设置特定自动字段,另一种方法是LogEntry 信封中设置 jsonPayload 字段。前者的架构由 Cloud Logging 决定,而后者的架构由用户决定。

您必须配置代理以识别结构化日志。默认情况下,代理会配置为检测 JSON 格式的日志,并将其作为结构化日志进行处理。如果您的应用有自己的日志格式,并且您无法更改,但希望将日志识别为结构化日志,则必须将日志以结构化日志格式(通常为 JSON)写入 stdoutstderr,以便代理可以将其识别为结构化日志。否则,您必须配置代理以理解您自己的格式。

各个选项的摘要

日志记录模式示意图

  • Cloud Logging 客户端库

    • 优势

      • 您可以将日志直接路由到 Cloud Logging API。
      • 某些语言可以使用该库将日志输出到 stdoutstderr
    • 缺点

      • 应用崩溃会中断向 Google Cloud 项目发送日志。
  • Ops Agent

    • 优点
      • Ops Agent 可以使用稳定的开源技术发送日志和指标:Fluent Bit(用于日志收集)和 OpenTelemetry 收集器(用于指标收集)。
      • 您可以从许多常见应用收集日志和指标;请参阅从第三方应用监控并收集日志
      • 您可以在本地环境中保留日志。
      • 您或许可以从应用崩溃中恢复日志。
      • Ops Agent 正处于积极开发阶段。
  • 旧版 Logging 代理

    • 优点
      • 该代理使用 Fluentd 收集日志。
      • 您可以在本地环境中保留日志。
      • 您或许可以从应用崩溃中恢复日志。
    • 缺点
      • 代理目前受支持,但未处于积极开发阶段。
  • 自动发送到您的 Google Cloud 项目的 stdoutstderr 日志

    • 优点
      • 这是将日志发送到本地环境的常用方法。
      • 您可以使用任意日志记录库。
      • 您或许可以从应用崩溃中恢复日志。
    • 缺点
      • 并非所有环境都会自动将日志路由到 Logging。