关于 VPC 流日志记录

本页面介绍了 VPC 流日志记录格式，包括可用的基本字段和元数据字段，还介绍了如何使用日志过滤，以便仅生成符合特定条件的日志。

记录格式

日志记录包含基本字段（即每个日志记录的核心字段）以及添加额外信息的元数据字段。可以省略元数据字段，以节省存储费用。

某些日志字段采用多字段格式，在给定字段中包含多段数据。例如，connection 字段采用 IpConnection 格式，它在单个字段中包含来源 IP 地址和目的地 IP 地址、端口以及协议。记录格式表下方介绍了这些采用多字段格式的字段。

元数据字段的值并非基于数据层面路径；这些值属于近似值，可能缺失或不正确。与元数据字段不同，基本字段的值直接取自数据包标头。

IpConnection 字段格式

GatewayDetails 字段格式

GkeDetails 字段格式

ClusterDetails 字段格式

PodDetails 字段格式

WorkloadDetails 字段格式

ServiceDetails 字段格式

示例：

如果有两项 Service，则 Service 字段如下所示：

service: [
 0: {
  service_name: "my-lb-service"
  service_namespace: "default"
 }
 1: {
  service_name: "my-lb-service2"
  service_namespace: "default"
 }
]

如果有两项以上的 Service，则 Service 字段如下所示：

service: [
 0: {
  service_name: "MANY_SERVICES"
 }
]

GoogleServiceDetails 字段格式

InstanceDetails 字段格式

GeographicDetails 字段格式

VpcDetails 字段格式

InternetRoutingDetails 字段格式

AsPath 字段格式

AsDetails 字段格式

LoadBalancingDetails 字段格式

NetworkServiceDetails 字段格式

PrivateServiceConnectDetails 字段格式

PrivateServiceConnectEndpointDetails 字段格式

PrivateServiceConnectAttachmentDetails 字段格式

元数据注解

日志记录包含基本字段和元数据字段。记录格式部分列出了哪些字段是元数据类型，哪些是基本类型。所有基本字段始终包含在内。您可以自定义要保留哪些元数据字段。

• 如果您选择了所有元数据，则流日志将包含 VPC 流日志记录格式中的所有元数据字段。向记录格式添加新的元数据字段后，流日志会自动包含新字段。

• 如果您不选择任何元数据，则所有元数据字段都将被忽略。

• 如果选择自定义元数据，您可以通过父字段（如 src_vpc）或其全名（如 src_vpc.project_id）指定要包含的元数据字段

  将新的元数据字段添加到记录格式后，这些字段会从流日志中排除，除非它们位于您指定要包含的父字段中。

  • 如果使用父字段指定自定义元数据，则在向父字段内的记录格式添加新元数据字段后，流日志将自动包含新字段。

  • 如果使用字段的全名指定自定义元数据，则添加到父字段的新元数据字段会从流日志中排除。

如需了解如何自定义元数据字段，请参阅在创建子网时启用 VPC 流日志记录的 Google Cloud CLI 或 API 说明。

GKE 元数据注解

在 GKE 集群中具有端点的流可以使用 GKE 元数据注释进行注释，其中可以包含该端点的集群、Pod 和 Service 的详细信息。

GKE Service 注释

发送到 ClusterIP、NodePort 或 LoadBalancer 的流量可以接收 Service 注释。如果发送到 NodePort 或 LoadBalancer，则流在连接的两个跃点上接收 Service 注释。

直接发送到 Pod 的 Service 端口的流量通过目的地端点上的 Service 注释进行注释。

发送到 Pod 的 Service 端口的流量（其中 Pod 支持同一 Service 端口上的多个 Service）在目的地端点上标注了多个 Service。这仅限于两项 Service。如果超过了该数量，端点将带有一个特殊的 MANY_SERVICES 标记。

互联网流量上的 Pod 注释

默认情况下，Pod 和互联网之间的流量不会接收 Pod 注解。VPC 流日志无法添加 Pod 注解，因为对于发送到互联网的数据包，伪装代理会在 VPC 流日志查看数据包之前将 Pod IP 地址转换为节点 IP 地址。

由于伪装问题，仅当目的地位于默认非伪装目的地或自定义 nonMasqueradeCIDRs 列表之一时，Pod 注释才可见。如果您将互联网目的地添加到自定义 nonMasqueradeCIDRs 列表中，则需要提供一种方法来转换内部 Pod IP 地址，然后才将其传送到互联网。对于专用集群和非专用集群，您可以使用 Cloud NAT。如需了解详情，请参阅 GKE 互动。

日志过滤

启用 VPC 流日志时，您可以根据基本字段和元数据字段设置过滤条件，以仅保留与该过滤条件匹配的日志。所有其他日志在写入 Logging 之前都会被舍弃，这样可以节省资金并缩短查找所需信息的时间。

您可以根据记录格式中列出的任意字段子集进行过滤，但以下字段除外：

• rtt_msec
• bytes_sent
• packets_sent
• start_time
• end_time

VPC 流日志过滤使用 CEL，这是一种基于特性 (Attribute) 的逻辑表达式的嵌入式表达式语言。VPC 流日志的过滤表达式不得超过 2,048 个字符。如需了解详情，请参阅支持的 CEL 逻辑运算符。

如需详细了解 CEL，请参阅 CEL 简介和语言定义。生成过滤器功能仅支持有限的 CEL 语法子集。

如需了解如何创建使用日志过滤的子网，请参阅有关创建子网时启用 VPC 流日志的 gcloud CLI 或 API 说明。

如需了解如何配置日志过滤，请参阅 gcloud CLI 或 API 说明，了解如何更新 VPC 流日志参数。

示例 1：只允许收集名为 my-vm 的特定虚拟机的日志。在这种情况下，仅记录符合下列条件的日志：流量来源报告的 src_instance 字段为 my-vm，或者流量目的地报告的 dst_instance 字段为 my-vm。

gcloud compute networks subnets update my-subnet \
    --logging-filter-expr="(src_instance.vm_name == 'my-vm' && reporter=='SRC') || (dest_instance.vm_name == 'my-vm' && reporter=='DEST')"

示例 2：只允许收集其来源 IP 地址位于 10.0.0.0/8 子网中的数据包的日志。

gcloud compute networks subnets update my-subnet \
    --logging-filter-expr="inIpRange(connection.src_ip, '10.0.0.0/8')"

示例 3：只收集 VPC 外部流量的日志。

gcloud compute networks subnets update my-subnet \
    --logging-filter-expr '!(has(src_vpc.vpc_name) && has(dest_vpc.vpc_name))'

支持的 CEL 逻辑运算符

后续步骤

• 配置 VPC 流日志
• 访问流日志