À propos des enregistrements des journaux de flux VPC

Cette page décrit le format d'enregistrement des journaux de flux VPC, y compris les champs de base et de métadonnées disponibles. Il explique également comment vous pouvez utiliser le filtrage des journaux afin que seuls les journaux correspondant à certains critères soient générés.

Format de l'enregistrement

Les enregistrements de journal contiennent des champs de base, qui constituent les principaux champs de chaque enregistrement de journal, ainsi que des champs de métadonnées qui ajoutent des informations supplémentaires. Les champs de métadonnées peuvent être omis pour réduire les coûts de stockage.

Le format "multi-champs" de certains champs affiche plusieurs données dans un même champ. Par exemple, le champ connection est au format IpConnection, qui contient l'adresse IP et les ports sources et de destination ainsi que le protocole, dans un seul champ. Ces champs particuliers sont décrits sous le tableau relatif au format de l'enregistrement.

Remarque : Les valeurs des champs de métadonnées ne sont pas basées sur le chemin du plan de données. Elles sont approximatives, et peuvent être manquantes ou incorrectes. En revanche, les valeurs des champs de base proviennent directement des en-têtes des paquets.

Format de champ IpConnection

Format de champ GatewayDetails

Format de champ GkeDetails

Format de champ ClusterDetails

Format de champ PodDetails

Format de champ WorkloadDetails

Format de champ ServiceDetails

Exemple :

S'il existe deux services, le champ "Service" se présente comme suit :

service: [
 0: {
  service_name: "my-lb-service"
  service_namespace: "default"
 }
 1: {
  service_name: "my-lb-service2"
  service_namespace: "default"
 }
]

S'il existe plus de deux services, le champ "Service" se présente comme suit :

service: [
 0: {
  service_name: "MANY_SERVICES"
 }
]

Format de champ GoogleServiceDetails

Format de champ InstanceDetails

Format de champ GeographicDetails

Format de champ VpcDetails

Format du champ InternetRoutingDetails

Format du champ AsPath

Format du champ AsDetails

Format de champ LoadBalancingDetails

Format de champ NetworkServiceDetails

Format de champ PrivateServiceConnectDetails

Format de champ PrivateServiceConnectEndpointDetails

Format de champ PrivateServiceConnectAttachmentDetails

Annotations des métadonnées

Les enregistrements de journal contiennent des champs de base et des champs de métadonnées. La section Format de l'enregistrement répertorie les champs qui sont des métadonnées de type et ceux de base. Tous les champs de base sont toujours inclus. Vous pouvez personnaliser les champs de métadonnées à conserver.

• Si vous sélectionnez toutes les métadonnées, tous les champs de métadonnées au format d'enregistrement des journaux de flux VPC sont inclus dans les journaux de flux. Lorsque de nouveaux champs de métadonnées sont ajoutés au format d'enregistrement, les journaux de flux incluent automatiquement les nouveaux champs.

• Si vous ne sélectionnez aucune métadonnée, tous les champs de métadonnées sont omis.

• Si vous sélectionnez des métadonnées personnalisées, vous pouvez spécifier les champs de métadonnées que vous souhaitez inclure par le champ parent, tels que src_vpc, ou par leur nom complet, par exemple src_vpc.project_id.

  Lorsque de nouveaux champs de métadonnées sont ajoutés au format d'enregistrement, ils sont exclus des journaux de flux, sauf s'ils se trouvent dans un champ parent que vous avez spécifié.

  • Si vous spécifiez des métadonnées personnalisées à l'aide de champs parents, lorsque de nouveaux champs de métadonnées sont ajoutés au format d'enregistrement au sein de ce champ parent, les journaux de flux incluent automatiquement les nouveaux champs.

  • Si vous spécifiez des métadonnées personnalisées à l'aide du nom complet du champ, les nouveaux champs de métadonnées ajoutés au champ parent sont exclus des journaux de flux.

Pour en savoir plus sur la personnalisation des champs de métadonnées, consultez les instructions de Google Cloud CLI ou de l'API pour activer la journalisation de flux VPC lorsque vous créez un sous-réseau.

Annotations de métadonnées GKE

Les flux comportant un point de terminaison dans un cluster GKE peuvent être annotés avec des annotations de métadonnées GKE, qui peuvent inclure des détails sur le cluster, le pod et le service du point de terminaison.

Annotations de service GKE

Le trafic envoyé à une ressource ClusterIP, NodePort ou LoadBalancer peut recevoir des annotations de service. Si le trafic est envoyé à une ressource NodePort ou LoadBalancer, le flux reçoit l'annotation de service sur les deux sauts de la connexion.

Le trafic envoyé directement au port de service d'un pod est annoté avec une annotation de service sur le point de terminaison de destination.

Le trafic envoyé au port de service d'un pod où le pod sauvegarde plusieurs services sur le même port de service est annoté avec plusieurs services sur le point de terminaison de destination. Ce processus est limité à deux services. S'il y en a plus, le point de terminaison sera annoté avec un marqueur MANY_SERVICES spécial.

Annotations de pod sur le trafic Internet

Le trafic entre un pod et Internet ne reçoit pas d'annotations de pod par défaut. Les journaux de flux VPC ne peuvent pas ajouter d'annotations de pod, car pour les paquets à destination d'Internet, l'agent de masquage traduit l'adresse IP du pod en adresse IP du nœud avant que les journaux de flux VPC ne voient le paquet.

En raison du masquage, les annotations de pod ne sont visibles que si les destinations se trouvent dans l'un des deux emplacements suivants : des destinations non masquées par défaut ou une liste nonMasqueradeCIDRs personnalisée. Si vous incluez des destinations Internet dans une liste nonMasqueradeCIDRs personnalisée, vous devez fournir un moyen de traduire les adresses IP internes du pod avant qu'elles ne soient transmises à Internet. Pour les clusters privés et non privés, vous pouvez utiliser Cloud NAT. Consultez la section Interaction avec GKE pour en savoir plus.

Filtrage des journaux

Lorsque vous activez les journaux de flux VPC, vous pouvez définir un filtre basé sur les champs de base et de métadonnées qui ne conservent que les journaux correspondant au filtre. Tous les autres journaux sont supprimés avant d'être écrits dans Logging, ce qui vous permet de réaliser des économies et de réduire le temps nécessaire à la localisation des informations recherchées.

Vous pouvez filtrer sur n'importe quel sous-ensemble des champs répertoriés dans Format des enregistrements, à l'exception des champs suivants :

• rtt_msec
• bytes_sent
• packets_sent
• start_time
• end_time

Le filtrage des journaux de flux VPC utilise CEL, un langage d'expression intégré pour les expressions logiques basées sur des attributs. Les expressions de filtre pour les journaux de flux VPC sont limitées à 2 048 caractères. Pour en savoir plus, consultez la section Opérateurs logiques CEL compatibles.

Pour plus d'informations sur la syntaxe CEL, consultez la présentation de CEL et la définition du langage. La fonctionnalité de filtre de génération est compatible avec un sous-ensemble limité de la syntaxe CEL.

Pour en savoir plus sur la création d'un sous-réseau qui utilise le filtrage de journaux, consultez les instructions de gcloud CLI ou de l'API pour Activer les journaux de flux VPC lorsque vous créez un sous-réseau.

Pour en savoir plus sur la configuration du filtrage des journaux, consultez les instructions de gcloud CLI ou de l'API pour mettre à jour les paramètres des journaux de flux VPC.

Exemple 1 : Limiter la collecte des journaux à une VM spécifique nommée my-vm. Dans ce cas, les journaux ne sont enregistrés que lorsque le champ src_instance, tel qu'il est signalé par la source du trafic, correspond à my-vm ou lorsque le champ dst_instance, tel qu'il est signalé par la destination du trafic, correspond à my-vm.

gcloud compute networks subnets update my-subnet \
    --logging-filter-expr="(src_instance.vm_name == 'my-vm' && reporter=='SRC') || (dest_instance.vm_name == 'my-vm' && reporter=='DEST')"

Exemple 2 : Limiter la collecte des journaux aux paquets dont les adresses IP sources se trouvent dans le sous-réseau 10.0.0.0/8.

gcloud compute networks subnets update my-subnet \
    --logging-filter-expr="inIpRange(connection.src_ip, '10.0.0.0/8')"

Exemple 3 : Limiter la collecte des journaux au trafic externe à un VPC

gcloud compute networks subnets update my-subnet \
    --logging-filter-expr '!(has(src_vpc.vpc_name) && has(dest_vpc.vpc_name))'

Opérateurs logiques CEL compatibles

Étapes suivantes

• Configurez les journaux de flux VPC
• Accédez aux journaux de flux