Présentation des récepteurs agrégés

Ce document décrit les récepteurs agrégés, qui vous permettent de rassembler et d'acheminer les entrées de journal provenant de ressources d'un dossier ou d'une organisation vers une destination compatible. Nous vous recommandons d'utiliser des sinks agrégés pour acheminer vos données de journal vers un emplacement de stockage central.

À propos des récepteurs agrégés

Un récepteur agrégé est semblable à un récepteur au niveau du projet, car il contient des filtres et une destination. Toutefois, le routeur de journaux envoie les entrées de journal suivantes à un récepteur agrégé:

  • Toutes les entrées de journal provenant d'un dossier ou d'une organisation.
  • Toutes les entrées de journal provenant des ressources enfants du dossier ou de l'organisation.

Par exemple, si vous créez un récepteur agrégé au niveau du dossier, le routeur de journaux envoie à ce récepteur toutes les entrées de journal provenant du dossier ou des ressources enfants du dossier.

Lorsque des récepteurs agrégés existent dans la hiérarchie des ressources d'une entrée de journal, le routeur de journaux envoie initialement l'entrée de journal à ces récepteurs. Étant donné que les récepteurs agrégés peuvent être intercepteurs ou non, le routeur de journaux peut ne pas envoyer d'entrée de journal acheminée par un récepteur agrégé aux récepteurs au niveau du projet.

Interception du récepteur agrégé

Un récepteur agrégé intercepteur empêche l'acheminement des entrées de journal vers les récepteurs des ressources enfants, à l'exception des récepteurs _Required des ressources d'où proviennent les entrées de journal. Un récepteur agrégé intercepteur peut être utile pour éviter que des copies en double des entrées de journal ne soient stockées à plusieurs endroits.

Par exemple, supposons que vous deviez activer les journaux d'audit des accès aux données à des fins d'audit. Pour simplifier votre analyse, vous souhaitez stocker ces journaux dans un emplacement central. Toutefois, pour des raisons de sécurité et de coût, vous souhaitez également empêcher le stockage de ces journaux au niveau du projet. Pour ce scénario, vous pouvez créer un récepteur agrégé intercepteur.

Récepteur agrégé non intercepteur

Un récepteur agrégé non intercepteur n'affecte pas la façon dont les entrées de journal sont acheminées vers d'autres récepteurs. Autrement dit, même lorsqu'une entrée de journal correspond au filtre d'un récepteur agrégé non intercepteur, cette entrée de journal est ensuite transférée vers d'autres récepteurs dans la hiérarchie des ressources de l'entrée de journal. Un collecteur agrégé non intercepteur vous permet de conserver la visibilité des entrées de journal dans les ressources dans lesquelles elles ont été générées.

Par exemple, vous pouvez créer un récepteur agrégé non intercepteur qui achemine toutes les entrées de journal générées à partir des dossiers d'une organisation vers un bucket de journaux central. Les entrées de journal sont stockées dans le bucket de journaux central. Toutefois, comme le récepteur n'est pas intercepteur, le routeur de journaux envoie également des entrées de journal aux récepteurs de journaux dans la ressource dans laquelle elles ont été générées.

Exemples de routage

Cette section illustre comment une entrée de journal provenant d'un projet peut passer par les collecteurs de sa hiérarchie de ressources.

Exemple: Aucun récepteur agrégé n'existe

Lorsqu'aucun récepteur agrégé n'existe dans la hiérarchie des ressources de l'entrée de journal, l'entrée de journal est envoyée aux récepteurs de journaux du projet d'où elle provient. Un récepteur au niveau du projet achemine l'entrée de journal vers la destination du récepteur lorsqu'elle correspond au filtre d'inclusion du récepteur, mais pas à l'un de ses filtres d'exclusion.

Exemple: Un collecteur agrégé non intercepteur existe

Supposons qu'un récepteur agrégé non intercepteur existe dans la hiérarchie des ressources pour une entrée de journal. Une fois que le routeur de journaux a envoyé l'entrée de journal au récepteur agrégé non intercepteur, voici ce qui se passe:

  1. Le récepteur agrégé non intercepteur achemine l'entrée de journal vers la destination du récepteur lorsqu'elle correspond au filtre d'inclusion, mais ne correspond à aucun filtre d'exclusion.

  2. Le routeur de journaux envoie l'entrée de journal aux récepteurs de journaux du projet d'où elle provient.

    Un récepteur au niveau du projet achemine l'entrée de journal vers la destination du récepteur lorsqu'elle correspond au filtre d'inclusion du récepteur, mais pas à l'un de ses filtres d'exclusion.

Exemple: Un récepteur agrégé intercepteur existe

Supposons qu'un récepteur agrégé intercepteur existe dans la hiérarchie des ressources pour une entrée de journal. Une fois que le routeur de journaux a envoyé l'entrée de journal au récepteur agrégé intercepteur, l'une des situations suivantes se produit:

  • L'entrée de journal correspond au filtre d'inclusion, mais ne correspond à aucun filtre d'exclusion:

    1. L'entrée de journal est acheminée vers la destination du récepteur agrégé intercepteur.
    2. L'entrée de journal est envoyée au récepteur _Required du projet d'où elle provient.

  • L'entrée de journal ne correspond pas au filtre d'inclusion ou correspond à au moins un filtre d'exclusion:

    1. L'entrée de journal n'est pas acheminée par le récepteur agrégé intercepteur.

    2. Le routeur de journaux envoie l'entrée de journal aux récepteurs de journaux du projet d'où elle provient.

      Un récepteur au niveau du projet achemine l'entrée de journal vers la destination du récepteur lorsqu'elle correspond au filtre d'inclusion du récepteur, mais pas à l'un de ses filtres d'exclusion.

Destinations compatibles pour les récepteurs agrégés

Cette section liste les destinations compatibles avec les récepteurs agrégés.

Récepteurs d'interception

La destination d'un récepteur agrégé d'interception doit être un projetGoogle Cloud .

Les récepteurs de journaux du projet de destination rediriger les entrées de journal vers leurs destinations. Toutes les destinations, à l'exception des projets, sont acceptées. Par exemple, les sinks de journaux dans le projet de destination peuvent rediriger les entrées de journaux vers un bucket de journaux.

Récepteurs non intercepteurs

La destination d'un récepteur agrégé non intercepteur peut être l'une des suivantes:

La destination d'un récepteur peut se trouver dans une ressource différente de celle du récepteur. Par exemple, vous pouvez utiliser un récepteur de journaux pour acheminer les entrées de journal d'un projet vers un bucket de journaux stocké dans un autre projet.

Les destinations suivantes sont acceptées:

Google Cloud projet

Sélectionnez cette destination lorsque vous souhaitez que les récepteurs de journaux du projet de destination rediriger vos entrées de journal ou lorsque vous avez créé un récepteur agrégé intercepteur. Les sinks de journaux du projet qui est la destination du sink peuvent rediriger les entrées de journal vers n'importe quelle destination compatible, sauf un projet.

Bucket de journaux

Sélectionnez cette destination lorsque vous souhaitez stocker vos données de journal dans des ressources gérées par Cloud Logging. Les données de journal stockées dans des buckets de journaux peuvent être consultées et analysées à l'aide de services tels que l'explorateur de journaux et l'analyse de journaux.

Si vous souhaitez joindre vos données de journaux à d'autres données d'entreprise, vous pouvez stocker vos données de journaux dans un bucket de journaux et créer un ensemble de données BigQuery associé. Un ensemble de données associé est un ensemble de données en lecture seule qui peut être interrogé comme n'importe quel autre ensemble de données BigQuery.

Ensemble de données BigQuery
Sélectionnez cette destination lorsque vous souhaitez associer vos données de journal à d'autres données d'entreprise. L'ensemble de données que vous spécifiez doit être activé en écriture. Ne définissez pas la destination d'un récepteur sur un ensemble de données BigQuery associé. Les ensembles de données associés sont en lecture seule.
Bucket Cloud Storage
Sélectionnez cette destination lorsque vous souhaitez stocker vos données de journal à long terme. Le bucket Cloud Storage peut se trouver dans le même projet que les entrées de journal ou dans un autre projet. Les entrées de journaux sont stockées sous forme de fichiers JSON.
Sujet Pub/Sub
Sélectionnez cette destination lorsque vous souhaitez exporter vos données de journal à partir deGoogle Cloud , puis utiliser des intégrations tierces telles que Splunk ou Datadog. Les entrées de journal sont mises en forme au format JSON, puis acheminées vers un sujet Pub/Sub.

Bonnes pratiques

Nous vous recommandons de définir la destination d'un récepteur agrégé sur un projet Google Cloud . Avec cette destination, les récepteurs de journaux du projet Google Cloud de destination rediriger les entrées de journal. Le récepteur _Required n'achemine que les entrées de journal qui correspondent à son filtre et qui proviennent de la ressource dans laquelle le récepteur est défini. Par conséquent, si vous souhaitez stocker des copies supplémentaires d'entrées de journal correspondant au filtre du récepteur _Required, vous devez créer un récepteur de journaux personnalisé ou modifier le filtre du récepteur de journaux _Default.

Lorsque vous créez un collecteur d'interception, nous vous recommandons d'effectuer les opérations suivantes:

  • Déterminez si les ressources enfants ont besoin d'un contrôle indépendant du routage de leurs entrées de journal. Si une ressource enfant a besoin d'un contrôle indépendant de certaines entrées de journal, vérifiez que votre évier d'interception ne les achemine pas.

  • Ajoutez des coordonnées à la description d'un intercepteur. Cela peut être utile si les personnes qui gèrent le collecteur d'interception sont différentes de celles qui gèrent les projets dont les entrées de journal sont interceptées.

  • Testez la configuration de votre récepteur en créant d'abord un récepteur agrégé non intercepteur pour vérifier que les entrées de journal appropriées sont acheminées.

Interception des collecteurs agrégés et des métriques basées sur les journaux

Les métriques basées sur les journaux sont des métriques Cloud Monitoring dérivées du contenu des entrées de journal. La manière dont une entrée de journal est acheminée détermine les métriques basées sur les journaux auxquelles elle peut contribuer. Étant donné qu'un Sink agrégé intercepteur affecte la manière dont les entrées de journal sont acheminées, la création de ce type de Sink peut entraîner des modifications des valeurs des métriques basées sur les journaux existantes.

Pour en savoir plus, consultez la section Comment les entrées de journal de routage affectent les métriques basées sur les journaux.

Évacuations agrégées et VPC Service Controls

Les limites suivantes s'appliquent lorsque vous utilisez des éponges agrégées et VPC Service Controls:

  • Les récepteurs agrégés peuvent accéder aux données des projets situés à l'intérieur d'un périmètre de service. Pour empêcher les récepteurs agrégés d'accéder aux données d'un périmètre, nous vous recommandons d'utiliser IAM pour gérer les autorisations de journalisation.

  • VPC Service Controls ne permet pas d'ajouter des ressources de dossier ou d'organisation à des périmètres de service. Par conséquent, vous ne pouvez pas utiliser VPC Service Controls pour protéger les journaux au niveau des dossiers et de l'organisation, y compris les journaux agrégés. Pour gérer les autorisations Logging au niveau du dossier ou de l'organisation, nous vous recommandons d'utiliser IAM.

  • Si vous acheminez des journaux à l'aide d'un récepteur au niveau d'un dossier ou d'une organisation vers une ressource protégée par un périmètre de service, vous devez ajouter une règle d'entrée au périmètre de service. La règle d'entrée doit autoriser l'accès à la ressource à partir du compte de service utilisé par le récepteur agrégé. Pour en savoir plus, consultez les articles suivants :

  • Lorsque vous spécifiez une règle d'entrée ou de sortie pour un périmètre de service, vous ne pouvez pas utiliser ANY_SERVICE_ACCOUNT et ANY_USER_ACCOUNT en tant que type d'identité lorsque vous utilisez un récepteur de journaux pour acheminer les journaux vers des ressources Cloud Storage. Toutefois, vous pouvez utiliser ANY_IDENTITY comme type d'identité.

Étapes suivantes