Collecter des journaux Cloud Compute
Ce document explique comment configurer l' Google Cloud exportation des journaux Compute vers Google Security Operations à l'aide de Cloud Storage. L'analyseur extrait les champs, normalise le champ de message et met en correspondance les données extraites avec le schéma UDM (Unified Data Model) pour une représentation cohérente des événements de sécurité. Il gère différents formats de journaux, y compris des messages syslog et des paires clé-valeur, et catégorise les événements en fonction de champs extraits tels que type et action.
Avant de commencer
- Assurez-vous de disposer d'une instance Google SecOps.
- Assurez-vous que Compute est configuré et actif dans votre environnement Google Cloud .
- Assurez-vous de disposer d'un accès privilégié à Google Cloud.
Créer un bucket Google Cloud Storage
- Connectez-vous à la console Google Cloud.
Accédez à la page Buckets Cloud Storage.
Cliquez sur Créer.
Sur la page Créer un bucket, saisissez les informations concernant votre bucket. Après chacune de ces étapes, cliquez sur Continuer pour passer à l'étape suivante:
Dans la section Premiers pas, procédez comme suit :
- Saisissez un nom unique qui répond aux exigences de dénomination des buckets, par exemple compute-logs.
Pour activer l'espace de noms hiérarchique, cliquez sur la flèche d'expansion pour développer la section Optimiser pour les charges de travail orientées fichiers et à forte intensité de données, puis sélectionnez Activer l'espace de noms hiérarchique sur ce bucket.
- Pour ajouter une étiquette de bucket, cliquez sur la flèche de développement pour développer la section Étiquettes.
- Cliquez sur Ajouter un libellé, puis spécifiez une clé et une valeur pour votre libellé.
Dans la section Choisir l'emplacement de stockage de vos données, procédez comme suit :
Sélectionnez un type d'emplacement.
- Utilisez le menu "Type d'emplacement" pour sélectionner un emplacement où les données d'objets de votre bucket seront stockées de manière permanente.
- Pour configurer la réplication entre buckets, développez la section Configurer la réplication entre buckets.
Dans la section Choisir une classe de stockage pour vos données, sélectionnez une classe de stockage par défaut pour le bucket, ou bien classe automatique pour une gestion automatique des classes de stockage des données de votre bucket.
Dans la section Choisir comment contrôler l'accès aux objets, sélectionnez non pour appliquer la protection contre l'accès public, puis sélectionnez un modèle de contrôle des accès pour les objets de votre bucket.
Dans la section Choisir comment protéger les données d'objet, procédez comme suit:
- Sélectionnez l'une des options sous Protection des données que vous souhaitez définir pour votre bucket.
- Pour choisir comment vos données d'objet seront chiffrées, cliquez sur la flèche d'expansion intitulée Chiffrement des données, puis sélectionnez une méthode de chiffrement des données.
Cliquez sur Créer.
Configurer Google Cloud Exportation des journaux de calcul
- Dans la console Google Cloud, accédez à Logging > Log Router (Journalisation > Routeur de journaux).
- Cliquez sur Créer un récepteur.
Spécifiez les informations suivantes :
- Nom du récepteur: indiquez un nom descriptif, par exemple Compute-Logs-Sink.
- Destination du récepteur: sélectionnez Cloud Storage .
- Destination du sink: sélectionnez Cloud Storage, puis saisissez l'URI du bucket (par exemple,
gs://<your-bucket-name>/compute-logs
). Filtre de journal: définissez des filtres pour capturer les journaux Google Cloud Compute comme suit:
Nom et type du journal:
logName="*compute*"
Champs liés au réseau (adresses IP, ports, etc.):
jsonPayload.connection.dest_ip="*" OR jsonPayload.connection.src_ip="*"
Détails de l'instance:
jsonPayload.dest_instance.project_id="*" jsonPayload.src_instance.project_id="*"
Informations liées à la sécurité:
jsonPayload.rule_details.action="ALLOW" OR jsonPayload.rule_details.action="BLOCK"
Cliquez sur Créer.
Configurer les autorisations pour Cloud Storage
- Accédez à IAM > IAM et administration > Comptes de service.
- Recherchez le compte de service Cloud Logging (par exemple, service-account@logging.iam.gserviceaccount.com).
- Attribuez-lui le rôle roles/storage.admin sur le bucket.
Configurer un flux dans Google SecOps pour ingérer les journaux Google Cloud Compute
- Accédez à SIEM Settings > Feeds (Paramètres du SIEM > Flux).
- Cliquez sur Ajouter.
- Dans le champ Nom du flux, saisissez un nom pour le flux. Par exemple, Google Cloud Journaux de calcul.
- Sélectionnez Google Cloud Storage comme Type de source.
- Sélectionnez GCP Compute comme Type de journal.
- Cliquez sur Obtenir un compte de service comme compte de service Chronicle.
- Cliquez sur Suivant.
Spécifiez les valeurs des paramètres d'entrée suivants:
- URI du bucket Storage: Google Cloud URL du bucket Storage au format
gs://my-bucket/<value>
. - L'URI est: sélectionnez Répertoire incluant des sous-répertoires.
Options de suppression de la source: sélectionnez l'option de suppression de votre choix.
Espace de noms des éléments: espace de noms des éléments.
Libellés d'ingestion: libellé appliqué aux événements de ce flux.
- URI du bucket Storage: Google Cloud URL du bucket Storage au format
Cliquez sur Suivant.
Vérifiez la configuration de votre nouveau flux dans l'écran Finaliser, puis cliquez sur Envoyer.
Tableau de mappage UDM
Champ du journal | Mappage UDM | Logique |
---|---|---|
addr | read_only_udm.principal.ip | Fusionné dans la liste des adresses IP principales si le champ n'est pas vide ou ne contient pas de "?". |
jsonPayload.connection.dest_ip | read_only_udm.target.ip | Fusionné dans la liste d'adresses IP cibles si le champ existe. |
jsonPayload.connection.dest_port | read_only_udm.target.port | Converti en chaîne, puis en entier et mappé si aucune erreur ne se produit lors de la conversion. |
jsonPayload.connection.protocol | read_only_udm.network.ip_protocol | Converti en chaîne, puis en entier. Permet de déterminer le protocole IP (TCP, UDP, etc.) à l'aide d'une table de recherche et de le mapper si aucune erreur ne se produit lors de la conversion. |
jsonPayload.connection.src_ip | read_only_udm.principal.ip | Fusionné dans la liste des adresses IP principales si le champ existe. |
jsonPayload.connection.src_port | read_only_udm.principal.port | Converti en chaîne, puis en entier et mappé si aucune erreur ne se produit lors de la conversion. |
jsonPayload.dest_instance.project_id | read_only_udm.target.resource.product_object_id | Mise en correspondance conditionnelle si jsonPayload.dest_vpc.project_id existe. |
jsonPayload.dest_instance.region | read_only_udm.target.location.name | Mise en correspondance conditionnelle si jsonPayload.dest_vpc.project_id existe. |
jsonPayload.dest_instance.vm_name | read_only_udm.target.resource.attribute.cloud.project.name | Mise en correspondance conditionnelle si jsonPayload.dest_vpc.project_id existe. |
jsonPayload.dest_instance.zone | read_only_udm.target.resource.attribute.cloud.availability_zone | Mise en correspondance conditionnelle si jsonPayload.dest_vpc.project_id existe. |
jsonPayload.dest_vpc.project_id | read_only_udm.target.cloud.vpc.product_object_id | Utilisé comme condition pour mapper des champs associés. |
jsonPayload.dest_vpc.subnetwork_name | read_only_udm.target.cloud.vpc.name | Mise en correspondance conditionnelle si jsonPayload.dest_vpc.project_id existe. |
jsonPayload.instance.project_id | read_only_udm.target.resource.product_object_id | Mise en correspondance conditionnelle si jsonPayload.instance.project_id existe. |
jsonPayload.instance.region | read_only_udm.target.location.name | Mise en correspondance conditionnelle si jsonPayload.instance.project_id existe. |
jsonPayload.instance.vm_name | read_only_udm.target.resource.attribute.cloud.project.name | Mise en correspondance conditionnelle si jsonPayload.instance.project_id existe. |
jsonPayload.instance.zone | read_only_udm.target.resource.attribute.cloud.availability_zone | Mise en correspondance conditionnelle si jsonPayload.instance.project_id existe. |
jsonPayload.message | read_only_udm.metadata.product_event_type, read_only_udm.principal.application, read_only_udm.target.process.pid, read_only_udm.target.user.userid, read_only_udm.principal.hostname, read_only_udm.target.process.command_line, read_only_udm.security_result.description, read_only_udm.principal.process.file.full_path | Il est analysé et mappé sur différents champs en fonction de modèles Grok et de logique conditionnelle. |
jsonPayload.rule_details.action | read_only_udm.security_result.action | Permet de déterminer l'action de résultat de sécurité (ALLOW/BLOCK) et de la mapper. |
jsonPayload.rule_details.direction | read_only_udm.network.direction | Permet de déterminer la direction du réseau (INBOUND/OUTBOUND/UNKNOWN_DIRECTION) et de la mapper. |
jsonPayload.rule_details.priority | read_only_udm.security_result.priority_details | Converti en chaîne et mappé si aucune erreur ne se produit lors de la conversion. |
jsonPayload.rule_details.reference | read_only_udm.security_result.rule_labels.value | Correspond à la valeur du libellé de la règle. |
jsonPayload.src_instance.project_id | read_only_udm.principal.resource.product_object_id | Mise en correspondance conditionnelle si jsonPayload.src_vpc.project_id existe. |
jsonPayload.src_instance.region | read_only_udm.principal.location.name | Mise en correspondance conditionnelle si jsonPayload.src_vpc.project_id existe. |
jsonPayload.src_instance.vm_name | read_only_udm.principal.resource.attribute.cloud.project.name | Mise en correspondance conditionnelle si jsonPayload.src_vpc.project_id existe. |
jsonPayload.src_instance.zone | read_only_udm.principal.resource.attribute.cloud.availability_zone | Mise en correspondance conditionnelle si jsonPayload.src_vpc.project_id existe. |
jsonPayload.src_vpc.project_id | read_only_udm.principal.cloud.vpc.product_object_id | Utilisé comme condition pour mapper des champs associés. |
jsonPayload.src_vpc.subnetwork_name | read_only_udm.principal.cloud.vpc.name | Mise en correspondance conditionnelle si jsonPayload.src_vpc.project_id existe. |
jsonPayload.vpc.project_id | read_only_udm.target.cloud.vpc.product_object_id | Mise en correspondance conditionnelle si jsonPayload.vpc.project_id existe. |
jsonPayload.vpc.subnetwork_name | read_only_udm.target.cloud.vpc.name | Mise en correspondance conditionnelle si jsonPayload.vpc.project_id existe. |
logName | read_only_udm.security_result.category_details | Mappé directement. |
resource.labels.instance_id | read_only_udm.principal.resource.product_object_id, read_only_udm.principal.asset_id | Mappage conditionnel. Si le type est "PROCTITLE", il est utilisé pour créer l'ID de l'asset. |
resource.labels.location | read_only_udm.principal.location.name | Mappage conditionnel si le champ existe. |
resource.labels.project_id | read_only_udm.metadata.product_deployment_id | Mappage conditionnel si le champ existe. |
resource.labels.zone | read_only_udm.principal.resource.attribute.cloud.availability_zone | Mappage conditionnel si le champ existe. |
resource.type | read_only_udm.metadata.event_type | Permet de déterminer le type d'événement et de le mapper. |
timestamp | read_only_udm.metadata.event_timestamp | Mappé directement. |
type | read_only_udm.metadata.product_event_type, read_only_udm.metadata.event_type, read_only_udm.extensions.auth.type | Permet de déterminer le type d'événement, le type d'événement produit et le type d'authentification, et de les mapper en conséquence. |
read_only_udm.metadata.event_type | La logique définit le type d'événement en fonction du champ "type" et d'autres conditions. Si aucune correspondance spécifique n'est trouvée, la valeur par défaut est "GENERIC_EVENT". | |
read_only_udm.metadata.log_type | Valeur de constante "GCP_COMPUTE". | |
read_only_udm.metadata.vendor_name | Valeur constante "Google Cloud Platform". | |
read_only_udm.metadata.product_name | Valeur constante "Google Cloud Platform". | |
read_only_udm.security_result.rule_labels.key | Valeur constante "Reference" (Référence). | |
read_only_udm.target.cloud.vpc.resource_type | Défini de manière conditionnelle sur "VPC_NETWORK" si jsonPayload.instance.project_id ou jsonPayload.dest_vpc.project_id existe. | |
read_only_udm.target.resource.attribute.cloud.environment | Défini de manière conditionnelle sur "GOOGLE_CLOUD_PLATFORM" si jsonPayload.instance.project_id, jsonPayload.dest_vpc.project_id ou jsonPayload.src_vpc.project_id existe. | |
read_only_udm.principal.administrative_domain | Mappé à partir du champ "Domaine du compte" extrait du champ "kv_data". | |
read_only_udm.principal.user.user_display_name | Mappé à partir du champ "Nom du compte" extrait du champ "kv_data". | |
read_only_udm.target.resource.name | Mappé à partir du champ "Nom de l'objet" extrait du champ "kv_data". | |
read_only_udm.target.resource.type | Mappé à partir du champ "Type d'objet" extrait du champ "kv_data". | |
read_only_udm.principal.process.pid | Mappé à partir du champ "ID de processus" extrait du champ "kv_data". | |
read_only_udm.target.user.windows_sid | Mappé à partir du champ "ID de sécurité" extrait du champ "kv_data". | |
read_only_udm.network.session_id | Mappé à partir du champ "auid". |
Modifications
2024-06-18
Amélioration :
- "file" a été mappé sur "principal.file.names".
- "function" a été mappé sur "principal.resource.attribute.labels".
- Mappage de "ligne" sur "principal.resource.attribute.labels".
- Mappage de "timestamp" sur "event_timestamp".
2023-02-24
Correction de bug :
- Ajout d'un mappage pour "asset_id" afin de faciliter la recherche dans l'UI: "asset:resource.labels.instance_id" est mappé sur "principal.asset_id"
2022-06-16
Amélioration :
- Ajout d'un mappage pour les nouveaux champs suivants: jsonPayload.Message en tant que syslog.
- Nom du processus à principal.application.
- ID de processus à principal.process.pid.
- Domaine du compte à principal.administrative_domain.
- Nom du compte en principal.user.user_display_name.
- Nom de l'objet à target.resource.name.
- Type d'objet à target.resource.type.
- ID de sécurité à cibler.user.windows_sid.
- addr to principal.ip.
- auid à network.session_id.
- "LINUX - %{type}" a été mappé sur les journaux Linux et "Journal des événements Windows" sur les journaux Windows dans metadata.product_event_type.
- pid à target.process.pid.
- acct à target.user.userid.
- exe vers target.process.command_line.
- file_path vers principal.process.file.full_path.
- Modification du mappage de la description de metadata.description à security_result.description.
2022-05-23
Amélioration :
- Ajout de mappage pour les nouveaux champs suivants:
- jsonPayload.message en tant que syslog.
- resource.labels.zone à principal.resource.attribute.cloud.availability_zone.
- resource.labels.location à principal.location.name.
- resource.labels.project_id à metadata.product_deployment_id.
- resource.labels.instance_id à principal.resource.product_object_id.
Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.