Configurer l'exportation de données vers BigQuery dans un projet Google Cloud autogéré

Google Security Operations vous permet d'exporter des données UDM (Unified Data Model) vers un projet autogéré dont vous êtes propriétaire et que vous gérez. Vous pouvez associer votre propre projet Google Cloud à votre instance Google SecOps et gérer indépendamment les autorisations IAM, sans dépendre des paramètres gérés par Google. Vous pouvez également activer et configurer la fonctionnalité Bring Your Own BigQuery (BYOBQ) en sélectionnant Paramètres du SIEM > Exportation de données.

Google SecOps exporte les catégories de données suivantes vers votre projet BigQuery :

  • udm_events : données de journaux normalisées dans le schéma UDM.
  • udm_events_aggregates : données agrégées résumées pour chaque heure d'événements normalisés.
  • entity_graph : le graphique d'entités comporte trois dimensions (données contextuelles, données dérivées et contexte global). Toutes les données contextuelles et dérivées, ainsi qu'une partie des données de contexte global, sont des données écrites et stockées en tant qu'UDM.
  • rule_detections : détections renvoyées par les règles exécutées dans Google SecOps.
  • ioc_matches : correspondances d'IOC trouvées dans les événements UDM.
  • ingestion_metrics : métriques liées au pipeline d'ingestion et de normalisation (exportées par défaut).
  • udm_enum_value_to_name_mapping : mappe les valeurs d'énumération aux noms de champs UDM (exportés par défaut).
  • entity_enum_value_to_name_mapping : mappe les valeurs d'énumération aux noms de champs d'entité (exportés par défaut).

Durée de conservation

Si vous êtes déjà client, la période de conservation que vous définissez détermine la durée pendant laquelle les données exportées pour votre BigQuery restent dans votre projet géré par Google.

La période de conservation commence à la date du premier enregistrement exporté. Vous pouvez configurer une période de conservation distincte pour chaque source de données, jusqu'à un maximum correspondant à la période de conservation des journaux par défaut dans Google SecOps.

Si aucune période de conservation n'est spécifiée, le comportement par défaut consiste à continuer à exporter les données sans nettoyage ni suppression, afin de limiter la période de conservation.

Dans ce cas, vous pouvez définir la durée de conservation sur Illimitée :

  • Cliquez sur Paramètres du SIEM > Exportation de données.
  • Dans la colonne Période de conservation du tableau Exportation de données, sélectionnez Illimitée dans la liste pour le type de données concerné.

Vous pouvez ensuite configurer une règle de cycle de vie des objets dans votre bucket de stockage Google Cloud pour supprimer les objets selon vos besoins.

Migration des données pour les clients existants

Si vous êtes déjà client, vos données de l'ancien projet géré par Google ne sont pas migrées vers le projet autogéré. Comme les données ne sont pas migrées, elles se trouvent dans deux projets distincts. Pour interroger les données sur une période incluant la date d'activation du projet autogéré, vous devez effectuer l'une des actions suivantes :

  • Utilisez une seule requête qui joint les données des deux projets.
  • Exécutez deux requêtes distinctes sur les projets respectifs : une pour les données antérieures à la date d'activation du projet autogéré et une pour les données postérieures. Lorsque la période de conservation de votre projet géré par Google expire, les données sont supprimées. Vous ne pourrez interroger que les données qui se trouvent dans votre projet Google Cloud.

Autorisations requises pour exporter des données

Pour accéder à vos données BigQuery, exécutez vos requêtes dans BigQuery. Attribuez les rôles IAM suivants à tout utilisateur qui a besoin d'y accéder :

Lancer l'exportation des données BigQuery vers votre projet autogéré

  1. Créez un projet Google Cloud dans lequel vous souhaitez exporter vos données. Pour en savoir plus, consultez Configurer un projet Google Cloud pour Google SecOps.

  2. Associez votre projet autogéré à votre instance Google SecOps pour établir une connexion entre Google SecOps et votre projet autogéré. Pour en savoir plus, consultez Associer Google Security Operations à des services Google Cloud . Vous pouvez également activer et configurer la fonctionnalité Bring Your Own BigQuery (BYOBQ) en sélectionnant Paramètres du SIEM > Exportation de données.

  3. Pour vérifier que les données sont exportées vers votre projet autogéré, consultez les tables de l'ensemble de données datalake dans BigQuery.

Vous pouvez écrire des requêtes ad hoc sur les données Google SecOps stockées dans des tables BigQuery. Vous pouvez également créer des analyses plus avancées à l'aide d'autres outils tiers qui s'intègrent à BigQuery.

Toutes les ressources créées dans votre projet Google Cloud autogéré pour activer les exportations, y compris le bucket Cloud Storage et les tables BigQuery, se trouvent dans la même région que Google SecOps.

Si vous obtenez une erreur de type Unrecognized name: <field_name> at [<some_number>:<some_number>] lorsque vous interrogez BigQuery, cela signifie que le champ auquel vous essayez d'accéder ne figure pas dans votre ensemble de données, car votre schéma est généré de manière dynamique lors du processus d'exportation.

Pour en savoir plus sur les données Google SecOps dans BigQuery, consultez Données Google SecOps dans BigQuery.

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.