Configurer l'exportation de données vers BigQuery dans un projet Google Cloud autogéré

Google Security Operations vous permet d'exporter des données de modèle de données unifié (UDM) vers un projet que vous possédez et gérez. Vous pouvez utiliser exclusivement un projet autogéré associé à votre instance Google SecOps et configurer indépendamment les autorisations IAM sans avoir à vous appuyer sur Google.

Google SecOps exporte les catégories de données suivantes vers votre projet BigQuery:

  • udm_events: données de journal normalisées dans le schéma UDM.
  • udm_events_aggregates: données agrégées résumées par heure d'événements normalisés.
  • entity_graph: Le graphique des entités comporte trois dimensions (données contextuelles, données dérivées et contexte global). Toutes les données contextuelles et les données dérivées, ainsi qu'une partie des données de contexte global, sont écrites et stockées en tant que données UDM.
  • rule_detections: détections renvoyées par les règles exécutées dans Google SecOps.
  • ioc_matches: correspondances des IOC avec les événements UDM.
  • ingestion_metrics: métriques liées au pipeline d'ingestion et de normalisation.
  • udm_enum_value_to_name_mapping: met en correspondance les valeurs d'énumération avec les noms de champs UDM (exportés par défaut).
  • entity_enum_value_to_name_mapping: mappe les valeurs d'énumération aux noms de champs d'entité (exportés par défaut).

Durée de conservation

Si vous êtes un client existant et que vous activez cette fonctionnalité, les données BigQuery exportées vers votre projet géré par Google restent dans le projet concerné pendant la période de conservation spécifiée.

La période de conservation commence à partir de la date de la première exportation de données:

  • La période de conservation de l'exportation BigQuery est configurable par source de données et peut être définie sur une période de conservation maximale équivalente à la période de conservation des journaux par défaut dans Google SecOps.
  • Si aucune période de conservation n'est spécifiée, le comportement par défaut consiste à continuer à exporter les données sans nettoyage ni suppression définitive, afin de limiter la période de conservation. Dans ce cas, vous pouvez créer directement des règles de conservation personnalisées pour le bucket Cloud Storage, où les données sont exportées dans le projet BYOP (Bring Your Own Project) pour être consommées en tant que table externe dans BigQuery.

Migration des données pour les clients existants

Si vous êtes déjà client, les données de votre projet géré par Google existant ne sont pas migrées vers le projet géré par vous-même. Étant donné que les données ne sont pas migrées, elles se trouvent dans deux projets distincts. Pour interroger les données sur une période qui inclut la date d'activation du projet géré par l'utilisateur, vous devez effectuer l'une des actions suivantes:

  • Utilisez une seule requête qui joint les données des deux projets.
  • Exécutez deux requêtes distinctes sur les projets respectifs, l'une pour les données avant la date d'activation du projet autogéré et l'autre pour les données après. Lorsque la période de conservation de votre projet géré par Google arrive à expiration, ces données sont supprimées. Vous ne pouvez interroger que les données de votre projet Google Cloudà partir de ce moment-là.

Autorisations requises pour exporter des données

Pour accéder à vos données BigQuery, exécutez vos requêtes dans BigQuery. Attribuez les rôles IAM suivants à tous les utilisateurs qui ont besoin d'accéder à la ressource:

Lancer l'exportation des données BigQuery vers votre projet géré en interne

  1. Créez un projet Google Cloud dans lequel vous souhaitez exporter vos données. Pour en savoir plus, consultez Configurer un projet Google Cloud pour Google SecOps.

  2. Associez votre projet géré par l'utilisateur à votre instance Google SecOps pour établir une connexion entre Google SecOps et votre projet géré par l'utilisateur. Pour en savoir plus, consultez Associer Google Security Operations à des Google Cloud services. Une fois que le représentant Google SecOps a activé l'exportation des données que vous avez sélectionnées, le processus d'exportation des données commence.

  3. Pour vérifier que les données sont exportées vers votre projet géré par vous-même, consultez les tables de l'ensemble de données datalake dans BigQuery.

Vous pouvez écrire des requêtes ad hoc sur les données Google SecOps stockées dans des tables BigQuery. Vous pouvez également créer des analyses plus avancées à l'aide d'autres outils tiers intégrés à BigQuery.

Toutes les ressources créées dans votre projet Google Cloud autogéré pour permettre les exportations, y compris les buckets Cloud Storage et les tables BigQuery, se trouvent dans la même région que Google SecOps.

Si une erreur comme Unrecognized name: <field_name> at [<some_number>:<some_number>] s'affiche lorsque vous interrogez BigQuery, cela signifie que le champ auquel vous essayez d'accéder ne se trouve pas dans votre ensemble de données et que votre schéma est généré dynamiquement lors du processus d'exportation.

Pour en savoir plus sur les données Google SecOps dans BigQuery, consultez Données Google SecOps dans BigQuery.

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.