Créer et gérer des flux à l'aide de l'UI de gestion des flux

Cette page explique comment créer, gérer et résoudre les problèmes liés aux flux à l'aide de l'interface utilisateur de gestion des flux. La gestion des flux comprend la modification, l'activation et la suppression des flux.

Avant de commencer

Chaque flux de données possède son propre ensemble de conditions préalables à remplir avant de configurer le flux dans Google Security Operations. Pour en savoir plus sur les conditions préalables spécifiques à un type de flux, consultez la section Configuration par type de source. Recherchez le type de flux de données que vous devez configurer, puis suivez les instructions fournies.

Formats de compression compatibles

Les formats de compression acceptés pour l'ingestion de flux incluent les formats suivants: .gz, .tar.gz, .tar, .targz et solr.gz.

Ajouter un flux

Pour ajouter un flux à votre compte Google Security Operations, procédez comme suit.

1. Dans le menu Google Security Operations, sélectionnez Paramètres, puis cliquez sur Flux. Les flux de données listés sur cette page incluent tous les flux que Google a configurés pour votre compte, en plus des flux que vous avez configurés.

2. Cliquez sur Add New (Ajouter nouveau). La fenêtre Ajouter un flux s'affiche.

3. Ajoutez un nom au flux.

1. Dans la liste Type de source, sélectionnez le type de source par lequel vous souhaitez importer des données dans Google Security Operations. Vous pouvez choisir parmi les types de sources de flux suivants:

   • Amazon Data Firehose
   • Amazon S3
   • Amazon SQS
   • Google Cloud Pub/Sub
   • Google Cloud Storage
   • Fichiers HTTP(S) (non-API)
   • Microsoft Azure Blob Storage
   • API tierce
   • Webhook

2. Dans la liste Type de journal, sélectionnez le type de journal correspondant aux journaux que vous souhaitez ingérer. Les journaux disponibles varient en fonction du type de source que vous avez sélectionné précédemment. Cliquez sur Suivant.

   Si vous sélectionnez Google Cloud Storage comme type de source, utilisez l'option Obtenir un compte de service pour obtenir un compte de service unique. Consultez la section Exemple de configuration d'un flux Google Cloud Storage dans ce document.

3. Spécifiez les paramètres requis dans l'onglet Paramètres d'entrée. Les options présentées ici varient en fonction de la source et du type de journal sélectionnés dans l'onglet Définir les propriétés. Pointez sur l'icône en forme de point d'interrogation de chaque champ pour obtenir des informations supplémentaires sur les informations à fournir.

4. (Facultatif) Vous pouvez spécifier un espace de noms ici. Pour en savoir plus sur les espaces de noms, consultez la documentation sur les espaces de noms d'éléments.

5. Cliquez sur Suivant.

6. Vérifiez la configuration de votre nouveau flux dans l'onglet Finaliser. Lorsque vous êtes prêt, cliquez sur Envoyer. Google Security Operations effectue une vérification de validation du nouveau flux. Si le flux passe la vérification, un nom lui est attribué, il est envoyé à Google Security Operations, et Google Security Operations commence à tenter d'extraire des données.

   

Supprimer les fichiers sources

Pour plusieurs types de flux, y compris Cloud Storage, un champ intitulé SOURCE DELETION OPTION (OPTION DE SUPPRESSION DE LA SOURCE) s'affiche dans le workflow Add new (Ajouter) ou Edit feed (Modifier le flux). Ce menu propose trois options:

1. Ne jamais supprimer les fichiers
2. Supprimer les fichiers transférés et les répertoires vides
3. Supprimer les fichiers transférés

Les options 2 et 3 impliquent des suppressions: l'une pour les fichiers et l'autre pour les fichiers et les répertoires vides. Si vous sélectionnez l'une de ces options, vous devez ajouter les autorisations spécifiques à votre type de flux. Pour en savoir plus sur les autorisations spécifiques à un type de flux, consultez la section Configuration par type de source.

Cette option vous permet de supprimer un objet du système de stockage après l'avoir transféré. Les flux se souviennent toujours des objets (ou fichiers) qu'ils ont transférés et ne transfèrent jamais le même fichier deux fois (sauf s'il a été mis à jour). Toutefois, vous devez définir cette option si vous souhaitez que le système supprime l'objet source après son transfert (réussi).

Microsoft Azure Blob Storage ne permet pas de supprimer les fichiers sources. Les options de suppression de source suivantes ne doivent pas être utilisées avec le type de source Microsoft Azure Blob Storage:

• Supprimer les fichiers transférés et les répertoires vides
• Supprimer les fichiers transférés

Lorsque vous créez un flux avec une source Microsoft Azure Blob Storage, ne sélectionnez que l'option Ne jamais supprimer les fichiers.

Configurer un flux push Pub/Sub

Pour configurer un flux push Pub/Sub, procédez comme suit:

1. Créez un flux push Pub/Sub.
2. Spécifiez l'URL du point de terminaison dans un abonnement Pub/Sub.

Créer un flux push Pub/Sub

1. Dans le menu Google Security Operations, sélectionnez Paramètres, puis cliquez sur Flux.
2. Cliquez sur Ajouter.
3. Dans le champ Nom du flux, saisissez un nom pour le flux.
4. Dans la liste Type de source, sélectionnez Google Cloud Pub/Sub Push.
5. Sélectionnez le type de journal. Par exemple, pour créer un flux pour Open Cybersecurity Schema Framework, sélectionnez Open Cybersecurity Schema Framework (OCSF) comme Type de journal.
6. Cliquez sur Suivant.
7. Facultatif: spécifiez des valeurs pour les paramètres d'entrée suivants :
   • Délimiteur de fractionnement: délimiteur utilisé pour séparer les lignes de journal, par exemple \n.
   • Espace de noms des éléments: espace de noms des éléments.
   • Libellés d'ingestion: libellé à appliquer aux événements de ce flux.
8. Cliquez sur Suivant.
9. Vérifiez la configuration de votre nouveau flux dans l'écran Finaliser, puis cliquez sur Envoyer.
10. Dans l'onglet Détails, copiez l'URL du point de terminaison du flux dans le champ Informations sur le point de terminaison. Vous avez besoin de cette URL de point de terminaison pour créer un abonnement push dans Pub/Sub.
11. Pour désactiver le flux, cliquez sur le bouton Flux activé. Le flux est activé par défaut.
12. Cliquez sur OK.

Spécifier l'URL du point de terminaison

Après avoir créé un flux push Pub/Sub, créez un abonnement push dans Pub/Sub, spécifiez le point de terminaison HTTPS et activez l'authentification.

1. Créez un abonnement push dans Pub/Sub. Pour savoir comment créer un abonnement push, consultez Créer des abonnements push.
2. Spécifiez l'URL du point de terminaison, qui est disponible dans le flux push Google Cloud Pub/Sub.
3. Sélectionnez Activer l'authentification, puis un compte de service.

Configurer un flux Amazon Data Firehose

Pour configurer un flux Amazon Data Firehose, procédez comme suit:

1. Créez un flux Amazon Data Firehose, puis copiez l'URL du point de terminaison et la clé secrète.
2. Créez une clé API pour vous authentifier auprès de Google Security Operations. Vous pouvez également réutiliser votre clé API existante pour vous authentifier auprès de Google Security Operations.
3. Spécifiez l'URL du point de terminaison dans Amazon Data Firehose.

Créer un flux Amazon Data Firehose

1. Dans le menu Google Security Operations, sélectionnez Paramètres, puis cliquez sur Flux.
2. Cliquez sur Ajouter.
3. Dans le champ Nom du flux, saisissez un nom pour le flux.
4. Dans la liste Type de source, sélectionnez Amazon Data Firehose.
5. Sélectionnez le type de journal. Par exemple, pour créer un flux pour Open Cybersecurity Schema Framework, sélectionnez Open Cybersecurity Schema Framework (OCSF) comme Type de journal.
6. Cliquez sur Suivant.
7. Facultatif: spécifiez des valeurs pour les paramètres d'entrée suivants :
   • Délimiteur de fractionnement: délimiteur utilisé pour séparer les lignes de journal, par exemple \n.
   • Espace de noms des éléments: espace de noms des éléments.
   • Libellés d'ingestion: libellé à appliquer aux événements de ce flux.
8. Cliquez sur Suivant.
9. Vérifiez la configuration de votre nouveau flux dans l'écran Finaliser, puis cliquez sur Envoyer.
10. Cliquez sur Générer une clé secrète pour générer une clé secrète permettant d'authentifier ce flux.
11. Copiez et stockez la clé secrète, car vous ne pourrez plus la consulter à nouveau. Vous pouvez générer à nouveau une clé secrète, mais la régénération de la clé secrète rend l'ancienne clé secrète obsolète.
12. Dans l'onglet Détails, copiez l'URL du point de terminaison du flux dans le champ Informations sur le point de terminaison. Vous avez besoin de cette URL de point de terminaison lorsque vous spécifiez les paramètres de destination de votre flux de diffusion dans Amazon Data Firehose.
13. Pour désactiver le flux, cliquez sur le bouton Flux activé. Le flux est activé par défaut.
14. Cliquez sur OK.

Créer une clé API pour le flux Amazon Data Firehose

1. Accédez à la page Identifiants de la console Google Cloud.
2. Cliquez sur Créer des identifiants, puis sélectionnez Clé API.
3. Limitez l'accès de la clé API à l'API Chronicle.

Spécifier l'URL du point de terminaison

Dans Amazon Data Firehose, spécifiez le point de terminaison HTTPS et la clé d'accès.

1. Ajoutez la clé API à l'URL du point de terminaison du flux et spécifiez cette URL comme URL du point de terminaison HTTP au format suivant:

     ENDPOINT_URL?key=API_KEY
   

   Remplacez les éléments suivants :

   • ENDPOINT_URL: URL du point de terminaison du flux.
   • API_KEY: clé API permettant de s'authentifier auprès de Google Security Operations.

2. Pour la clé d'accès, spécifiez la clé secrète que vous avez obtenue lorsque vous avez créé le flux Amazon Data Firehose.

Configurer un flux de webhook HTTPS

Pour configurer un flux de webhook HTTPS, procédez comme suit:

1. Créez un flux de webhook HTTPS, puis copiez l'URL du point de terminaison et la clé secrète.
2. Créez une clé API spécifiée avec l'URL du point de terminaison. Vous pouvez également réutiliser votre clé API existante pour vous authentifier auprès de Google Security Operations.
3. Spécifiez l'URL du point de terminaison dans votre application.

Prérequis

• Assurez-vous qu'un projet Google Cloud pour Google Security Operations est configuré et que l'API Chronicle est activée pour le projet.

• Associez une instance Google Security Operations aux services Google Cloud.

Créer un flux de webhook HTTPS

1. Dans le menu Google Security Operations, sélectionnez Paramètres, puis cliquez sur Flux.
2. Cliquez sur Ajouter.
3. Dans le champ Nom du flux, saisissez un nom pour le flux.
4. Dans la liste Type de source, sélectionnez Webhook.
5. Sélectionnez le type de journal. Par exemple, pour créer un flux pour Open Cybersecurity Schema Framework, sélectionnez Open Cybersecurity Schema Framework (OCSF) comme Type de journal.
6. Cliquez sur Suivant.
7. Facultatif: spécifiez des valeurs pour les paramètres d'entrée suivants :
   • Délimiteur de fractionnement: délimiteur utilisé pour séparer les lignes de journal, par exemple \n.
   • Espace de noms des éléments: espace de noms des éléments.
   • Libellés d'ingestion: libellé à appliquer aux événements de ce flux.
8. Cliquez sur Suivant.
9. Vérifiez la configuration de votre nouveau flux dans l'écran Finaliser, puis cliquez sur Envoyer.
10. Cliquez sur Générer une clé secrète pour générer une clé secrète permettant d'authentifier ce flux.
11. Copiez et stockez la clé secrète, car vous ne pourrez plus la consulter à nouveau. Vous pouvez générer à nouveau une clé secrète, mais la régénération de la clé secrète rend l'ancienne clé secrète obsolète.
12. Dans l'onglet Détails, copiez l'URL du point de terminaison du flux dans le champ Informations sur le point de terminaison. Vous devez spécifier cette URL de point de terminaison dans votre application cliente.
13. Pour désactiver le flux, cliquez sur le bouton Flux activé. Le flux est activé par défaut.
14. Cliquez sur OK.

Créer une clé API pour le flux webhook

1. Accédez à la page Identifiants de la console Google Cloud.
2. Cliquez sur Créer des identifiants, puis sélectionnez Clé API.
3. Limitez l'accès de la clé API à l'API Chronicle.

Spécifier l'URL du point de terminaison

1. Dans votre application cliente, spécifiez le point de terminaison HTTPS, qui est disponible dans le flux de webhook.

2. Activez l'authentification en spécifiant la clé API et la clé secrète dans l'en-tête personnalisé au format suivant:

   X-goog-api-key = API_KEY

   X-Webhook-Access-Key = SECRET

   Nous vous recommandons de spécifier la clé API en tant qu'en-tête plutôt que dans l'URL. Si votre client webhook n'est pas compatible avec les en-têtes personnalisés, vous pouvez spécifier la clé API et la clé secrète à l'aide de paramètres de requête au format suivant:

     ENDPOINT_URL?key=API_KEY&secret=SECRET
   

   Remplacez les éléments suivants :

   • ENDPOINT_URL: URL du point de terminaison du flux.
   • API_KEY: clé API permettant de s'authentifier auprès de Google Security Operations.
   • SECRET: clé secrète que vous avez générée pour authentifier le flux.

Exemple de configuration d'un flux Google Cloud Storage

1. Dans le menu Google Security Operations, sélectionnez Paramètres, puis cliquez sur Flux.
2. Cliquez sur Add New (Ajouter nouveau).
3. Sélectionnez Google Cloud Storage pour Type de source.
4. Sélectionnez le type de journal. Par exemple, pour créer un flux pour les journaux d'audit Google Kubernetes Engine, sélectionnez Journaux d'audit Google Kubernetes Engine comme Type de journal.
5. Cliquez sur Obtenir un compte de service. Google Security Operations fournit un compte de service unique qu'il utilise pour ingérer des données.
6. Configurez l'accès du compte de service aux objets Cloud Storage. Dans ce document, consultez la section Accorder l'accès au compte de service Google Security Operations.
7. Cliquez sur Suivant.
8. En fonction de la configuration Cloud Storage que vous avez créée, spécifiez les valeurs des champs suivants :
   • URI du bucket de stockage
   • Un URI est un
   • Option de suppression de la source
9. Cliquez sur Suivant, puis sur Envoyer.

Accorder l'accès au compte de service Google Security Operations

1. Dans la console Google Cloud, accédez à la page Buckets Cloud Storage.
   

   Accéder à la page "Buckets"

2. Accordez au compte de service l'accès aux objets Cloud Storage concernés.

   • Pour accorder l'autorisation de lecture à un fichier spécifique, procédez comme suit:

     1. Sélectionnez le fichier, puis cliquez sur Modifier l'accès.
     2. Cliquez sur Ajouter un compte principal.
     3. Dans le champ Nouveaux comptes principaux, saisissez le nom du compte de service Google Security Operations.
     4. Attribuez un rôle contenant l'autorisation de lecture au compte de service Google Security Operations. Par exemple, Lecteur des objets Storage (roles/storage.objectViewer). Cela n'est possible que si vous n'avez pas activé l'accès uniforme au niveau du bucket.
     5. Cliquez sur Enregistrer.

   • Pour accorder l'autorisation de lecture à plusieurs fichiers, vous devez accorder l'accès au niveau du bucket. Vous devez ajouter le compte de service Google Security Operations en tant que principal à votre bucket de stockage et lui attribuer le rôle IAM Lecteur des objets de l'espace de stockage (roles/storage.objectViewer).

     Si vous configurez le flux pour supprimer les fichiers sources, vous devez ajouter le compte de service Google Security Operations en tant que principal à votre bucket et lui attribuer le rôle IAM Storage Object Admin (roles/storage.objectAdmin).

Configurez VPC Service Controls

Si VPC Service Controls est activé, une règle d'entrée est requise pour autoriser l'accès au bucket Cloud Storage.

Les méthodes Cloud Storage suivantes doivent être autorisées dans la règle d'importation:

• google.storage.objects.list. Obligatoire pour un flux de fichiers unique.
• google.storage.objects.get : obligatoire pour les flux nécessitant un accès à un répertoire ou à un sous-répertoire.
• google.storage.objects.delete. Obligatoire pour les flux nécessitant la suppression du fichier source.

Exemple de règle d'entrée

- ingressFrom:
  identities:
    - serviceAccount:8911409095528497-0-account@partnercontent.gserviceaccount.com
  sources:
  - accessLevel: "*"
  ingressTo:
  operations:
  - serviceName: storage.googleapis.com
    methodSelectors:
    - method: google.storage.objects.list
    - method: google.storage.objects.get
    - method: google.storage.objects.delete
  resources:
  - projects/PROJECT_ID

État du flux

Vous pouvez surveiller l'état du flux depuis la page Flux initiale. Les flux peuvent présenter les états suivants:

• Actif : le flux est configuré et prêt à ingérer des données dans votre compte Google Security Operations.
• InProgress : Google Security Operations tente maintenant d'extraire des données du tiers configuré.
• Terminé : les données ont bien été récupérées par ce flux.
• Archivé : flux désactivé.

• Échec : le flux ne parvient pas à récupérer les données. Cela est probablement dû à un problème de configuration. Cliquez sur la question pour afficher l'erreur de configuration. Une fois l'erreur corrigée et le flux renvoyé, revenez sur la page Flux pour déterminer s'il fonctionne ou non.

Modifier les flux

Sur la page Flux, vous pouvez modifier un flux existant:

1. Pointez sur un flux existant, puis cliquez sur plus_vert dans la colonne de droite.

2. Cliquez sur Modifier le flux. Vous pouvez désormais modifier les paramètres d'entrée du flux et le renvoyer à Google Security Operations. Google Security Operations tentera d'utiliser le flux modifié.

Activer et désactiver des flux

Dans la colonne État, les flux activés sont marqués comme Actifs, En cours, Terminés ou Échec. Les champs désactivés sont marqués comme Archivés. Pour en savoir plus, consultez la section État du flux.

Sur la page Flux, vous pouvez activer ou désactiver n'importe quel flux existant:

1. Pointez sur un flux existant, puis cliquez sur plus_vert dans la colonne de droite.

2. Pour activer un flux, cliquez sur le bouton bascule Activer le flux.

3. Pour désactiver un flux, cliquez sur le bouton bascule Désactiver le flux. Le flux est désormais marqué comme Archivé.

Supprimer des flux

Sur la page Flux, vous pouvez également supprimer un flux existant:

1. Pointez sur un flux existant, puis cliquez sur plus_vert dans la colonne de droite.

2. Cliquez sur Supprimer le flux. La fenêtre "SUPPRIMER LE FLUX" s'ouvre. Pour supprimer définitivement le flux, cliquez sur Oui, le supprimer.

Contrôler le débit d'ingestion

Lorsque le taux d'ingestion de données d'un locataire atteint un certain seuil, Google Security Operations limite le taux d'ingestion des nouveaux flux de données pour éviter qu'une source à haut débit d'ingestion n'affecte le débit d'ingestion d'une autre source de données. Dans ce cas, il y a un délai, mais aucune donnée n'est perdue. Le volume d'ingestion et l'historique d'utilisation du locataire déterminent le seuil.

Vous pouvez demander une augmentation de la limite de débit en contactant Cloud Customer Care.

Dépannage

Sur la page Flux, vous pouvez consulter des informations telles que le type de source, le type de journal, l'ID du flux et l'état des flux existants:

1. Pointez sur un flux existant, puis cliquez sur plus_vert dans la colonne de droite.

2. Cliquez sur Afficher le flux. Une boîte de dialogue s'affiche, contenant les détails du flux. Pour un flux ayant échoué, vous trouverez les détails de l'erreur sous Détails > État.

Pour un flux ayant échoué, les détails incluent la cause de l'erreur et la procédure à suivre pour la corriger. Le tableau suivant décrit les messages d'erreur que vous pouvez rencontrer lorsque vous travaillez avec des flux de données.