Profiler des données BigQuery dans un seul projet

Cette page explique comment configurer la découverte des données BigQuery au niveau du projet. Si vous souhaitez profiler une organisation ou un dossier, consultez Profiler les données BigQuery dans une organisation ou un dossier.

Pour en savoir plus sur le service de découverte, consultez Profils de données.

Pour commencer à profiler les données, vous devez créer une configuration d'analyse.

Avant de commencer

  1. Assurez-vous que l'API Cloud Data Loss Prevention est activée dans votre projet:

    1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    3. Make sure that billing is enabled for your Google Cloud project.

    4. Enable the required API.

      Enable the API

      5.

    5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    6. Make sure that billing is enabled for your Google Cloud project.

    7. Enable the required API.

      Enable the API

      8.

  2. Confirmez que vous disposez des autorisations IAM requises pour configurer des profils de données au niveau du projet.

  3. Vous devez disposer d'un modèle d'inspection dans chaque région où vous disposez de données à profiler. Si vous souhaitez utiliser un seul modèle pour plusieurs régions, vous pouvez utiliser un modèle stocké dans la région global. Si les règles de l'organisation vous empêchent de créer un modèle d'inspection dans la région global, vous devez définir un modèle d'inspection dédié pour chaque région. Pour en savoir plus, consultez la section Considérations relatives à la résidence des données.

    Cette tâche vous permet de créer un modèle d'inspection dans la région global uniquement. Si vous avez besoin de modèles d'inspection dédiés pour une ou plusieurs régions, vous devez les créer avant d'effectuer cette tâche.

  4. Vous pouvez configurer la protection des données sensibles pour envoyer des notifications à Pub/Sub lorsque certains événements se produisent, par exemple lorsque la protection des données sensibles profile une nouvelle table. Si vous souhaitez utiliser cette fonctionnalité, vous devez d'abord créer un sujet Pub/Sub.

  5. Vous pouvez configurer la protection des données sensibles pour associer automatiquement des tags à vos ressources. Cette fonctionnalité vous permet d'accorder l'accès à ces ressources de manière conditionnelle en fonction de leurs niveaux de sensibilité calculés. Si vous souhaitez utiliser cette fonctionnalité, vous devez d'abord effectuer les tâches de la section Contrôler l'accès IAM aux ressources en fonction de la sensibilité des données.

Créer une configuration d'analyse

  1. Accédez à la page Créer une configuration d'analyse.

    Accéder à la page "Créer une configuration d'analyse"

  2. Accédez à votre projet. Dans la barre d'outils, cliquez sur le sélecteur de projet, puis sélectionnez votre projet.

Les sections suivantes fournissent des informations supplémentaires sur les étapes de la page Créer une configuration d'analyse. À la fin de chaque section, cliquez sur Continuer.

Sélectionner un type de détection

Sélectionnez BigQuery.

Sélectionner un niveau d'accès

Effectuez l'une des opérations suivantes :

  • Si vous souhaitez analyser une seule table, sélectionnez Analyser une table.

    Pour chaque table, vous ne pouvez avoir qu'une seule configuration d'analyse à ressource unique. Pour en savoir plus, consultez Profiler une seule ressource de données.

    Renseignez les détails de la table que vous souhaitez profiler.

  • Si vous souhaitez effectuer un profilage standard au niveau du projet, sélectionnez Analyser le projet sélectionné.

Gérer les planifications

Si la fréquence de profilage par défaut répond à vos besoins, vous pouvez ignorer cette section de la page Créer une configuration d'analyse.

Configurez cette section pour les raisons suivantes:

  • Pour ajuster précisément la fréquence de profilage de l'ensemble de vos données ou de certains sous-ensembles.
  • Pour spécifier les tables que vous ne souhaitez pas profiler.
  • Pour spécifier les tables que vous ne souhaitez pas profilées plus d'une fois.

Pour ajuster précisément la fréquence de profilage, procédez comme suit:

  1. Cliquez sur Ajouter un planning.

  2. Dans la section Filtres, vous définissez un ou plusieurs filtres qui spécifient les tables incluses dans le champ d'application de la planification.

    Indiquez au moins l'un des éléments suivants:

    • ID de projet ou expression régulière spécifiant un ou plusieurs projets
    • ID d'un ensemble de données ou expression régulière spécifiant un ou plusieurs ensembles de données
    • ID de table ou expression régulière spécifiant une ou plusieurs tables

    Les expressions régulières doivent suivre la syntaxe RE2.

    Par exemple, si vous souhaitez que toutes les tables d'un ensemble de données soient incluses dans le filtre, spécifiez l'ID de cet ensemble de données et laissez les deux autres champs vides.

    Pour ajouter d'autres filtres, cliquez sur Ajouter un filtre et répétez cette étape.

  3. Cliquez sur Fréquence.

  4. Dans la section Fréquence, indiquez si Sensitive Data Protection doit profiler les tables que vous avez définies dans vos filtres et, le cas échéant, à quelle fréquence:

    • Si vous ne souhaitez jamais que les tables soient profilées, désactivez l'option Profiler les tables.

    • Si vous souhaitez que les tables soient profilées au moins une fois, laissez l'option Profiler les tables activée.

      Dans les champs suivants de cette section, vous indiquez si le système doit reprofiler vos données et quels événements doivent déclencher une opération de reprofilage. Pour en savoir plus, consultez la section Fréquence de génération du profil de données.

      1. Pour Lorsque le schéma change, spécifiez la fréquence à laquelle Sensitive Data Protection doit vérifier si les tables sélectionnées ont subi des modifications de schéma après leur dernier profilage. Seules les tables avec des modifications de schéma seront reprofilées.
      2. Pour Types de modifications de schéma, spécifiez les types de modifications de schéma qui doivent déclencher une opération de reprofilage. Sélectionnez l'une des options suivantes :
        • Nouvelles colonnes: reprofilez les tables qui ont reçu de nouvelles colonnes.
        • Colonnes supprimées: reprofilez les tables dont des colonnes ont été supprimées.

        Par exemple, supposons que vous ayez des tables qui ajoutent de nouvelles colonnes chaque jour et que vous deviez profiler leur contenu à chaque fois. Vous pouvez définir Quand le schéma change sur Reprofiler tous les jours et Types de modification de schéma sur Nouvelles colonnes.

      3. Pour When table changes (Lorsque la table change), spécifiez la fréquence à laquelle Sensitive Data Protection doit vérifier si les tables sélectionnées ont été modifiées après leur dernier profilage. Seuls les tableaux avec des modifications seront reprofilés. Les suppressions de lignes et les modifications de schéma sont des exemples de modifications de table.

        Vous devez sélectionner une valeur identique ou moins fréquente que celle que vous avez définie dans le champ Quand le schéma change.

      4. Pour When inspect template changes (Quand le modèle d'inspection change), indiquez si vous souhaitez que vos données soient reprofilées lorsque le modèle d'inspection associé est mis à jour, et si oui, à quelle fréquence.

        Une modification de modèle d'inspection est détectée dans les cas suivants:

        • Le nom d'un modèle d'inspection change dans votre configuration d'analyse.
        • Le updateTime d'un modèle d'inspection change.

        5. Par exemple, si vous définissez un modèle d'inspection pour la région us-west1 et que vous le mettez à jour, seules les données de la région us-west1 seront reprofilées.

  5. Cliquez sur Conditions.

  6. Dans la section Conditions, spécifiez les conditions que les tables, définies dans vos filtres, doivent remplir avant que la protection des données sensibles ne les profile. Si vous définissez des conditions minimales et la condition temporelle, la protection des données sensibles ne profile que les tables qui répondent aux deux types de conditions.

    • Conditions minimales: ces conditions sont utiles si vous souhaitez retarder le profilage d'une table jusqu'à ce qu'elle contienne suffisamment de lignes ou qu'elle atteigne un certain âge. Activez les conditions que vous souhaitez appliquer et spécifiez le nombre minimal de lignes ou la durée.
    • Condition temporelle: cette condition est utile si vous ne souhaitez pas que les anciennes tables soient profilées. Activez la condition temporelle, puis sélectionnez une date et une heure. Toute table créée à cette date ou avant est exclue du profilage.

    Exemples de conditions

    Supposons que vous ayez la configuration suivante:

    • Conditions minimales

      • Nombre minimal de lignes: 10 lignes
      • Durée minimale: 24 heures

    • Condition temporelle

      • Code temporel: 4/5/22, 23:59

    Dans ce cas, la protection des données sensibles exclut toutes les tables créées le 4 mai 2022 à 23h59 ou avant. Parmi les tables créées après cette date et cette heure, la protection des données sensibles ne profile que les tables qui comportent 10 lignes ou ont au moins 24 heures.

  7. Dans la section Tables à profiler, sélectionnez l'une des options suivantes, en fonction des types de tables que vous souhaitez profiler:

    • Profiler toutes les tables: sélectionnez cette option si vous souhaitez que la protection des données sensibles profile tous les types de tables correspondant à vos filtres et conditions.

      Pour les types de tables non compatibles, la protection des données sensibles ne génère que des profils partiellement renseignés. Ces profils affichent des erreurs indiquant que les tables auxquelles ils font référence ne sont pas compatibles. Sélectionnez cette option si vous souhaitez afficher les profils partiels malgré les messages d'erreur.

      Lorsque la protection des données sensibles prend en charge un nouveau type de table, elle reprofile entièrement les tables de ce type lors de l'exécution planifiée suivante.

    • Profiler les tables compatibles: sélectionnez cette option si vous souhaitez que la protection des données sensibles ne profile que les tables compatibles qui correspondent à vos filtres et conditions. Les tables non compatibles n'auront pas de profils partiels.

    • Profiler des types de tables spécifiques: sélectionnez cette option si vous souhaitez que la protection des données sensibles ne effectue le profilage que des types de tables que vous sélectionnez. Dans la liste qui s'affiche, sélectionnez un ou plusieurs types.

      Lorsque la protection des données sensibles prend en charge un nouveau type de table, elle ne profile pas automatiquement les tables de ce type. Pour profiler les nouveaux types de tables compatibles, vous devez modifier la configuration de l'analyse et sélectionner ces types.

    Si vous ne sélectionnez aucune option, Sensitive Data Protection ne génère des profils que pour les tables BigQuery et affiche des erreurs pour les tables non compatibles.

    Les tarifs du profilage de données varient en fonction des types de tables profilées. Pour en savoir plus, consultez la page Tarifs du profilage de données.

  8. Cliquez sur OK.

  9. Si vous souhaitez ajouter d'autres planifications, cliquez sur Ajouter une planification, puis répétez les étapes précédentes.

  10. Pour spécifier la priorité entre les planifications, réorganisez-les à l'aide des flèches vers le haut  et vers le bas .

    L'ordre des planifications spécifie comment les conflits entre les planifications sont résolus. Si une table correspond aux filtres de deux planifications différentes, la planification située plus haut dans la liste des planifications détermine la fréquence de profilage pour cette table.

    Le dernier calendrier de la liste est toujours celui intitulé Calendrier par défaut. Ce calendrier par défaut couvre les tables de la portée sélectionnée qui ne correspondent à aucune des planifications que vous avez créées. Cette planification par défaut suit la fréquence de profilage par défaut du système.

  11. Si vous souhaitez ajuster le calendrier par défaut, cliquez sur Modifier le calendrier, puis ajustez les paramètres si nécessaire.

Sélectionner un modèle d'inspection

Selon la manière dont vous souhaitez fournir une configuration d'inspection, choisissez l'une des options suivantes. Quelle que soit l'option choisie, la protection des données sensibles analyse vos données dans la région où elles sont stockées. Autrement dit, vos données ne quittent pas leur région d'origine.

Option 1: Créer un modèle d'inspection

Choisissez cette option si vous souhaitez créer un modèle d'inspection dans la région global.

  1. Cliquez sur Créer un modèle d'inspection.

  2. Facultatif: Pour modifier la sélection par défaut des infoTypes, cliquez sur Gérer les infoTypes.

    Pour en savoir plus sur la gestion des infoTypes intégrés et personnalisés, consultez la section Gérer les infoTypes via la console Google Cloud.

    Vous devez sélectionner au moins un infoType pour continuer.

  3. Facultatif : poursuivez la configuration du modèle d'inspection en ajoutant des ensembles de règles et en définissant un seuil de confiance. Pour en savoir plus, consultez la section Configurer la détection.

Lorsque la protection des données sensibles crée la configuration d'analyse, elle stocke ce nouveau modèle d'inspection dans la région global.

Option 2: Utiliser un modèle d'inspection existant

Choisissez cette option si vous disposez de modèles d'inspection existants que vous souhaitez utiliser.

  1. Cliquez sur Sélectionner un modèle d'inspection existant.
  2. Saisissez le nom complet de la ressource du modèle d'inspection que vous souhaitez utiliser. Le champ Region (Région) est automatiquement renseigné avec le nom de la région dans laquelle votre modèle d'inspection est stocké.

    Le modèle d'inspection que vous saisissez doit se trouver dans la même région que les données à profiler.

    Pour respecter la résidence des données, la protection des données sensibles n'utilise pas de modèle d'inspection en dehors de la région où ce modèle est stocké.

    Pour trouver le nom complet de ressource d'un modèle d'inspection, procédez comme suit:

    1. Accédez à la liste de vos modèles d'inspection. Cette page s'ouvre dans un nouvel onglet.

      Accéder aux modèles d'inspection

    2. Basculez vers le projet contenant le modèle d'inspection que vous souhaitez utiliser.
    3. Dans l'onglet Modèles, cliquez sur l'ID du modèle que vous souhaitez utiliser.
    4. Sur la page qui s'affiche, copiez le nom complet de la ressource du modèle. Il a le format suivant: 
      projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID
    5. Sur la page Créer une configuration d'analyse, dans le champ Nom du modèle, collez le nom complet de la ressource du modèle.
  3. Pour ajouter un modèle d'inspection pour une autre région, cliquez sur Ajouter un modèle d'inspection, puis saisissez le nom complet de la ressource du modèle. Répétez cette opération pour chaque région pour laquelle vous disposez d'un modèle d'inspection dédié.
  4. Facultatif: ajoutez un modèle d'inspection stocké dans la région global. La protection des données sensibles utilise automatiquement ce modèle pour les données des régions où vous ne disposez pas d'un modèle d'inspection dédié.

Ajouter des actions

Dans les sections suivantes, vous spécifiez les actions que vous souhaitez que la protection des données sensibles effectue après avoir généré les profils de données.

Pour en savoir plus sur la façon dont d'autres services Google Cloud peuvent vous facturer la configuration d'actions, consultez la page Tarifs pour l'exportation de profils de données.

Publier dans Security Command Center

Les résultats des profils de données fournissent un contexte lorsque vous triez et développez des plans de réponse pour vos résultats sur les failles et les menaces dans Security Command Center.

Avant de pouvoir utiliser cette action, Security Command Center doit être activé au niveau de l'organisation. Activer Security Command Center au niveau de l'organisation permet de transmettre les résultats issus de services intégrés tels que la protection des données sensibles. Sensitive Data Protection est compatible avec Security Command Center dans tous les niveaux de service.

Si Security Command Center n'est pas activé au niveau de l'organisation, les résultats de la protection des données sensibles n'y apparaissent pas. Pour en savoir plus, consultez Vérifier le niveau d'activation de Security Command Center.

Pour envoyer les résultats de vos profils de données à Security Command Center, assurez-vous que l'option Publier dans Security Command Center est activée.

Pour en savoir plus, consultez la section Publier des profils de données dans Security Command Center.

Enregistrer des copies des profils de données dans BigQuery

Activer l'option Enregistrer des copies des profils de données dans BigQuery vous permet de conserver une copie ou un historique de tous vos profils générés. Cela peut être utile pour créer des rapports d'audit et visualiser les profils de données. Vous pouvez également charger ces informations dans d'autres systèmes.

Cette option vous permet également de regrouper tous vos profils de données dans une seule vue, quelle que soit la région dans laquelle se trouvent vos données. Si vous désactivez cette option, vous pouvez toujours afficher les profils de données dans la console Google Cloud. Toutefois, dans la console Google Cloud, vous ne pouvez sélectionner qu'une région à la fois et n'afficher que les profils de données de cette région.

Pour exporter des copies des profils de données vers une table BigQuery, procédez comme suit:

  1. Activez l'option Enregistrer des copies des profils de données dans BigQuery.

  2. Saisissez les détails de la table BigQuery dans laquelle vous souhaitez enregistrer les profils de données:

    • Pour Project ID (ID du projet), saisissez l'ID d'un projet existant vers lequel vous souhaitez exporter les profils de données.

    • Pour ID de l'ensemble de données, saisissez le nom d'un ensemble de données existant dans le projet dans lequel vous souhaitez exporter les profils de données.

    • Pour ID de table, saisissez un nom pour la table BigQuery vers laquelle les profils de données seront exportés. Si vous n'avez pas créé cette table, la protection des données sensibles la crée automatiquement pour vous à l'aide du nom que vous fournissez.

Sensitive Data Protection commence à exporter les profils à partir du moment où vous activez cette option. Les profils générés avant que vous n'activiez l'exportation ne sont pas enregistrés dans BigQuery.

Associer des tags aux ressources

Activer Ajouter des tags aux ressources indique à la protection des données sensibles d'ajouter automatiquement des tags à vos données en fonction de leur niveau de sensibilité calculé. Pour suivre cette section, vous devez d'abord effectuer les tâches de la section Contrôler l'accès IAM aux ressources en fonction de la sensibilité des données.

Pour ajouter automatiquement un tag à une ressource en fonction de son niveau de sensibilité calculé, procédez comme suit:

  1. Activez l'option Taguer les ressources.

  2. Pour chaque niveau de sensibilité (élevé, modéré, faible et inconnu), saisissez le chemin d'accès de la valeur de balise que vous avez créée pour le niveau de sensibilité donné.

    Si vous ignorez un niveau de sensibilité, aucune balise ne lui est associée.

  3. Pour réduire automatiquement le niveau de risque des données d'une ressource lorsque la balise de niveau de sensibilité est présente, sélectionnez Lorsque qu'une balise est appliquée à une ressource, réduire le risque des données de son profil à FAIBLE. Cette option vous aide à mesurer l'amélioration de votre posture en matière de sécurité et de confidentialité des données.

  4. Sélectionnez l'une des options suivantes ou les deux:

    • Taguez une ressource lorsqu'elle est profilée pour la première fois.

    • Taguez une ressource lorsque son profil est mis à jour. Sélectionnez cette option si vous souhaitez que Sensitive Data Protection écrase la valeur de la balise de niveau de sensibilité lors des prochaines exécutions de détection. Par conséquent, l'accès d'un principal à une ressource change automatiquement à mesure que le niveau de sensibilité des données calculé pour cette ressource augmente ou diminue.

      Ne sélectionnez pas cette option si vous prévoyez de mettre à jour manuellement les valeurs de balise de niveau de sensibilité que le service de découverte a associées à vos ressources. Si vous sélectionnez cette option, la protection des données sensibles peut écraser vos mises à jour manuelles.

Publier dans Pub/Sub

Activer Publier dans Pub/Sub vous permet d'effectuer des actions programmatiques en fonction des résultats de profilage. Vous pouvez utiliser les notifications Pub/Sub pour développer un workflow permettant de détecter et de corriger les résultats présentant un risque ou une sensibilité de données importants.

Pour envoyer des notifications à un sujet Pub/Sub, procédez comme suit:

  1. Activez Publier dans Pub/Sub.

    Une liste d'options s'affiche. Chaque option décrit un événement qui entraîne l'envoi d'une notification à Pub/Sub par la protection des données sensibles.

  2. Sélectionnez les événements qui doivent déclencher une notification Pub/Sub.

    Si vous sélectionnez Envoyer une notification Pub/Sub à chaque mise à jour d'un profil, la protection des données sensibles envoie une notification en cas de modification du niveau de sensibilité, du niveau de risque des données, des infoTypes détectés, de l'accès public et d'autres métriques importantes dans le profil.

  3. Pour chaque événement que vous sélectionnez, procédez comme suit:

    1. Saisissez le nom du sujet. Le nom doit respecter le format suivant:

      projects/PROJECT_ID/topics/TOPIC_ID

      Remplacez les éléments suivants :

      • PROJECT_ID: ID du projet associé au sujet Pub/Sub.
      • TOPIC_ID: ID du sujet Pub/Sub.

    2. Spécifiez si vous souhaitez inclure le profil de table complet dans la notification ou uniquement le nom de ressource complet de la table profilée.

    3. Définissez les niveaux de sensibilité et de risque liés aux données minimaux qui doivent être atteints pour que Sensitive Data Protection envoie une notification.

    4. Indiquez si une seule ou les deux conditions de risque et de sensibilité des données doivent être remplies. Par exemple, si vous choisissez AND, les conditions de risque de données et de sensibilité doivent être remplies avant que Sensitive Data Protection n'envoie une notification.

Envoyer à Dataplex sous forme de tags

Cette action vous permet de créer des balises dans Dataplex en fonction des insights issus des profils de données. Cette action ne s'applique qu'aux nouveaux profils et aux profils mis à jour. Les profils existants qui ne sont pas mis à jour ne sont pas envoyés à Dataplex.

Dataplex est un service Google Cloud qui unifie les données distribuées et automatise leur gestion et leur gouvernance. Lorsque vous activez cette action, les tables que vous profilez sont automatiquement taguées dans Dataplex en fonction des insights recueillis à partir des profils de données. Vous pouvez ensuite rechercher dans votre organisation et vos projets des tables avec des valeurs de balise spécifiques.

Pour envoyer les profils de données à Dataplex, assurez-vous que l'option Envoyer à Dataplex sous forme de tags est activée.

Pour en savoir plus, consultez Taguer des tables dans Dataplex en fonction des insights issus des profils de données.

Définir l'emplacement de stockage de la configuration

Cliquez sur la liste Emplacement des ressources, puis sélectionnez la région dans laquelle vous souhaitez stocker cette configuration d'analyse. Toutes les configurations d'analyse que vous créerez ultérieurement seront également stockées à cet emplacement.

L'emplacement où vous choisissez de stocker votre configuration d'analyse n'affecte pas les données à analyser. Vos données sont analysées dans la région dans laquelle elles sont stockées. Pour en savoir plus, consultez la section Considérations relatives à la résidence des données.

Vérifier et créer

  1. Si vous souhaitez vous assurer que le profilage ne démarre pas automatiquement après la création de la configuration d'analyse, sélectionnez Créer une analyse en mode suspendu.

    Cette option est utile dans les cas suivants:

  2. Vérifiez vos paramètres, puis cliquez sur Créer.

    Sensitive Data Protection crée la configuration d'analyse et l'ajoute à la liste des configurations d'analyse de découverte.

Pour afficher ou gérer vos configurations d'analyse, consultez Gérer les configurations d'analyse.

Si votre agent de service dispose des rôles nécessaires pour accéder à vos données et les profiler, la protection des données sensibles commence à analyser vos données peu de temps après la création de la configuration d'analyse ou la réactivation d'une configuration mise en veille. Sinon, Sensitive Data Protection affiche une erreur lorsque vous affichez les détails de la configuration d'analyse.

Étape suivante

  • Découvrez comment gérer les profils de données.
  • Découvrez comment gérer les configurations d'analyse.
  • Découvrez comment recevoir et analyser les messages Pub/Sub publiés par le profileur de données.
  • Découvrez comment résoudre les problèmes liés aux profils de données.
    •