Profiler des données Vertex AI dans un seul projet

Cette page explique comment configurer la découverte de données Vertex AI au niveau du projet. Si vous souhaitez profiler une organisation ou un dossier, consultez Profiler des données Vertex AI dans une organisation ou un dossier.

Pour en savoir plus sur le service de découverte, consultez Profils de données.

Avant de commencer

  1. Assurez-vous que l'API Cloud Data Loss Prevention est activée pour votre projet :

    1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    3. Make sure that billing is enabled for your Google Cloud project.

    4. Enable the required API.

      Enable the API

    5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    6. Make sure that billing is enabled for your Google Cloud project.

    7. Enable the required API.

      Enable the API

      8.

    8. Confirmez que vous disposez des autorisations IAM requises pour configurer des profils de données au niveau du projet.

    9. Vous devez disposer d'un modèle d'inspection dans chaque région où vous avez des données à profiler. Si vous souhaitez utiliser un seul modèle pour plusieurs régions, vous pouvez utiliser un modèle stocké dans la région global. Si des règles d'administration vous empêchent de créer un modèle d'inspection dans la région global, vous devez définir un modèle d'inspection dédié pour chaque région. Pour en savoir plus, consultez Considérations relatives à la résidence des données.

      Cette tâche vous permet de créer un modèle d'inspection uniquement dans la région global. Si vous avez besoin de modèles d'inspection dédiés pour une ou plusieurs régions, vous devez créer ces modèles avant d'effectuer cette tâche.

    10. Vous pouvez configurer la protection des données sensibles pour qu'elle envoie des notifications à Pub/Sub lorsque certains événements se produisent, par exemple lorsqu'elle profile un nouvel ensemble de données. Si vous souhaitez utiliser cette fonctionnalité, vous devez d'abord créer un sujet Pub/Sub.

      11. Créer une configuration d'analyse

      1. Accédez à la page Créer une configuration d'analyse.

        Accéder à la page "Créer une configuration d'analyse"

      2. Accédez à votre projet. Dans la barre d'outils, cliquez sur le sélecteur de projet et sélectionnez votre projet.

      Les sections suivantes fournissent plus d'informations sur les étapes de la page Créer une configuration d'analyse. À la fin de chaque section, cliquez sur Continuer.

      Sélectionner un type de détection

      Sélectionnez Vertex AI.

      Sélectionner un niveau d'accès

      Effectuez l'une des opérations suivantes :

      • Si vous souhaitez analyser un seul ensemble de données, sélectionnez Analyser un ensemble de données.

        Pour chaque ensemble de données, vous ne pouvez avoir qu'une seule configuration d'analyse d'une seule ressource. Pour en savoir plus, consultez Profiler une seule ressource de données.

        Renseignez les détails de l'ensemble de données que vous souhaitez profiler.

      • Si vous souhaitez effectuer un profilage standard au niveau du projet, sélectionnez Analyser le projet sélectionné.

      Gérer les planifications

      Si la fréquence de profilage par défaut répond à vos besoins, vous pouvez ignorer cette section de la page Créer une configuration d'analyse.

      Configurez cette section pour les raisons suivantes :

      • Pour ajuster précisément la fréquence de profilage de toutes vos données ou de certains sous-ensembles de données.
      • Pour spécifier les ensembles de données que vous ne souhaitez pas profiler.
      • Pour spécifier les ensembles de données que vous ne souhaitez pas profiler plusieurs fois.

      Pour ajuster précisément la fréquence de profilage, procédez comme suit :

      1. Cliquez sur Ajouter une programmation.

      2. Dans la section Filtres, vous définissez un ou plusieurs filtres qui spécifient les ensembles de données inclus dans le champ d'application du programme. Un ensemble de données est considéré comme faisant partie du champ d'application du programme s'il correspond à au moins l'un des filtres définis.

        Pour configurer un filtre, spécifiez un ID de projet ou une expression régulière qui spécifie un ou plusieurs projets.

        Les expressions régulières doivent suivre la syntaxe RE2.

        Par exemple, si vous souhaitez que tous les ensembles de données d'un projet soient inclus dans le filtre, saisissez l'ID du projet dans le champ ID du projet.

        Pour ajouter d'autres filtres, cliquez sur Ajouter un filtre et répétez cette étape.

      3. Cliquez sur Fréquence.

      4. Dans la section Fréquence, indiquez si le service de découverte doit profiler les ensembles de données que vous avez sélectionnés et, le cas échéant, à quelle fréquence :

        • Si vous ne souhaitez jamais que les ensembles de données soient profilés, désactivez l'option Profiler ces données.

        • Si vous souhaitez que les ensembles de données soient profilés au moins une fois, laissez l'option Profiler ces données activée.

          Dans les champs suivants de cette section, vous indiquez si le système doit reprofiler vos données et quels événements doivent déclencher une opération de reprofilage. Pour en savoir plus, consultez Fréquence de génération des profils de données.

          1. Pour Selon une programmation, spécifiez la fréquence à laquelle vous souhaitez que les ensembles de données soient reprofilés. Les profils des ensembles de données sont recréés, qu'ils aient été modifiés ou non.
          2. Pour Fréquence d'inspection des modifications apportées au modèle, indiquez si vous souhaitez que vos données soient reprofilées lorsque le modèle d'inspection associé est mis à jour, et si oui, à quelle fréquence.

            Une modification de modèle d'inspection est détectée lorsque l'un des événements suivants se produit :

            • Le nom d'un modèle d'inspection change dans votre configuration d'analyse.
            • Le updateTime d'un modèle d'inspection change.

            3. Par exemple, si vous définissez un modèle d'inspection pour la région us-west1 et que vous le mettez à jour, seules les données de cette région seront reprofilées.us-west1

      5. Facultatif : Cliquez sur Conditions.

        Dans la section Conditions, vous spécifiez les conditions que les ensembles de données définis dans vos filtres doivent remplir pour que Sensitive Data Protection les profile.

        Si nécessaire, définissez les éléments suivants :

        • Condition minimale : activez cette option si vous souhaitez retarder le profilage d'un ensemble de données jusqu'à ce qu'il atteigne un certain âge. Saisissez ensuite la durée minimale.

        • Condition temporelle : activez cette option si vous ne souhaitez jamais profiler les anciens ensembles de données. Utilisez ensuite le sélecteur de date pour sélectionner une date et une heure. Tout ensemble de données créé à la date et heure sélectionnées ou avant est exclu du profilage.

        Exemples de conditions

        Supposons que vous ayez la configuration suivante :

        • Conditions minimales

          • Durée minimale : 24 heures

        • Condition temporelle

          • Timestamp : 04/05/22, 23:59

        Dans ce cas, Sensitive Data Protection exclut tout ensemble de données créé le 4 mai 2022 à 23h59 ou avant. Parmi les ensembles de données créés après cette date et heure, la protection des données sensibles ne profile que ceux qui ont au moins 24 heures.

      6. Cliquez sur OK.

      7. Facultatif : Pour ajouter d'autres programmations, cliquez sur Ajouter une programmation et répétez les étapes précédentes.

      8. Pour spécifier la priorité entre les planifications, réorganisez-les à l'aide des flèches vers le haut  et vers le bas .

        L'ordre des plannings indique comment les conflits entre eux sont résolus. Si un ensemble de données correspond aux filtres de deux plannings différents, c'est celui qui apparaît le plus haut dans la liste qui détermine la fréquence de profilage de cet ensemble de données.

      9. Facultatif : Modifiez ou désactivez la programmation globale.

        Le dernier programme de la liste est le programme général. Ce calendrier couvre les ensembles de données de votre champ d'application sélectionné qui ne correspondent à aucun des calendriers que vous avez créés. La programmation générique suit la fréquence de profilage par défaut du système.

        • Pour ajuster la programmation par défaut, cliquez sur Modifier la programmation, puis ajustez les paramètres si nécessaire.
        • Pour empêcher Sensitive Data Protection de profiler les ressources couvertes par la programmation générique, désactivez l'option Profiler les ressources qui ne correspondent à aucune programmation personnalisée.

      Sélectionner un modèle d'inspection

      Selon la façon dont vous souhaitez fournir une configuration d'inspection, choisissez l'une des options suivantes. Quelle que soit l'option choisie, Sensitive Data Protection analyse vos données dans la région où elles sont stockées. Autrement dit, vos données ne quittent pas leur région d'origine.

      Option 1 : Créer un modèle d'inspection

      Choisissez cette option si vous souhaitez créer un modèle d'inspection dans la région global.

      1. Cliquez sur Créer un modèle d'inspection.

      2. Facultatif : Pour modifier la sélection par défaut des infoTypes, cliquez sur Gérer les infoTypes.

        Pour savoir comment gérer les infoTypes intégrés et personnalisés, consultez Gérer les infoTypes dans la consoleGoogle Cloud .

        Vous devez sélectionner au moins un infoType pour continuer.

      3. Facultatif : poursuivez la configuration du modèle d'inspection en ajoutant des ensembles de règles et en définissant un seuil de confiance. Pour en savoir plus, consultez la section Configurer la détection.

      Lorsque Sensitive Data Protection crée la configuration d'analyse, il stocke ce nouveau modèle d'inspection dans la région global.

      Option 2 : Utiliser un modèle d'inspection existant

      Choisissez cette option si vous disposez de modèles d'inspection existants que vous souhaitez utiliser.

      1. Cliquez sur Sélectionner un modèle d'inspection existant.
      2. Saisissez le nom complet de la ressource du modèle d'inspection que vous souhaitez utiliser. Le champ Région est automatiquement renseigné avec le nom de la région dans laquelle votre modèle d'inspection est stocké.

        Le modèle d'inspection que vous saisissez doit se trouver dans la même région que les données à profiler.

        Pour respecter la résidence des données, Sensitive Data Protection n'utilise pas de modèle d'inspection en dehors de la région où il est stocké.

        Pour trouver le nom complet de ressource d'un modèle d'inspection, procédez comme suit :

        1. Accédez à la liste de vos modèles d'inspection. Cette page s'ouvre dans un nouvel onglet.

          Accéder aux modèles d'inspection

        2. Basculez vers le projet contenant le modèle d'inspection que vous souhaitez utiliser.
        3. Dans l'onglet Modèles, cliquez sur l'ID du modèle que vous souhaitez utiliser.
        4. Sur la page qui s'affiche, copiez le nom complet de la ressource du modèle. Il a le format suivant : 
          projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID
        5. Sur la page Créer une configuration d'analyse, dans le champ Nom du modèle, collez le nom complet de la ressource du modèle.
      3. Pour ajouter un modèle d'inspection pour une autre région, cliquez sur Ajouter un modèle d'inspection, puis saisissez le nom complet de la ressource du modèle. Répétez cette opération pour chaque région dans laquelle vous disposez d'un modèle d'inspection dédié.
      4. Facultatif : Ajoutez un modèle d'inspection stocké dans la région global. Sensitive Data Protection utilise automatiquement ce modèle pour les données des régions pour lesquelles vous n'avez pas de modèle d'inspection dédié.

      Ajouter des actions

      Cette section explique comment spécifier les actions que vous souhaitez que la protection des données sensibles effectue après le profilage d'un ensemble de données. Ces actions sont utiles si vous souhaitez envoyer des insights recueillis à partir de profils de données à d'autres servicesGoogle Cloud .

      Publier dans Security Command Center

      Les résultats des profils de données fournissent du contexte lorsque vous triez et élaborez des plans de réponse pour vos résultats sur les failles et les menaces dans Security Command Center.

      Pour pouvoir utiliser cette action, Security Command Center doit être activé au niveau de l'organisation. L'activation de Security Command Center au niveau de l'organisation permet le flux de résultats provenant de services intégrés tels que la protection des données sensibles. Sensitive Data Protection est compatible avec Security Command Center dans tous les niveaux de service.

      Si Security Command Center n'est pas activé au niveau de l'organisation, les résultats de Sensitive Data Protection n'apparaissent pas dans Security Command Center. Pour en savoir plus, consultez Vérifier le niveau d'activation de Security Command Center.

      Pour envoyer les résultats de vos profils de données à Security Command Center, assurez-vous que l'option Publier dans Security Command Center est activée.

      Pour en savoir plus, consultez Publier des profils de données dans Security Command Center.

      Enregistrer des copies des profils de données dans BigQuery

      Sensitive Data Protection enregistre une copie de chaque profil de données généré dans une table BigQuery. Si vous ne fournissez pas les détails de votre table préférée, Sensitive Data Protection crée un ensemble de données et une table dans le projet. Par défaut, l'ensemble de données est nommé sensitive_data_protection_discovery et la table est nommée discovery_profiles.

      Cette action vous permet de conserver un historique de tous vos profils générés. Cet historique peut être utile pour créer des rapports d'audit et visualiser les profils de données. Vous pouvez également charger ces informations dans d'autres systèmes.

      Cette option vous permet également de regrouper tous vos profils de données dans une seule vue, quelle que soit la région dans laquelle se trouvent vos données. Bien que vous puissiez également afficher les profils de données dans laGoogle Cloud console, celle-ci n'affiche les profils que dans une seule région à la fois.

      Lorsque la protection des données sensibles ne parvient pas à profiler un ensemble de données, elle effectue régulièrement de nouvelles tentatives. Pour réduire le bruit dans les données exportées, la protection des données sensibles n'exporte que les profils générés vers BigQuery.

      Sensitive Data Protection commence à exporter les profils à partir du moment où vous activez cette option. Les profils générés avant l'activation de l'exportation ne sont pas enregistrés dans BigQuery.

      Pour obtenir des exemples de requêtes que vous pouvez utiliser lorsque vous analysez des profils de données, consultez Analyser des profils de données.

      Enregistrer un échantillon des résultats de la découverte dans BigQuery

      La protection des données sensibles peut ajouter des exemples de résultats à une table BigQuery de votre choix. Les exemples de résultats représentent un sous-ensemble de tous les résultats et peuvent ne pas représenter tous les infoTypes découverts. En règle générale, le système génère environ 10 exemples de résultats par ensemble de données, mais ce nombre peut varier pour chaque exécution de découverte.

      Chaque résultat inclut la chaîne réelle (également appelée citation) qui a été détectée et son emplacement exact.

      Cette action est utile si vous souhaitez évaluer si votre configuration d'inspection correspond correctement au type d'informations que vous souhaitez signaler comme sensibles. À l'aide des profils de données exportés et des exemples de résultats exportés, vous pouvez exécuter des requêtes pour obtenir plus d'informations sur les éléments spécifiques qui ont été signalés, les infoTypes auxquels ils correspondent, leur emplacement exact, leur niveau de sensibilité calculé et d'autres détails.

      Pour enregistrer un échantillon de résultats dans une table BigQuery, procédez comme suit :

      1. Activez l'option Enregistrer un échantillon des résultats de la découverte dans BigQuery.

      2. Saisissez les détails de la table BigQuery dans laquelle vous souhaitez enregistrer les exemples de résultats.

        La table que vous spécifiez pour cette action doit être différente de celle utilisée pour l'action Enregistrer les copies des profils de données dans BigQuery.

        • Pour ID du projet, saisissez l'ID d'un projet existant dans lequel vous souhaitez exporter les résultats.

        • Pour ID de l'ensemble de données, saisissez le nom d'un ensemble de données existant dans le projet.

        • Dans le champ ID de table, saisissez le nom de la table BigQuery dans laquelle vous souhaitez enregistrer les résultats. Si cette table n'existe pas, la protection des données sensibles la crée automatiquement pour vous en utilisant le nom que vous fournissez.

      Pour en savoir plus sur le contenu de chaque résultat enregistré dans la table BigQuery, consultez DataProfileFinding.

      Publier dans Pub/Sub

      L'option Publier sur Pub/Sub vous permet d'effectuer des actions programmatiques en fonction des résultats du profilage. Vous pouvez utiliser les notifications Pub/Sub pour développer un workflow permettant d'identifier et de corriger les résultats présentant un risque ou une sensibilité importants pour les données.

      Pour envoyer des notifications à un sujet Pub/Sub, procédez comme suit :

      1. Activez Publier dans Pub/Sub.

        Une liste d'options s'affiche. Chaque option décrit un événement qui déclenche l'envoi d'une notification à Pub/Sub par la protection des données sensibles.

      2. Sélectionnez les événements qui doivent déclencher une notification Pub/Sub.

        Si vous sélectionnez Envoyer une notification Pub/Sub à chaque mise à jour d'un profil, Sensitive Data Protection envoie une notification en cas de modification du niveau de sensibilité, du niveau de risque lié aux données, des infoTypes détectés, de l'accès public et d'autres métriques importantes dans le profil.

      3. Pour chaque événement que vous sélectionnez, procédez comme suit :

        1. Saisissez le nom du thème. Le nom doit respecter le format suivant :

          projects/PROJECT_ID/topics/TOPIC_ID

          Remplacez les éléments suivants :

          • PROJECT_ID : ID du projet associé au sujet Pub/Sub.
          • TOPIC_ID : ID du sujet Pub/Sub.

        2. Indiquez si vous souhaitez inclure le profil complet de l'ensemble de données dans la notification ou uniquement le nom complet de la ressource de l'ensemble de données qui a été profilé.

        3. Définissez les niveaux de sensibilité et de risque liés aux données minimaux qui doivent être atteints pour que Sensitive Data Protection envoie une notification.

        4. Indiquez si une seule ou les deux conditions de risque et de sensibilité des données doivent être remplies. Par exemple, si vous choisissez AND, les conditions de risque de données et de sensibilité doivent être remplies avant que Sensitive Data Protection n'envoie une notification.

      Envoyer au catalogue Dataplex Universal Catalog sous forme d'aspects

      Cette action vous permet d'ajouter des aspects Dataplex Universal Catalog aux ensembles de données profilés en fonction des insights issus des profils de données. Cette action ne s'applique qu'aux profils nouveaux et modifiés. Les profils existants qui ne sont pas mis à jour ne sont pas envoyés à Dataplex Universal Catalog.

      Lorsque vous activez cette action, la protection des données sensibles associe l'aspect Sensitive Data Protection profile à l'entrée Dataplex Universal Catalog pour chaque ensemble de données nouveau ou mis à jour que vous profilez. Les aspects générés contiennent des insights recueillis à partir des profils de données. Vous pouvez ensuite rechercher dans votre organisation et vos projets les entrées présentant des valeurs d'aspect Sensitive Data Protection profile spécifiques.

      Pour envoyer les profils de données à Dataplex Universal Catalog, assurez-vous que l'option Envoyer au catalogue Dataplex sous forme d'aspects est activée.

      Pour en savoir plus, consultez Ajouter des aspects Dataplex Universal Catalog en fonction des insights issus des profils de données.

      Définir des emplacements de secours pour le traitement des images

      En général, la protection des données sensibles traite vos données à l'endroit où elles sont stockées. Toutefois, les images ne peuvent être traitées que dans une région multirégionale ou dans la région global. Si vous définissez un emplacement de secours, Sensitive Data Protection l'utilise pour traiter les images qui ne se trouvent pas dans une zone multirégionale ni dans la région global. Si vous ignorez cette section, ces images ne seront pas traitées.

      Pour définir des emplacements de secours pour le traitement des images, sélectionnez l'une des options suivantes ou les deux :

      • Utiliser l'emplacement multirégional : si une image ne peut pas être traitée à son emplacement d'origine, elle est traitée dans la multirégion correspondant à l'emplacement d'origine de l'image. Si l'emplacement d'origine de l'image ne correspond à aucune région multiple, l'image est ignorée.
      • Revenir à la région globale : si une image ne peut pas être traitée à son emplacement d'origine, elle est traitée dans la région global.

      Si vous sélectionnez les deux options, Sensitive Data Protection choisit l'emplacement à utiliser comme emplacement de secours.

      Définir l'emplacement de stockage de la configuration

      Cliquez sur la liste Emplacement de la ressource, puis sélectionnez la région dans laquelle vous souhaitez stocker la configuration d'analyse. Toutes les configurations d'analyse que vous créerez ultérieurement seront également stockées à cet emplacement.

      L'emplacement où vous choisissez de stocker votre configuration d'analyse n'affecte pas les données à analyser. Vos données sont analysées dans la région dans laquelle elles sont stockées. Pour en savoir plus, consultez Considérations relatives à la résidence des données.

      Vérifier et créer

      1. Si vous souhaitez vous assurer que le profilage ne démarre pas automatiquement après la création de la configuration d'analyse, sélectionnez Créer une analyse en mode suspendu.

        Cette option est utile dans les cas suivants :

        • Vous avez choisi d'enregistrer les profils de données dans BigQuery et vous souhaitez vous assurer que l'agent de service dispose d'un accès en écriture à la table BigQuery dans laquelle les copies des profils de données seront enregistrées.
        • Vous avez choisi d'enregistrer un échantillon des résultats de la découverte dans BigQuery et vous souhaitez vous assurer que l'agent de service dispose d'un accès en écriture à la table BigQuery dans laquelle les résultats de l'échantillon seront enregistrés.
        • Vous avez configuré des notifications Pub/Sub et vous souhaitez accorder un accès à la publication à l'agent de service.
      2. Vérifiez vos paramètres, puis cliquez sur Créer.

        Sensitive Data Protection crée la configuration d'analyse et l'ajoute à la liste des configurations d'analyse de découverte.

      Pour afficher ou gérer vos configurations d'analyse, consultez Gérer les configurations d'analyse.

      Étapes suivantes

    11. Découvrez comment gérer les profils de données.
    12. Découvrez comment gérer les configurations d'analyse.
    13. Découvrez comment recevoir et analyser les messages Pub/Sub publiés par le profileur de données.
    14. Découvrez comment résoudre les problèmes liés aux profils de données.