Utiliser des ensembles de données Storage Insights

Cette page vous explique comment créer et gérer des ensembles de données et des configurations d'ensemble de données Storage Insights. En savoir plus sur les ensembles de données Storage Insights

Avant de commencer

Avant de commencer à créer et à gérer des ensembles de données et des configurations d'ensembles de données, suivez les instructions des sous-sections suivantes.

Obtenir les rôles requis

Pour obtenir les autorisations nécessaires pour créer et gérer des ensembles de données, demandez à votre administrateur de vous accorder les rôles IAM suivants sur vos projets sources :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour créer et gérer des ensembles de données. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Vous devez disposer des autorisations suivantes pour créer et gérer des ensembles de données :

  • Créez une configuration d'ensemble de données : storageinsights.datasetConfigs.create
  • Afficher la configuration de l'ensemble de données :
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
  • Gérer la configuration de l'ensemble de données :
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
  • Lien vers l'ensemble de données BigQuery : storageinsights.datasetConfigs.linkDataset
  • Dissocier l'ensemble de données BigQuery : storageinsights.datasetConfigs.unlinkDataset
  • Interrogez les ensembles de données associés à BigQuery : bigquery.jobs.create or bigquery.jobs.*

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Activer l'API Storage Insights

Console

Activer l'API storageinsights.googleapis.com

Ligne de commande

Pour activer l'API Storage Insights dans votre projet actuel, exécutez la commande suivante :

gcloud services enable storageinsights.googleapis.com

Pour en savoir plus sur l'activation des services pour un projet Google Cloud , consultez Activer et désactiver des services.

Configurer Storage Intelligence

Assurez-vous que Storage Intelligence est configuré sur le projet, le dossier ou l'organisation que vous souhaitez analyser avec des ensembles de données.

Créer une configuration d'ensemble de données

Pour créer une configuration d'ensemble de données et générer un ensemble de données, procédez comme suit. Pour en savoir plus sur les champs que vous pouvez spécifier lorsque vous créez la configuration de l'ensemble de données, consultez Propriétés de configuration de l'ensemble de données.

Console

  1. Dans la console Google Cloud , accédez à la page Insights sur le stockage Cloud Storage.

    Accéder à Storage Insights

  2. Cliquez sur Configurer l'ensemble de données.

  3. Dans la section Nommez votre ensemble de données, saisissez le nom de votre ensemble de données. Si vous le souhaitez, saisissez une description pour l'ensemble de données.

  4. Dans la section Définir le champ d'application de l'ensemble de données, procédez comme suit :

    • Sélectionnez l'une des options suivantes :

      • Pour obtenir les métadonnées de stockage de tous les projets de l'organisation actuelle, sélectionnez Inclure l'organisation.

      • Pour obtenir les métadonnées de stockage de tous les projets des dossiers sélectionnés, cochez Inclure les dossiers(sous-organisations/services). Pour savoir comment obtenir des ID de dossier, consultez Afficher ou répertorier des dossiers et des projets. Pour ajouter des dossiers :

        1. Dans le champ Dossier 1, saisissez l'ID du dossier.
        2. (Facultatif) Pour ajouter plusieurs ID de dossier, cliquez sur + Ajouter un autre dossier.

      • Pour obtenir les métadonnées de stockage des projets sélectionnés, sélectionnez Inclure des projets en fournissant leurs numéros. Pour savoir comment trouver les numéros de projet, consultez Trouver le nom, le numéro et l'ID du projet. Pour ajouter des projets, procédez comme suit :

        1. Dans le champ Projet 1, saisissez le numéro du projet.
        2. Si vous souhaitez ajouter plusieurs numéros de projet, cliquez sur + Ajouter un autre projet.

      • Pour ajouter des projets ou des dossiers de manière groupée, sélectionnez Importer une liste de projets /dossiers via un fichier CSV. Le fichier CSV doit contenir les numéros de projet ou les ID de dossiers que vous souhaitez inclure dans l'ensemble de données.

    • Indiquez si vous souhaitez inclure automatiquement les futurs buckets dans la ressource sélectionnée.

    • Si vous le souhaitez, vous pouvez spécifier des filtres sur les buckets en fonction des régions et des préfixes de buckets. Pour ce faire, développez la section Filtres (facultatif). Les filtres sont appliqués de manière additive aux buckets.

      Vous pouvez inclure ou exclure des buckets de régions spécifiques. Par exemple, vous pouvez exclure les buckets situés dans les régions me-central1 et me-central2. Vous pouvez également inclure ou exclure des buckets par préfixe. Par exemple, si vous souhaitez exclure les buckets commençant par my-bucket, saisissez le préfixe my-bucket*.

  5. Cliquez sur Continuer.

  6. Dans la section Sélectionner une période de conservation, sélectionnez une période de conservation pour les données de l'ensemble de données.

  7. Dans la section Sélectionner l'emplacement où stocker l'ensemble de données configuré, sélectionnez un emplacement pour stocker l'ensemble de données et sa configuration.

  8. Dans la section Sélectionner un type de compte de service, sélectionnez un type d'agent de service pour votre ensemble de données. Cet agent de service est créé en votre nom lorsque vous créez la configuration de l'ensemble de données. Vous pouvez sélectionner l'un des agents de service suivants :

    • Compte de service à l'échelle de la configuration : cet agent de service ne peut accéder à l'ensemble de données généré par la configuration d'ensemble de données spécifique et y écrire.
    • Compte de service à portée de projet : cet agent de service peut accéder aux ensembles de données générés à partir de toutes les configurations d'ensemble de données du projet et les écrire.

    Lors de la création de l'agent de service, vous devez lui accorder les autorisations requises. Pour en savoir plus sur ces agents de service, consultez Propriétés de configuration des ensembles de données.

  9. Cliquez sur Configurer. Une fois l'ensemble de données configuré, un délai de 48 heures peut être nécessaire pour que la première série de données s'affiche dans les ensembles de données associés.

Ligne de commande

  1. Pour créer une configuration d'ensemble de données, exécutez la commande gcloud storage insights dataset-configs create avec les indicateurs requis :

    gcloud storage insights dataset-configs create DATASET_CONFG_ID \
  --source-projects=SOURCE_PROJECT_NUMBERS \
  --location=LOCATION \
  --retention-period-days=RETENTION_PERIOD_DAYS \
  --organization=ORGANIZATION_ID

    Remplacez :

    • DATASET_CONFIG_ID par le nom que vous souhaitez donner à la configuration de votre ensemble de données. Les noms sont utilisés comme identifiants des configurations d'ensembles de données et sont modifiables. Le nom peut contenir jusqu'à 128 caractères (lettres, chiffres et traits de soulignement).

    • SOURCE_PROJECT_NUMBERS par les numéros des projets que vous souhaitez inclure dans l'ensemble de données. Par exemple, 464036093014. Vous pouvez spécifier un ou plusieurs projets. Pour savoir comment trouver votre numéro de projet, consultez Trouver le nom, le numéro et l'ID du projet.

      Au lieu d'utiliser l'indicateur --source-projects, vous pouvez utiliser l'indicateur --source-projects-file=FILE_PATH, qui vous permet de spécifier plusieurs numéros de projet à la fois en important un fichier les contenant. Le fichier doit être au format CSV et importé dans Cloud Storage.

    • LOCATION avec le lieu où la configuration et l'ensemble de données seront stockés.

    • RETENTION_PERIOD_DAYS avec la période de conservation des données de l'ensemble de données.

    • Remplacez ORGANIZATION_ID par l'ID de ressource de l'organisation à laquelle appartiennent les projets sources. Les projets sources en dehors de l'emplacement spécifié sont exclus de la configuration de l'ensemble de données. Pour savoir comment trouver l'ID de votre organisation, consultez Obtenir l'ID de ressource de votre organisation.

    Vous pouvez éventuellement utiliser des options supplémentaires pour configurer précisément l'ensemble de données :

    • Utilisez --include-buckets=BUCKET_NAMES_OR_REGEX pour inclure des buckets spécifiques par nom ou expression régulière. Si cette option est utilisée, --exclude-buckets ne peut pas être utilisé.

    • Utilisez --exclude-buckets=BUCKET_NAMES_OR_REGEX pour exclure des buckets spécifiques par nom ou expression régulière. Si cette option est utilisée, --include-buckets ne peut pas être utilisé.

    • Utilisez --project=DESTINATION_PROJECT_ID pour spécifier un projet à utiliser pour stocker la configuration de votre ensemble de données et l'ensemble de données généré. Si cette option n'est pas utilisée, le projet de destination sera votre projet actif. Pour en savoir plus sur les ID de projet, consultez Créer et gérer des projets.

    • Utilisez --auto-add-new-buckets pour inclure automatiquement tous les buckets qui seront ajoutés aux projets sources à l'avenir.

    • Utilisez --skip-verification pour ignorer les vérifications et les échecs du processus de validation, y compris les vérifications des autorisations IAM requises. Si des buckets sont utilisés, il est possible que certains ou tous soient exclus de l'ensemble de données.

    • Utilisez --identity=IDENTITY_TYPE pour spécifier le type d'agent de service créé avec la configuration du jeu de données. Les valeurs sont : IDENTITY_TYPE_PER_CONFIG ou IDENTITY_TYPE_PER_PROJECT. Si aucune valeur n'est spécifiée, la valeur par défaut est IDENTITY_TYPE_PER_CONFIG.

    • Utilisez --description=DESCRIPTION pour rédiger une description de la configuration de l'ensemble de données.

API REST

API JSON

  1. Vous devez installer et initialiser gcloud CLIafin de générer un jeton d'accès pour l'en-tête Authorization.

  2. Créez un fichier JSON contenant les informations suivantes :

    {
  "organizationNumber": "ORGANIZATION_ID",
  "sourceProjects": {
    "project_numbers": ["PROJECT_NUMBERS", ...]
  },
  "retentionPeriodDays": "RETENTION_PERIOD_DAYS",
  "identity": {
    "type": "IDENTITY_TYPE"
  }
}

    Remplacez :

    • ORGANIZATION_ID par l'ID de ressource de l' organisation à laquelle appartiennent les projets sources. Pour savoir comment trouver l'ID de votre organisation, consultez Obtenir l'ID de ressource de votre organisation.

    • PROJECT_NUMBERS par les numéros des projets que vous souhaitez inclure dans l'ensemble de données. Vous pouvez spécifier un ou plusieurs projets. Les projets doivent être spécifiés sous forme de liste de chaînes.

      Vous pouvez également ajouter une organisation ou un ou plusieurs dossiers contenant les buckets et les objets dont vous souhaitez modifier les métadonnées. Pour inclure des dossiers ou des organisations, utilisez respectivement les champs sourceFolders ou organizationScope. Pour en savoir plus, consultez la documentation de référence sur DatasetConfig.

    • RETENTION_PERIOD_DAYS avec le nombre de jours de données à capturer dans l'instantané de l'ensemble de données. Exemple : 90.

    • IDENTITY_TYPE avec le type de compte de service créé avec la configuration de l'ensemble de données. Les valeurs sont : IDENTITY_TYPE_PER_CONFIG ou IDENTITY_TYPE_PER_PROJECT.

  3. Pour créer la configuration de l'ensemble de données, utilisez cURL pour appeler l'API JSON avec une requête Create DatasetConfig :

    curl -X POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs?datasetConfigId=DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Remplacez :

    • JSON_FILE_NAME par le chemin d'accès au fichier JSON que vous avez créé à l'étape précédente. Vous pouvez également transmettre une instance de DatasetConfig dans le corps de la requête.

    • PROJECT_ID par l'ID du projet auquel appartiendront la configuration et l'ensemble de données.

    • LOCATION avec l'emplacement où résideront l'ensemble de données et sa configuration. Exemple : us-central1.

    • DATASET_CONFIG_ID par le nom que vous souhaitez donner à la configuration de votre ensemble de données. Les noms sont utilisés comme identifiants des configurations d'ensembles de données et ne sont pas immuables. Le nom peut contenir jusqu'à 128 caractères (lettres, chiffres et traits de soulignement). Le nom doit commencer par une lettre.

    • ACCESS_TOKEN avec le jeton d'accès que vous avez généré lorsque vous avez installé et initialisé Google Cloud CLI.

Pour résoudre les erreurs de traitement des instantanés consignées dans error_attributes_view, consultez Erreurs liées à l'ensemble de données Storage Insights.

Accorder les autorisations requises à l'agent de service

Google Cloud crée un agent de service à l'échelle de la configuration ou du projet en votre nom lorsque vous créez une configuration d'ensemble de données. L'agent de service respecte le format de nom service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com et apparaît sur la page IAM de la console Google Cloud lorsque vous sélectionnez la case Inclure les attributions de rôles fournies par Google. Vous pouvez également trouver le nom de l'agent de service en affichant la ressource DatasetConfig à l'aide de l'API JSON.

Pour permettre à Storage Insights de générer et d'écrire des ensembles de données, demandez à votre administrateur d'attribuer le rôle de service collecteur Storage Insights (roles/storage.insightsCollectorService) à l'agent de service dans l'organisation contenant les projets sources. Ce rôle doit être attribué à chaque agent de service à portée de configuration créé pour chaque configuration d'ensemble de données dont vous souhaitez obtenir des données. Si vous utilisez un agent de service à portée de projet, ce rôle ne doit être accordé qu'une seule fois pour que l'agent de service puisse lire et écrire des ensembles de données pour toutes les configurations d'ensembles de données du projet.

Pour savoir comment attribuer des rôles aux projets, consultez Gérer l'accès.

Pour associer un ensemble de données à BigQuery, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Insights sur le stockage Cloud Storage.

    Accéder à Storage Insights

  2. Cliquez sur le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez associer.

  3. Dans la section Ensemble de données associé à BigQuery, cliquez sur Associer un ensemble de données pour associer votre ensemble de données.

  1. Pour associer un ensemble de données à BigQuery, exécutez la commande gcloud storage insights dataset-configs create-link :

    gcloud storage insights dataset-configs create-link DATASET_CONFIG_ID --location=LOCATION

    Remplacez :

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez associer.

    • LOCATION avec l'emplacement de votre ensemble de données. Par exemple, us-central1.

    Au lieu de spécifier DATASET_CONFIG_NAME et LOCATION, vous pouvez spécifier un chemin d'accès complet à la configuration de l'ensemble de données. Exemple :

    gcloud storage insights dataset-configs create-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID_

    Remplacez :

    • DESTINATION_PROJECT_ID par l'ID du projet contenant la configuration de l'ensemble de données. Pour en savoir plus sur les ID de projet, consultez Créer et gérer des projets.

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez associer.

    • Remplacez LOCATION par l'emplacement de votre ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

  1. Vous devez installer et initialiser gcloud CLIafin de générer un jeton d'accès pour l'en-tête Authorization.

  2. Créez un fichier JSON contenant les informations suivantes :

    {
  "name": "DATASET_NAME"
}

    Remplacez :

    • DATASET_NAME par le nom de l'ensemble de données que vous souhaitez associer. Exemple : my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

  3. Utilisez cURL pour appeler l'API JSON avec une requête linkDataset DatasetConfig :

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:linkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Remplacez :

    • JSON_FILE_NAME par le chemin d'accès au fichier JSON que vous avez créé à l'étape précédente.

    • PROJECT_ID par l'ID du projet auquel appartient la configuration de l'ensemble de données.

    • LOCATION avec l'emplacement où résident l'ensemble de données et la configuration de l'ensemble de données. Exemple : us-central1.

    • DATASET_CONFIG_ID avec le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez associer.

    • ACCESS_TOKEN avec le jeton d'accès que vous avez généré lorsque vous avez installé et initialisé Google Cloud CLI.

Afficher et interroger des ensembles de données associés

Pour afficher et interroger les ensembles de données associés, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Insights sur le stockage Cloud Storage.

    Accéder à Storage Insights

    La liste des configurations d'ensembles de données créées dans votre projet s'affiche.

  2. Cliquez sur l'ensemble de données associé à BigQuery de la configuration de l'ensemble de données que vous souhaitez afficher.

    L'ensemble de données associé BigQuery s'affiche dans la console Google Cloud . Pour en savoir plus sur le schéma de métadonnées de l'ensemble de données, consultez Schéma de métadonnées de l'ensemble de données.

  3. Vous pouvez interroger les tables et les vues de vos ensembles de données associés de la même manière que vous interrogez n'importe quelle autre table BigQuery.

Pour empêcher la publication de la configuration de l'ensemble de données dans l'ensemble de données BigQuery, dissociez l'ensemble de données. Pour dissocier un ensemble de données, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Insights sur le stockage Cloud Storage.

    Accéder à Storage Insights

  2. Cliquez sur le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez dissocier.

  3. Dans la section Ensemble de données associé à BigQuery, cliquez sur Dissocier l'ensemble de données pour dissocier votre ensemble de données.

  1. Pour dissocier l'ensemble de données, exécutez la commande gcloud storage insights dataset-configs delete-link :

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Remplacez :

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez dissocier.

    • Remplacez LOCATION par l'emplacement de votre ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

    Au lieu de spécifier DATASET_CONFIG_NAME et LOCATION, vous pouvez spécifier un chemin d'accès complet à la configuration de l'ensemble de données. Exemple :

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Remplacez :

    • DESTINATION_PROJECT_ID par l'ID du projet contenant la configuration de l'ensemble de données. Pour en savoir plus sur les ID de projet, consultez Créer et gérer des projets.

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez dissocier.

    • LOCATION par l'emplacement de votre ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

  1. Vous devez installer et initialiser gcloud CLIafin de générer un jeton d'accès pour l'en-tête Authorization.

  2. Créez un fichier JSON contenant les informations suivantes :

    {
  "name": "DATASET_NAME"
}

    Remplacez :

    • DATASET_NAME par le nom de l'ensemble de données que vous souhaitez dissocier. Exemple : my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

  3. Utilisez cURL pour appeler l'API JSON avec une requête unlinkDataset DatasetConfig :

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Remplacez :

    • JSON_FILE_NAME par le chemin d'accès au fichier JSON que vous avez créé à l'étape précédente.

    • PROJECT_ID par l'ID du projet auquel appartient la configuration de l'ensemble de données.

    • LOCATION avec l'emplacement de l'ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez dissocier.

    • ACCESS_TOKEN avec le jeton d'accès que vous avez généré lorsque vous avez installé et initialisé Google Cloud CLI.

Afficher la configuration d'un ensemble de données

Pour afficher la configuration d'un ensemble de données, procédez comme suit :

Console

  1. Dans la console Google Cloud , accédez à la page Insights sur le stockage Cloud Storage.

    Accéder à Storage Insights

  2. Cliquez sur le nom de la configuration de l'ensemble de données que vous souhaitez afficher.

    Les détails de la configuration de l'ensemble de données s'affichent.

Ligne de commande

  1. Pour décrire une configuration d'ensemble de données, exécutez la commande gcloud storage insights dataset-configs describe :

    gcloud storage insights dataset-configs describe DATASET_CONFG_ID \
  --location=LOCATION

    Remplacez :

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données.

    • LOCATION avec l'emplacement de l'ensemble de données et la configuration de l'ensemble de données.

    Au lieu de spécifier DATASET_CONFIG_NAME et LOCATION, vous pouvez spécifier un chemin d'accès complet à la configuration de l'ensemble de données. Exemple :

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Remplacez :

    • DESTINATION_PROJECT_ID par l'ID du projet contenant la configuration de l'ensemble de données. Pour en savoir plus sur les ID de projet, consultez Créer et gérer des projets.

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez afficher.

    • LOCATION par l'emplacement de votre ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

API REST

API JSON

  1. Vous devez installer et initialiser gcloud CLIafin de générer un jeton d'accès pour l'en-tête Authorization.

  2. Utilisez cURL pour appeler l'API JSON avec une requête Get DatasetConfig :

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Remplacez :

    • PROJECT_ID par l'ID du projet auquel appartient la configuration de l'ensemble de données.

    • LOCATION avec l'emplacement de l'ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données.

    • ACCESS_TOKEN avec le jeton d'accès que vous avez généré lorsque vous avez installé et initialisé Google Cloud CLI.

Lister les configurations d'ensembles de données

Pour lister les configurations d'ensemble de données dans un projet, procédez comme suit :

Console

  1. Dans la console Google Cloud , accédez à la page Insights sur le stockage Cloud Storage.

    Accéder à Storage Insights

    La liste des configurations d'ensembles de données s'affiche.

Ligne de commande

  1. Pour répertorier les configurations d'ensemble de données dans un projet, exécutez la commande gcloud storage insights dataset-configs list :

    gcloud storage insights dataset-configs list --location=LOCATION

    Remplacez :

    • LOCATION avec l'emplacement de l'ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

    Vous pouvez utiliser les options facultatives suivantes pour spécifier le comportement de l'appel de liste :

    • Utilisez --page-size pour spécifier le nombre maximal de résultats à renvoyer par page.

    • Utilisez --filter=FILTER pour filtrer les résultats. Pour en savoir plus sur l'utilisation de l'indicateur --filter, exécutez gcloud topic filters et consultez la documentation.

    • Utilisez --sort-by=SORT_BY_VALUE pour spécifier une liste de noms de clés de champ de ressources selon lesquels effectuer le tri, séparés par des virgules. Exemple :--sort-by=DATASET_CONFIG_NAME

API REST

API JSON

  1. Vous devez installer et initialiser gcloud CLIafin de générer un jeton d'accès pour l'en-tête Authorization.

  2. Utilisez cURL pour appeler l'API JSON avec une requête Get DatasetConfig :

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Remplacez :

    • PROJECT_ID par l'ID du projet auquel appartient la configuration de l'ensemble de données.

    • LOCATION avec l'emplacement de l'ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

    • ACCESS_TOKEN avec le jeton d'accès que vous avez généré lorsque vous avez installé et initialisé Google Cloud CLI.

Mettre à jour la configuration d'un ensemble de données

Pour mettre à jour la configuration d'un ensemble de données, procédez comme suit :

Console

  1. Dans la console Google Cloud , accédez à la page Insights sur le stockage Cloud Storage.

    Accéder à Storage Insights

  2. Cliquez sur le nom de la configuration de l'ensemble de données que vous souhaitez modifier.

  3. Dans l'onglet Configuration de l'ensemble de données qui s'affiche, cliquez sur Modifier pour mettre à jour les champs.

Ligne de commande

  1. Pour mettre à jour la configuration d'un ensemble de données, exécutez la commande gcloud storage insights dataset-configs update :

    gcloud storage insights dataset-configs update DATASET_CONFG_ID \
  --location=LOCATION

    Remplacez :

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données.

    • LOCATION avec l'emplacement et la configuration de l'ensemble de données.

    Utilisez les indicateurs suivants pour mettre à jour les propriétés de la configuration de l'ensemble de données :

    • Utilisez --skip-verification pour ignorer les vérifications et les échecs du processus de validation, y compris les vérifications des autorisations IAM requises. Si des buckets sont utilisés, il est possible que certains ou tous soient exclus de l'ensemble de données.

    • Utilisez --retention-period-days=DAYS pour spécifier le nombre de jours de données mobiles à capturer dans l'instantané de l'ensemble de données. Exemple : 90.

    • Utilisez --description=DESCRIPTION pour rédiger une description de la configuration de l'ensemble de données.

API REST

API JSON

  1. Vous devez installer et initialiser gcloud CLIafin de générer un jeton d'accès pour l'en-tête Authorization.

  2. Créez un fichier JSON contenant les informations facultatives suivantes :

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": RETENTION_PERIOD"
}

    Remplacez :

    • ORGANIZATION_ID par l'ID de ressource de l' organisation à laquelle appartiennent les projets sources.

    • PROJECT_NUMBERS par les numéros de projet que vous souhaitez inclure dans l'ensemble de données. Vous pouvez spécifier un ou plusieurs projets. Les projets doivent être spécifiés dans une liste.

    • RETENTION_PERIOD avec le nombre de jours de données mobiles à capturer dans l'instantané de l'ensemble de données. Exemple : 90.

  3. Pour mettre à jour la configuration de l'ensemble de données, utilisez cURL pour appeler l'API JSON avec une requête Patch DatasetConfig :

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=RETENTION_PERIOD" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Remplacez :

    • JSON_FILE_NAME par le chemin d'accès au fichier JSON que vous avez créé à l'étape précédente.

    • PROJECT_ID par l'ID du projet auquel appartient la configuration de l'ensemble de données.

    • LOCATION avec l'emplacement de l'ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données que vous souhaitez mettre à jour.

    • RETENTION_PERIOD avec le nombre de jours de données mobiles à capturer dans l'instantané de l'ensemble de données. Exemple : 90.

    • ACCESS_TOKEN avec le jeton d'accès que vous avez généré lorsque vous avez installé et initialisé Google Cloud CLI.

Supprimer une configuration d'ensemble de données

Pour supprimer une configuration d'ensemble de données, procédez comme suit :

Console

  1. Dans la console Google Cloud , accédez à la page Insights sur le stockage Cloud Storage.

    Accéder à Storage Insights

  2. Cliquez sur le nom de la configuration de l'ensemble de données que vous souhaitez supprimer.

  3. Cliquez sur Supprimer ().

Ligne de commande

  1. Pour supprimer une configuration d'ensemble de données, exécutez la commande gcloud storage insights dataset-configs delete :

    gcloud storage insights dataset-configs delete DATASET_CONFG_ID \
  --location=LOCATION

    Remplacez :

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données que vous souhaitez supprimer.

    • LOCATION avec l'emplacement de l'ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

    Utilisez les indicateurs suivants pour mettre à jour les propriétés de la configuration de l'ensemble de données :

    • Utilisez --auto-delete-link pour dissocier l'ensemble de données généré à partir de la configuration d'ensemble de données que vous souhaitez supprimer. Vous devez dissocier un ensemble de données avant de pouvoir supprimer la configuration de l'ensemble de données qui l'a généré.

    • Utilisez --retention-period-days=DAYS pour spécifier le nombre de jours de données à capturer dans l'instantané de l'ensemble de données. Exemple : 90.

    Au lieu de spécifier DATASET_CONFIG_NAME et LOCATION, vous pouvez spécifier un chemin d'accès complet à la configuration de l'ensemble de données. Exemple :

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

API REST

API JSON

  1. Vous devez installer et initialiser gcloud CLIafin de générer un jeton d'accès pour l'en-tête Authorization.

  2. Utilisez cURL pour appeler l'API JSON avec une requête Delete DatasetConfig :

    curl -X DELETE \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Remplacez :

    • PROJECT_ID par l'ID du projet auquel appartient la configuration de l'ensemble de données.

    • LOCATION avec l'emplacement de l'ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données que vous souhaitez supprimer.

    • ACCESS_TOKEN avec le jeton d'accès que vous avez généré lorsque vous avez installé et initialisé Google Cloud CLI.

Étapes suivantes