Utiliser des ensembles de données Storage Insights

Cette page explique comment créer et gérer des ensembles de données et des configurations d'ensembles de données Storage Insights. En savoir plus sur les ensembles de données Storage Insights

Avant de commencer

Avant de commencer à créer et à gérer des ensembles de données et des configurations d'ensembles de données, suivez les instructions des sous-sections suivantes.

Obtenir les rôles requis

Pour obtenir les autorisations nécessaires pour créer et gérer des ensembles de données, demandez à votre administrateur de vous accorder les rôles IAM suivants sur vos projets sources:

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour créer et gérer des ensembles de données. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Vous devez disposer des autorisations suivantes pour créer et gérer des ensembles de données:

  • Créez une configuration d'ensemble de données : storageinsights.datasetConfigs.create
  • Affichez la configuration de l'ensemble de données :
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
  • Gérer la configuration de l'ensemble de données :
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
  • Association à l'ensemble de données BigQuery : storageinsights.datasetConfigs.linkDataset
  • Dissocier de l'ensemble de données BigQuery : storageinsights.datasetConfigs.unlinkDataset
  • Interroger des ensembles de données associés à BigQuery : bigquery.jobs.create or bigquery.jobs.*

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Activer l'API Storage Insights

Console

Activer l'API storageinsights.googleapis.com

Ligne de commande

Pour activer l'API Storage Insights dans votre projet actuel, exécutez la commande suivante :

gcloud services enable storageinsights.googleapis.com

Pour en savoir plus sur l'activation des services dans un projet Google Cloud, consultez la page Activer et désactiver des services.

Configurer Storage Intelligence

Assurez-vous que Storage Intelligence est configuré sur le projet, le dossier ou l'organisation que vous souhaitez analyser à l'aide de jeux de données.

Créer une configuration d'ensemble de données

Pour créer une configuration d'ensemble de données et générer un ensemble de données, procédez comme suit : Pour en savoir plus sur les champs que vous pouvez spécifier lorsque vous créez la configuration de l'ensemble de données, consultez la section Propriétés de configuration de l'ensemble de données.

Console

  1. Dans la console Google Cloud, accédez à la page Storage Insights (Informations sur l'espace de stockage) de Cloud Storage.

    Accéder à Storage Insights

  2. Cliquez sur Configurer l'ensemble de données.

  3. Dans la section Nommer votre ensemble de données, saisissez un nom pour votre ensemble de données. Saisissez éventuellement une description pour l'ensemble de données.

  4. Dans la section Définir le champ d'application de l'ensemble de données, procédez comme suit:

    • Sélectionnez l'une des options suivantes :

      • Pour obtenir les métadonnées de stockage de tous les projets de l'organisation actuelle, sélectionnez Inclure l'organisation.

      • Pour obtenir les métadonnées de stockage de tous les projets des dossiers sélectionnés, sélectionnez Inclure les dossiers(sous-organisations/départements). Pour savoir comment obtenir les ID de dossier, consultez la section Afficher ou répertorier des dossiers et des projets. Pour ajouter des dossiers, procédez comme suit:

        1. Dans le champ Dossier 1, saisissez l'ID du dossier.
        2. (Facultatif) Pour ajouter plusieurs ID de dossier, cliquez sur + Ajouter un autre dossier.

      • Pour obtenir les métadonnées de stockage des projets sélectionnés, sélectionnez Inclure les projets en fournissant des numéros de projet. Pour savoir comment trouver les numéros de projet, consultez Trouver le nom, le numéro et l'ID du projet. Pour ajouter des projets, procédez comme suit:

        1. Dans le champ Project 1 (Projet 1), saisissez le numéro du projet.
        2. Si vous souhaitez ajouter plusieurs numéros de projet, cliquez sur + Ajouter un autre projet.

      • Pour ajouter des projets ou des dossiers de manière groupée, sélectionnez Importer une liste de projets /dossiers via un fichier CSV. Le fichier CSV doit contenir les numéros de projet ou les ID de dossier que vous souhaitez inclure dans l'ensemble de données.

    • Indiquez si vous souhaitez inclure automatiquement les futurs buckets dans la ressource sélectionnée.

    • (Facultatif) Pour spécifier des filtres sur les buckets en fonction des régions et des préfixes de buckets, développez la section Filtres (facultatif). Les filtres sont appliqués de manière additive aux buckets.

      Vous pouvez inclure ou exclure des buckets de régions spécifiques. Par exemple, vous pouvez exclure les buckets situés dans les régions me-central1 et me-central2. Vous pouvez également inclure ou exclure des buckets par préfixe. Par exemple, si vous souhaitez exclure les buckets commençant par my-bucket, saisissez le préfixe my-bucket*.

  5. Cliquez sur Continuer.

  6. Dans la section Sélectionner la durée de conservation, sélectionnez une durée de conservation pour les données de l'ensemble de données.

  7. Dans la section Sélectionner l'emplacement où stocker l'ensemble de données configuré, sélectionnez un emplacement pour stocker l'ensemble de données et sa configuration.

  8. Dans la section Select service account type (Sélectionner un type de compte de service), sélectionnez un type d'agent de service pour votre ensemble de données. Cet agent de service est créé en votre nom lorsque vous créez la configuration de l'ensemble de données. Vous pouvez sélectionner l'un des agents de service suivants:

    • Compte de service de portée de configuration: cet agent de service ne peut accéder qu'à l'ensemble de données généré par la configuration de l'ensemble de données en question et y écrire.
    • Compte de service de portée projet: cet agent de service peut accéder aux ensembles de données générés à partir de toutes les configurations d'ensemble de données du projet et les écrire.

    Lors de la création de l'agent de service, vous devez lui accorder les autorisations requises. Pour en savoir plus sur ces agents de service, consultez la section Propriétés de configuration de l'ensemble de données.

  9. Cliquez sur Configurer.

Ligne de commande

  1. Pour créer une configuration d'ensemble de données, exécutez la commande gcloud storage insights dataset-configs create avec les options requises:

    gcloud storage insights dataset-configs create DATASET_CONFG_ID \
  --source-projects=SOURCE_PROJECT_NUMBERS \
  --location=LOCATION \
  --retention-period-days=RETENTION_PERIOD_DAYS \
  --organization=ORGANIZATION_ID

    Remplacez :

    • DATASET_CONFIG_ID par le nom que vous souhaitez donner à la configuration de votre ensemble de données. Les noms sont utilisés comme identifiant des configurations d'ensemble de données et sont modifiables. Le nom peut contenir jusqu'à 128 caractères (lettres, chiffres et traits de soulignement).

    • SOURCE_PROJECT_NUMBERS par les numéros des projets que vous souhaitez inclure dans l'ensemble de données. Par exemple, 464036093014. Vous pouvez spécifier un ou plusieurs projets. Pour savoir comment trouver votre numéro de projet, consultez la section Trouver le nom, le numéro et l'ID du projet.

      Au lieu d'utiliser l'indicateur --source-projects, vous pouvez utiliser l'indicateur --source-projects-file=FILE_PATH, qui vous permet de spécifier plusieurs numéros de projet à la fois en important un fichier contenant les numéros de projet. Le fichier doit être au format CSV et importé dans Cloud Storage.

    • LOCATION avec l'emplacement où la configuration et l'ensemble de données seront stockés.

    • RETENTION_PERIOD_DAYS avec la période de conservation des données de l'ensemble de données.

    • ORGANIZATION_ID par l'ID de la ressource de l'organisation à laquelle les projets sources appartiennent. Les projets sources situés en dehors de l'emplacement spécifié sont exclus de la configuration de l'ensemble de données. Pour savoir comment trouver votre ID d'organisation, consultez la section Obtenir l'ID de ressource de votre organisation.

    Vous pouvez éventuellement utiliser des options supplémentaires pour configurer précisément l'ensemble de données:

    • Utilisez --include-buckets=BUCKET_NAMES_OR_REGEX pour inclure des buckets spécifiques par nom ou par expression régulière. Si cette option est utilisée, --exclude-buckets ne peut pas être utilisé.

    • Utilisez --exclude-buckets=BUCKET_NAMES_OR_REGEX pour exclure des buckets spécifiques par nom ou par expression régulière. Si cette option est utilisée, --include-buckets ne peut pas être utilisé.

    • Utilisez --project=DESTINATION_PROJECT_ID pour spécifier un projet à utiliser pour stocker la configuration de votre ensemble de données et l'ensemble de données généré. Si cet indicateur n'est pas utilisé, le projet de destination sera votre projet actif. Pour en savoir plus sur les ID de projet, consultez la section Créer et gérer des projets.

    • Utilisez --auto-add-new-buckets pour inclure automatiquement tous les buckets qui seront ajoutés aux projets sources à l'avenir.

    • Utilisez --skip-verification pour ignorer les vérifications et les échecs du processus de validation, y compris les vérifications des autorisations IAM requises. Si vous les utilisez, certains ou tous les buckets peuvent être exclus de l'ensemble de données.

    • Utilisez --identity=IDENTITY_TYPE pour spécifier le type d'agent de service créé avec la configuration du jeu de données. Les valeurs sont : IDENTITY_TYPE_PER_CONFIG ou IDENTITY_TYPE_PER_PROJECT. Si aucune valeur n'est spécifiée, la valeur par défaut est IDENTITY_TYPE_PER_CONFIG.

    • Utilisez --description=DESCRIPTION pour écrire une description de la configuration de l'ensemble de données.

API REST

API JSON

  1. Vous devez installer et initialiser gcloud CLI, ce qui vous permet de générer un jeton d'accès pour l'en-tête Authorization.

  2. Créez un fichier JSON contenant les informations suivantes :

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": ["PROJECT_NUMBERS", ...]
  },
  "retention_period_days": "RETENTION_PERIOD_DAYS",
  "identity": {
    "type": "IDENTITY_TYPE"
  }
}

    Remplacez :

    • ORGANIZATION_ID avec l'ID de la ressource de l' organisation à laquelle les projets sources appartiennent. Pour savoir comment trouver l'ID de votre organisation, consultez la section Obtenir l'ID de ressource de votre organisation.

    • PROJECT_NUMBERS par les numéros des projets que vous souhaitez inclure dans l'ensemble de données. Vous pouvez spécifier un ou plusieurs projets. Les projets doivent être spécifiés sous forme de liste de chaînes.

    • RETENTION_PERIOD_DAYS avec le nombre de jours de données à capturer dans l'instantané de l'ensemble de données. Exemple : 90.

    • IDENTITY_TYPE avec le type de compte de service créé avec la configuration de l'ensemble de données. Les valeurs sont : IDENTITY_TYPE_PER_CONFIG ou IDENTITY_TYPE_PER_PROJECT.

  3. Pour créer la configuration de l'ensemble de données, utilisez cURL pour appeler l'API JSON avec une requête Create DatasetConfig:

    curl -X POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs?datasetConfigId=DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Remplacez :

    • JSON_FILE_NAME par le chemin d'accès au fichier JSON que vous avez créé à l'étape précédente. Vous pouvez également transmettre une instance de DatasetConfig dans le corps de la requête.

    • PROJECT_ID par l'ID du projet auquel la configuration et l'ensemble de données appartiendront.

    • LOCATION avec l'emplacement où se trouveront l'ensemble de données et la configuration de l'ensemble de données. Exemple : us-central1.

    • DATASET_CONFIG_ID par le nom que vous souhaitez donner à la configuration de votre ensemble de données. Les noms servent d'identifiant des configurations d'ensembles de données et ne sont pas immuables. Le nom peut contenir jusqu'à 128 caractères (lettres, chiffres et traits de soulignement). Le nom doit commencer par une lettre.

    • ACCESS_TOKEN avec le jeton d'accès que vous avez généré lorsque vous avez installé et initialisé la Google Cloud CLI.

Pour résoudre les erreurs de traitement des instantanés enregistrées dans error_attributes_view, consultez la section Erreurs d'ensemble de données Storage Insights.

Accorder les autorisations requises à l'agent de service

Google Cloud crée un agent de service de portée configuration ou de portée projet en votre nom lorsque vous créez une configuration d'ensemble de données. L'agent de service respecte le format de nom service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com et apparaît sur la page IAM de la console Google Cloud lorsque vous sélectionnez la case Inclure les attributions de rôles fournies par Google. Vous pouvez également trouver le nom de l'agent de service en consultant la ressource DatasetConfig à l'aide de l'API JSON.

Pour permettre à Storage Insights de générer et d'écrire des ensembles de données, demandez à votre administrateur d'attribuer le rôle Service de collecte Storage Insights (roles/storage.insightsCollectorService) à l'agent de service dans l'organisation contenant les projets sources. Ce rôle doit être accordé à chaque agent de service de portée de configuration créé pour chaque configuration d'ensemble de données à partir de laquelle vous souhaitez obtenir des données. Si vous utilisez un agent de service de portée projet, ce rôle ne doit être accordé qu'une seule fois pour que l'agent de service puisse lire et écrire des ensembles de données pour toutes les configurations d'ensembles de données du projet.

Pour savoir comment attribuer des rôles aux projets, consultez Gérer l'accès.

Pour associer un ensemble de données à BigQuery, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Storage Insights (Informations sur l'espace de stockage) de Cloud Storage.

    Accéder à Storage Insights

  2. Cliquez sur le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez associer.

  3. Dans la section Ensemble de données associé à BigQuery, cliquez sur Associer un ensemble de données pour associer votre ensemble de données.

  1. Pour associer un ensemble de données à BigQuery, exécutez la commande gcloud storage insights dataset-configs create-link:

    gcloud storage insights dataset-configs create-link DATASET_CONFIG_ID --location=LOCATION

    Remplacez :

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez associer.

    • LOCATION avec l'emplacement de votre ensemble de données. Par exemple, us-central1.

    Au lieu de spécifier DATASET_CONFIG_NAME et LOCATION, vous pouvez spécifier un chemin de configuration d'ensemble de données complet. Exemple :

    gcloud storage insights dataset-configs create-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID_

    Remplacez :

    • DESTINATION_PROJECT_ID par l'ID du projet contenant la configuration de l'ensemble de données. Pour en savoir plus sur les ID de projet, consultez la section Créer et gérer des projets.

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez associer.

    • LOCATION par l'emplacement de votre ensemble de données et de sa configuration. Par exemple, us-central1.

  1. Vous devez installer et initialiser gcloud CLI, ce qui vous permet de générer un jeton d'accès pour l'en-tête Authorization.

  2. Créez un fichier JSON contenant les informations suivantes :

    {
  "name": "DATASET_NAME"
}

    Remplacez :

    • DATASET_NAME par le nom de l'ensemble de données que vous souhaitez associer. Exemple : my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

  3. Utilisez cURL pour appeler l'API JSON avec une requête linkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:linkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Remplacez :

    • JSON_FILE_NAME par le chemin d'accès au fichier JSON que vous avez créé à l'étape précédente.

    • PROJECT_ID par l'ID du projet auquel la configuration de l'ensemble de données appartient.

    • LOCATION avec l'emplacement dans lequel se trouvent l'ensemble de données et la configuration de l'ensemble de données. Exemple : us-central1.

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez associer.

    • ACCESS_TOKEN avec le jeton d'accès que vous avez généré lorsque vous avez installé et initialisé la Google Cloud CLI.

Afficher et interroger des ensembles de données associés

Pour afficher et interroger des ensembles de données associés, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Storage Insights (Informations sur l'espace de stockage) de Cloud Storage.

    Accéder à Storage Insights

    La liste des configurations d'ensemble de données créées dans votre projet s'affiche.

  2. Cliquez sur l'ensemble de données associé à BigQuery de la configuration de l'ensemble de données que vous souhaitez afficher.

    L'ensemble de données associé BigQuery s'affiche dans la console Google Cloud. Pour en savoir plus sur le schéma de métadonnées de l'ensemble de données, consultez la section Schéma de métadonnées de l'ensemble de données.

  3. Vous pouvez interroger les tables et les vues de vos ensembles de données associés de la même manière que vous interrogez n'importe quelle autre table BigQuery.

Pour empêcher la publication de la configuration de l'ensemble de données dans l'ensemble de données BigQuery, dissociez l'ensemble de données. Pour dissocier un ensemble de données, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Storage Insights (Informations sur l'espace de stockage) de Cloud Storage.

    Accéder à Storage Insights

  2. Cliquez sur le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez dissocier.

  3. Dans la section Ensemble de données associé à BigQuery, cliquez sur Dissocier l'ensemble de données pour dissocier votre ensemble de données.

  1. Pour dissocier l'ensemble de données, exécutez la commande gcloud storage insights dataset-configs delete-link:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Remplacez :

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez dissocier.

    • LOCATION par l'emplacement de votre ensemble de données et de sa configuration. Par exemple, us-central1.

    Au lieu de spécifier DATASET_CONFIG_NAME et LOCATION, vous pouvez spécifier un chemin de configuration d'ensemble de données complet. Exemple :

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Remplacez :

    • DESTINATION_PROJECT_ID par l'ID du projet contenant la configuration de l'ensemble de données. Pour en savoir plus sur les ID de projet, consultez la section Créer et gérer des projets.

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez dissocier.

    • LOCATION par l'emplacement de votre ensemble de données et de sa configuration. Par exemple, us-central1.

  1. Vous devez installer et initialiser gcloud CLI, ce qui vous permet de générer un jeton d'accès pour l'en-tête Authorization.

  2. Créez un fichier JSON contenant les informations suivantes :

    {
  "name": "DATASET_NAME"
}

    Remplacez :

    • DATASET_NAME par le nom de l'ensemble de données que vous souhaitez dissocier. Exemple : my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

  3. Utilisez cURL pour appeler l'API JSON avec une requête unlinkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Remplacez :

    • JSON_FILE_NAME par le chemin d'accès au fichier JSON que vous avez créé à l'étape précédente.

    • PROJECT_ID par l'ID du projet auquel la configuration de l'ensemble de données appartient.

    • LOCATION avec l'emplacement de l'ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez dissocier.

    • ACCESS_TOKEN avec le jeton d'accès que vous avez généré lorsque vous avez installé et initialisé la Google Cloud CLI.

Afficher la configuration d'un ensemble de données

Pour afficher la configuration d'un ensemble de données, procédez comme suit:

Console

  1. Dans la console Google Cloud, accédez à la page Storage Insights (Informations sur l'espace de stockage) de Cloud Storage.

    Accéder à Storage Insights

  2. Cliquez sur le nom de la configuration de l'ensemble de données que vous souhaitez afficher.

    Les détails de la configuration de l'ensemble de données s'affichent.

Ligne de commande

  1. Pour décrire une configuration d'ensemble de données, exécutez la commande gcloud storage insights dataset-configs describe:

    gcloud storage insights dataset-configs describe DATASET_CONFG_ID \
  --location=LOCATION

    Remplacez :

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données.

    • LOCATION avec l'emplacement de l'ensemble de données et la configuration de l'ensemble de données.

    Au lieu de spécifier DATASET_CONFIG_NAME et LOCATION, vous pouvez spécifier un chemin de configuration d'ensemble de données complet. Exemple :

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Remplacez :

    • DESTINATION_PROJECT_ID par l'ID du projet contenant la configuration de l'ensemble de données. Pour en savoir plus sur les ID de projet, consultez la section Créer et gérer des projets.

    • DATASET_CONFIG_ID avec le nom de la configuration de l'ensemble de données qui a généré l'ensemble de données que vous souhaitez afficher.

    • LOCATION par l'emplacement de votre ensemble de données et de sa configuration. Par exemple, us-central1.

API REST

API JSON

  1. Vous devez installer et initialiser gcloud CLI, ce qui vous permet de générer un jeton d'accès pour l'en-tête Authorization.

  2. Utilisez cURL pour appeler l'API JSON avec une requête Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Remplacez :

    • PROJECT_ID par l'ID du projet auquel la configuration de l'ensemble de données appartient.

    • LOCATION avec l'emplacement de l'ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données.

    • ACCESS_TOKEN avec le jeton d'accès que vous avez généré lorsque vous avez installé et initialisé la Google Cloud CLI.

Lister les configurations d'ensembles de données

Pour lister les configurations d'ensemble de données d'un projet, procédez comme suit:

Console

  1. Dans la console Google Cloud, accédez à la page Storage Insights (Informations sur l'espace de stockage) de Cloud Storage.

    Accéder à Storage Insights

    La liste des configurations d'ensemble de données s'affiche.

Ligne de commande

  1. Pour répertorier les configurations d'ensembles de données dans un projet, exécutez la commande gcloud storage insights dataset-configs list:

    gcloud storage insights dataset-configs list --location=LOCATION

    Remplacez :

    • LOCATION avec l'emplacement de l'ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

    Vous pouvez utiliser les options facultatives suivantes pour spécifier le comportement de l'appel de la fiche:

    • Utilisez --page-size pour spécifier le nombre maximal de résultats à renvoyer par page.

    • Utilisez --filter=FILTER pour filtrer les résultats. Pour en savoir plus sur l'utilisation de l'option --filter, exécutez gcloud topic filters et consultez la documentation.

    • Utilisez --sort-by=SORT_BY_VALUE pour spécifier une liste de noms de clés de champ de ressources à trier, séparés par des virgules. Exemple :--sort-by=DATASET_CONFIG_NAME

API REST

API JSON

  1. Vous devez installer et initialiser gcloud CLI, ce qui vous permet de générer un jeton d'accès pour l'en-tête Authorization.

  2. Utilisez cURL pour appeler l'API JSON avec une requête Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Remplacez :

    • PROJECT_ID par l'ID du projet auquel la configuration de l'ensemble de données appartient.

    • LOCATION avec l'emplacement de l'ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

    • ACCESS_TOKEN avec le jeton d'accès que vous avez généré lorsque vous avez installé et initialisé la Google Cloud CLI.

Mettre à jour la configuration d'un ensemble de données

Pour mettre à jour la configuration d'un ensemble de données, procédez comme suit:

Console

  1. Dans la console Google Cloud, accédez à la page Storage Insights (Informations sur l'espace de stockage) de Cloud Storage.

    Accéder à Storage Insights

  2. Cliquez sur le nom de la configuration de l'ensemble de données que vous souhaitez mettre à jour.

  3. Dans l'onglet Configuration de l'ensemble de données qui s'affiche, cliquez sur Modifier pour mettre à jour les champs.

Ligne de commande

  1. Pour mettre à jour la configuration d'un ensemble de données, exécutez la commande gcloud storage insights dataset-configs update:

    gcloud storage insights dataset-configs update DATASET_CONFG_ID \
  --location=LOCATION

    Remplacez :

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données.

    • LOCATION avec l'emplacement et la configuration de l'ensemble de données.

    Utilisez les indicateurs suivants pour mettre à jour les propriétés de la configuration de l'ensemble de données:

    • Utilisez --skip-verification pour ignorer les vérifications et les échecs du processus de validation, y compris les vérifications des autorisations IAM requises. Si vous les utilisez, certains ou tous les buckets peuvent être exclus de l'ensemble de données.

    • Utilisez --retention-period-days=DAYS pour spécifier le nombre de jours de données à capturer dans l'instantané de l'ensemble de données. Exemple : 90.

    • Utilisez --description=DESCRIPTION pour écrire une description de la configuration de l'ensemble de données.

API REST

API JSON

  1. Vous devez installer et initialiser gcloud CLI, ce qui vous permet de générer un jeton d'accès pour l'en-tête Authorization.

  2. Créez un fichier JSON contenant les informations facultatives suivantes:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": RETENTION_PERIOD"
}

    Remplacez :

    • ORGANIZATION_ID avec l'ID de la ressource de l' organisation à laquelle les projets sources appartiennent.

    • PROJECT_NUMBERS par les numéros de projet que vous souhaitez inclure dans l'ensemble de données. Vous pouvez spécifier un ou plusieurs projets. Les projets doivent être spécifiés sous la forme d'une liste.

    • RETENTION_PERIOD avec le nombre de jours de données à capturer dans l'instantané de l'ensemble de données. Exemple : 90.

  3. Pour mettre à jour la configuration du jeu de données, utilisez cURL pour appeler l'API JSON avec une requête Patch DatasetConfig:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=RETENTION_PERIOD" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Remplacez :

    • JSON_FILE_NAME par le chemin d'accès au fichier JSON que vous avez créé à l'étape précédente.

    • PROJECT_ID par l'ID du projet auquel la configuration de l'ensemble de données appartient.

    • LOCATION avec l'emplacement de l'ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données que vous souhaitez mettre à jour.

    • RETENTION_PERIOD avec le nombre de jours de données à capturer dans l'instantané de l'ensemble de données. Exemple : 90.

    • ACCESS_TOKEN avec le jeton d'accès que vous avez généré lorsque vous avez installé et initialisé la Google Cloud CLI.

Supprimer la configuration d'un ensemble de données

Pour supprimer une configuration d'ensemble de données, procédez comme suit:

Console

  1. Dans la console Google Cloud, accédez à la page Storage Insights (Informations sur l'espace de stockage) de Cloud Storage.

    Accéder à Storage Insights

  2. Cliquez sur le nom de la configuration de l'ensemble de données que vous souhaitez supprimer.

  3. Cliquez sur Supprimer ().

Ligne de commande

  1. Pour supprimer une configuration d'ensemble de données, exécutez la commande gcloud storage insights dataset-configs delete:

    gcloud storage insights dataset-configs delete DATASET_CONFG_ID \
  --location=LOCATION

    Remplacez :

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données que vous souhaitez supprimer.

    • LOCATION avec l'emplacement de l'ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

    Utilisez les indicateurs suivants pour mettre à jour les propriétés de la configuration de l'ensemble de données:

    • Utilisez --auto-delete-link pour dissocier l'ensemble de données généré à partir de la configuration de l'ensemble de données que vous souhaitez supprimer. Vous devez dissocier un ensemble de données avant de pouvoir supprimer la configuration de l'ensemble de données qui l'a généré.

    • Utilisez --retention-period-days=DAYS pour spécifier le nombre de jours de données à capturer dans l'instantané de l'ensemble de données. Exemple : 90.

    Au lieu de spécifier DATASET_CONFIG_NAME et LOCATION, vous pouvez spécifier un chemin de configuration d'ensemble de données complet. Exemple :

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

API REST

API JSON

  1. Vous devez installer et initialiser gcloud CLI, ce qui vous permet de générer un jeton d'accès pour l'en-tête Authorization.

  2. Utilisez cURL pour appeler l'API JSON avec une requête Delete DatasetConfig:

    curl -X DELETE \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Remplacez :

    • PROJECT_ID par l'ID du projet auquel la configuration de l'ensemble de données appartient.

    • LOCATION avec l'emplacement de l'ensemble de données et de la configuration de l'ensemble de données. Par exemple, us-central1.

    • DATASET_CONFIG_ID par le nom de la configuration de l'ensemble de données que vous souhaitez supprimer.

    • ACCESS_TOKEN avec le jeton d'accès que vous avez généré lorsque vous avez installé et initialisé la Google Cloud CLI.

Étape suivante