Ensembles de données Storage Insights

La fonctionnalité d'ensembles de données Storage Insights vous aide à comprendre, organiser et gérer vos données à grande échelle. Vous pouvez choisir une organisation, ou un ou plusieurs projets ou dossiers contenant les buckets et les objets dont vous souhaitez modifier les métadonnées. Un index de métadonnées interrogeable pour les buckets et les objets inclus dans ces projets est mis à disposition sous forme d'ensemble de données associé à BigQuery.

Si vous souhaitez obtenir des insights sur vos ressources Cloud Storage exportées vers BigQuery, utilisez les ensembles de données Storage Insights. Ces insights peuvent vous aider à explorer les données, à optimiser les coûts, à appliquer la sécurité et à implémenter la gouvernance. Les ensembles de données Storage Insights sont une fonctionnalité exclusive disponible uniquement avec l'abonnement Storage Intelligence.

Présentation

Un ensemble de données Storage Insights est un instantané continu des métadonnées de tous les buckets et objets d'un ou de plusieurs projets sources spécifiés au sein d'une organisation. Les informations fournies par les ensembles de données vous permettent de mieux comprendre et d'auditer régulièrement vos données Cloud Storage.

Pour créer un ensemble de données, vous devez d'abord créer une configuration d'ensemble de données dans un projet. Vous pouvez choisir une organisation, ou un ou plusieurs projets ou dossiers contenant les buckets et les objets dont vous souhaitez afficher les métadonnées. La configuration de l'ensemble de données génère des ensembles de données quotidiennement. Les configurations et les ensembles de données sont des ressources stockées dans Cloud Storage.

Pour afficher un ensemble de données, vous devez d'abord l'associer à BigQuery.

Propriétés de configuration de l'ensemble de données

Lorsque vous créez une configuration d'ensemble de données, vous définissez ces propriétés de l'ensemble de données. Une fois l'ensemble de données configuré, il peut s'écouler jusqu'à 48 heures avant que les premières données ne s'affichent en tant qu'ensemble de données associé dans BigQuery. Tous les objets ou buckets nouvellement ajoutés sont inclus dans le prochain instantané quotidien.

  • Nom : nom utilisé pour faire référence à l'ensemble de données. Les noms servent d'identifiants pour les configurations d'ensembles de données et ne peuvent pas être modifiés une fois la configuration créée. Le nom peut contenir jusqu'à 128 caractères (lettres, chiffres et traits de soulignement). Le nom doit commencer par une lettre.

  • Description (facultatif) : description de l'ensemble de données. Vous pouvez modifier la description à tout moment.

  • Champ d'application de l'ensemble de données : champ obligatoire qui spécifie une organisation, des projets ou des dossiers contenant les buckets et les objets pour lesquels vous souhaitez obtenir des métadonnées. Vous pouvez spécifier des projets ou des dossiers individuellement ou sous forme de fichier CSV, avec chaque numéro de projet ou de dossier sur une ligne distincte. Vous pouvez spécifier jusqu'à 10 000 projets ou dossiers dans une configuration d'ensemble de données. Les ensembles de données sont configurés pour le champ d'application spécifié. Vous ne pouvez spécifier qu'un seul champ "Portée de l'ensemble de données" pour chaque configuration d'ensemble de données. Vous pouvez modifier le champ d'application de l'ensemble de données lorsque vous modifiez sa configuration.

  • Filtres de buckets (facultatif) : filtres utilisés pour inclure et exclure des buckets spécifiques de l'ensemble de données par nom de bucket ou par région.

  • Période de conservation : nombre de jours pendant lesquels l'ensemble de données capture et conserve les données, y compris la date de création de l'ensemble de données. Les ensembles de données sont mis à jour avec des métadonnées toutes les 24 heures et peuvent conserver les données pendant 90 jours maximum. Les données collectées en dehors de la période de conservation sont automatiquement supprimées. Par exemple, supposons que vous ayez créé un ensemble de données le 1er octobre 2023 avec une période de conservation de 30 jours. Le 30 octobre, l'ensemble de données reflétera les données des 30 derniers jours, du 1er au 30 octobre. Le 31 octobre, l'ensemble de données reflétera les données du 2 au 31 octobre. Vous pouvez modifier la période de conservation à tout moment.

  • Emplacement : emplacement où stocker l'ensemble de données et ses données. Exemple : us-central1. L'emplacement doit être compatible avec BigQuery. Nous vous recommandons de sélectionner l'emplacement de vos tables BigQuery, le cas échéant.

  • Type d'agent de service : agent de service à l'échelle de la configuration ou agent de service à l'échelle du projet.

    La création d'une configuration d'ensemble de données provisionne un agent de service pour vous. Pour lire des ensembles de données, l'agent de service doit disposer des autorisations requises pour lire les données des buckets Cloud Storage.

    Un agent de service à portée de projet peut accéder aux ensembles de données générés à partir de toutes les configurations d'ensemble de données du projet et les écrire. Par exemple, si vous avez plusieurs configurations d'ensembles de données dans un projet, vous n'avez besoin d'accorder les autorisations requises à l'agent de service à portée de projet qu'une seule fois pour qu'il puisse lire et écrire des ensembles de données pour toutes les configurations d'ensembles de données du projet. Pour en savoir plus sur les autorisations requises pour lire et écrire des ensembles de données, consultez Autorisations. Lorsqu'une configuration d'ensemble de données est supprimée, l'agent de service à portée de projet n'est pas supprimé.

    Un agent de service à portée de configuration ne peut accéder qu'à l'ensemble de données généré par la configuration d'ensemble de données spécifique et l'écrire. Cela signifie que si vous avez plusieurs configurations d'ensemble de données, vous devrez accorder les autorisations requises à chaque agent de service limité à une configuration. Lorsqu'une configuration d'ensemble de données est supprimée, l'agent de service à portée de configuration est supprimé.

Associez l'ensemble de données à BigQuery après avoir créé une configuration d'ensemble de données. Associer un ensemble de données à BigQuery crée un ensemble de données associé dans BigQuery pour les requêtes. Vous pouvez associer ou dissocier l'ensemble de données à tout moment.

Pour en savoir plus sur les propriétés que vous définissez lorsque vous créez ou mettez à jour une configuration d'ensemble de données, consultez la ressource DatasetConfigs dans la documentation de l'API JSON.

Pays acceptés

Les emplacements BigQuery suivants sont acceptés pour la création d'ensembles de données associés :

  • EU
  • US
  • asia-southeast1
  • europe-west1
  • us-central1
  • us-east1
  • us-east4

Schéma de métadonnées de l'ensemble de données

Les champs de métadonnées suivants sont inclus dans les ensembles de données. Pour en savoir plus sur les modes de colonne BigQuery, consultez Modes. Les modes de colonne déterminent la façon dont BigQuery stocke et interroge les données.

Le champ snapshotTime stocke l'heure d'actualisation de l'instantané des métadonnées du bucket au format RFC 3339.

Métadonnées des buckets

Sauf indication contraire, vous trouverez des descriptions plus détaillées des champs de métadonnées de bucket suivants dans la représentation de la ressource Buckets pour l'API JSON.

Champ de métadonnées Mode Type
snapshotTime NULLABLE TIMESTAMP
name NULLABLE STRING
location NULLABLE STRING
project NULLABLE INTEGER
storageClass NULLABLE STRING
versioning NULLABLE BOOLEAN
lifecycle NULLABLE BOOLEAN
metageneration NULLABLE INTEGER
timeCreated NULLABLE TIMESTAMP
public NULLABLE RECORD
public.bucketPolicyOnly NULLABLE BOOLEAN
public.publicAccessPrevention NULLABLE STRING
autoclass NULLABLE RECORD
autoclass.enabled NULLABLE BOOLEAN
autoclass.toggleTime NULLABLE TIMESTAMP
softDeletePolicy NULLABLE OBJECT
softDeletePolicy.effectiveTime NULLABLE DATETIME
softDeletePolicy.retentionDurationSeconds NULLABLE LONG
tags* NULLABLE RECORD
tags.lastUpdatedTime NULLABLE TIMESTAMP
tags.tagMap REPEATED RECORD
tags.tagMap.key NULLABLE STRING
tags.tagMap.value NULLABLE STRING
labels REPEATED RECORD
labels.key NULLABLE STRING
labels.value NULLABLE STRING

* Les tags du bucket. Pour en savoir plus, consultez API Cloud Resource Manager.

Métadonnées des objets

Sauf indication contraire, vous trouverez des descriptions plus détaillées des champs de métadonnées d'objet suivants dans la représentation de la ressource "Objets" pour l'API JSON.

Champ de métadonnées Mode Type
snapshotTime NULLABLE TIMESTAMP
bucket NULLABLE STRING
location NULLABLE STRING
componentCount NULLABLE INTEGER
contentDisposition NULLABLE STRING
contentEncoding NULLABLE STRING
contentLanguage NULLABLE STRING
contentType NULLABLE STRING
crc32c NULLABLE INTEGER
customTime NULLABLE TIMESTAMP
etag NULLABLE STRING
eventBasedHold NULLABLE BOOLEAN
generation NULLABLE INTEGER
md5Hash NULLABLE STRING
metageneration NULLABLE INTEGER
name NULLABLE STRING
size NULLABLE INTEGER
storageClass NULLABLE STRING
temporaryHold NULLABLE BOOLEAN
timeCreated NULLABLE TIMESTAMP
timeDeleted NULLABLE TIMESTAMP
updated NULLABLE TIMESTAMP
timeStorageClassUpdated NULLABLE TIMESTAMP
retentionExpirationTime NULLABLE TIMESTAMP
softDeleteTime NULLABLE DATETIME
hardDeleteTime NULLABLE DATETIME
metadata REPEATED RECORD
metadata.key NULLABLE STRING
metadata.value NULLABLE STRING

Métadonnées de projet

Les métadonnées du projet sont exposées sous la forme d'une vue nommée project_attributes_view dans l'ensemble de données associé :

Champ de métadonnées Mode Type
snapshotTime NULLABLE TIMESTAMP
name NULLABLE STRING
id NULLABLE STRING
number NULLABLE NUMBER

Schéma de l'ensemble de données pour les événements et les erreurs

Dans l'ensemble de données associé, vous pouvez également afficher les événements et les erreurs de traitement des instantanés dans les vues events_view et error_attributes_view. Pour savoir comment résoudre les erreurs de traitement des instantanés, consultez Résoudre les erreurs liées aux ensembles de données.

Journal des événements

Vous pouvez afficher les journaux d'événements dans la vue events_view de l'ensemble de données associé :

Nom de la colonne Mode Type Description
manifest.snapshotTime NULLABLE TIMESTAMP Heure à laquelle l'instantané des événements est actualisé, au format RFC 3339.
manifest.viewName NULLABLE STRING Nom de la vue actualisée.
manifest.location NULLABLE STRING Emplacement source des données actualisées.
eventTime NULLABLE STRING Heure à laquelle l'événement s'est produit.
eventCode NULLABLE STRING Code d'événement associé à l'entrée correspondante. Le code d'événement 1 fait référence à l'actualisation de la vue manifest.viewName avec toutes les entrées pour l'emplacement source manifest.location dans l'instantané manifest.snapshotTime.

Codes d'erreur

Vous pouvez afficher les codes d'erreur dans la vue error_attributes_view de l'ensemble de données associé :

Nom de la colonne Mode Type Description
errorCode NULLABLE INTEGER Code d'erreur associé à cette entrée. Pour obtenir la liste des valeurs valides et savoir comment les résoudre, consultez Résoudre les erreurs liées aux ensembles de données.
errorSource NULLABLE STRING Source de l'erreur. Valeur valide : CONFIGURATION_PREPROCESSING.
errorTime NULLABLE TIMESTAMP Heure à laquelle l'erreur s'est produite.
sourceGcsLocation NULLABLE STRING Emplacement Cloud Storage source de l'erreur. Pour les projets, ce champ est nul, car ils ne sont pas associés à un lieu.
bucketErrorRecord.bucketName NULLABLE STRING Nom du bucket concerné par l'erreur. Vous pouvez utiliser ces informations pour déboguer une erreur de bucket.
bucketErrorRecord.serviceAccount NULLABLE STRING Compte de service qui a besoin d'une autorisation pour ingérer des objets à partir du bucket. Vous pouvez utiliser ces informations pour déboguer une erreur de bucket.
projectErrorRecord.projectNumber NULLABLE INTEGER Numéro du projet concerné par l'erreur. Vous pouvez utiliser ces informations pour déboguer une erreur de projet.
projectErrorRecord.organizationName NULLABLE STRING Numéro de l'organisation à laquelle le projet doit appartenir pour être traité. La valeur 0 indique que l'ensemble de données ne se trouve pas dans l'organisation. Vous pouvez utiliser ces informations pour déboguer une erreur de projet.

Résoudre les erreurs liées aux ensembles de données

Pour savoir comment résoudre les problèmes de traitement des instantanés enregistrés dans la vue error_attributes_view de l'ensemble de données associé, consultez le tableau suivant :

Code d'erreur Cas d'erreur Message d'erreur Dépannage
1 Le projet source n'appartient pas à l'organisation Le projet source projectErrorRecord.projectNumber n'appartient pas à l'organisation projectErrorRecord.organizationName. Ajoutez le projet source projectErrorRecord.projectNumber à l'organisation projectErrorRecord.organizationName. Pour savoir comment migrer un projet entre des organisations, consultez Migrer des projets entre des organisations.
2 Erreur d'autorisation du bucket Autorisation refusée pour ingérer des objets pour le bucket bucketErrorRecord.bucketName. Accordez au compte de service les autorisations IAM (Identity and Access Management) bucketErrorRecord.serviceAccount pour permettre l'ingestion d'objets pour le bucket bucketErrorRecord.bucketName. Pour en savoir plus, consultez Accorder les autorisations requises à l'agent de service.
3 Le projet de destination n'appartient pas à l'organisation Le projet de destination projectErrorRecord.projectNumber ne se trouve pas dans l'organisation projectErrorRecord.organizationName. Ajoutez le projet de destination projectErrorRecord.projectNumber à l'organisation projectErrorRecord.organizationName. Pour savoir comment migrer un projet entre des organisations, consultez Migrer des projets entre des organisations.
4 Storage Intelligence n'est pas configuré dans le projet source. Storage Intelligence n'est pas configuré pour le projet source projectErrorRecord.projectNumber. Configurez Storage Intelligence pour le projet source projectErrorRecord.projectNumber. Pour en savoir plus, consultez Configurer et gérer Storage Intelligence.
5 Storage Intelligence n'est pas configuré pour le bucket. Storage Intelligence n'est pas configuré pour le bucket bucketErrorRecord.bucketName. Configurez Storage Intelligence pour le bucket bucketErrorRecord.bucketName. Pour en savoir plus, consultez Configurer et gérer Storage Intelligence.

Remarques

Tenez compte des éléments suivants pour les configurations d'ensemble de données :

  • Lorsque vous renommez un dossier dans un bucket avec l'espace de noms hiérarchique activé, les noms d'objet de ce bucket sont mis à jour. Lorsqu'ils sont ingérés par l'ensemble de données associé, ces instantanés d'objet sont considérés comme de nouvelles entrées dans les ensembles de données associés.

  • Les ensembles de données ne sont compatibles qu'avec ces emplacements BigQuery.

Étapes suivantes