Cloud Storage permet de diffuser des données en streaming d'un bucket vers un processus sans avoir à les enregistrer au préalable dans un fichier.
Utiliser la validation de somme de contrôle lors de l'insertion en flux continu
Vous ne devez pas utiliser de téléchargement en flux continu si vous devez valider les sommes de contrôle avant que les données ne soient accessibles. En effet, les téléchargements en flux continu utilisent l'en-tête Range
et Cloud Storage ne renvoie pas les sommes de contrôle qui ne s'appliquent qu'à la partie demandée des données d'objet dans la réponse.
Il est recommandé de toujours effectuer la validation de la somme de contrôle, et vous pouvez le faire manuellement une fois le téléchargement en flux continu terminé. Toutefois, la validation une fois le téléchargement terminé signifie que toutes les données corrompues sont accessibles pendant le délai nécessaire à la confirmation de la corruption et à leur suppression.
Rôles requis
Pour obtenir les autorisations requises pour les téléchargements en flux continu, demandez à votre administrateur de vous attribuer le rôle de lecteur des objets de l'espace de stockage (roles/storage.objectViewer
) sur le bucket.
Ce rôle contient l'autorisation requise pour les téléchargements en flux continu. Pour afficher l'autorisation exacte requise, développez la section Autorisations requises:
Autorisations requises
storage.objects.get
Vous pouvez également obtenir cette autorisation avec d'autres rôles prédéfinis ou rôles personnalisés.
Pour savoir comment attribuer des rôles aux buckets, consultez la section Utiliser IAM avec des buckets.
Téléchargement en flux continu
Les exemples suivants montrent comment effectuer le téléchargement d'un objet Cloud Storage dans un processus :
Console
La console Google Cloud n'est pas compatible avec les téléchargements en streaming. Utilisez plutôt Google Cloud CLI.
Ligne de commande
Exécutez la commande
gcloud storage cp
en utilisant un tiret pour l'URL de destination, puis dirigez les données vers le processus :gcloud storage cp gs://BUCKET_NAME/OBJECT_NAME - | PROCESS_NAME
Où :
BUCKET_NAME
est le nom du bucket contenant l'objet. Par exemple,my_app_bucket
.OBJECT_NAME
est le nom de l'objet que vous diffusez vers le processus. Exemple :data_measurements
.PROCESS_NAME
est le nom du processus dans lequel vous chargez les données. Exemple :analyze_data
Vous pouvez également diffuser des données à partir d'un objet Cloud Storage vers une commande Linux standard de type sort :
gcloud storage cp gs://my_app_bucket/data_measurements - | sort
Bibliothèques clientes
C++
Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage C++.
Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez la page Configurer l'authentification pour les bibliothèques clientes.
C#
Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage C#.
Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez la page Configurer l'authentification pour les bibliothèques clientes.
Go
Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage Go.
Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez la page Configurer l'authentification pour les bibliothèques clientes.
Java
Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage Java.
Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez la page Configurer l'authentification pour les bibliothèques clientes.
Node.js
Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage Node.js.
Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez la page Configurer l'authentification pour les bibliothèques clientes.
PHP
Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage PHP.
Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez la page Configurer l'authentification pour les bibliothèques clientes.
Python
Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage Python.
Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez la page Configurer l'authentification pour les bibliothèques clientes.
Ruby
Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage Ruby.
Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez la page Configurer l'authentification pour les bibliothèques clientes.
API REST
API JSON
Pour effectuer un téléchargement en flux continu, suivez les instructions pour télécharger un objet en tenant compte des points suivants :
Avant de lancer le téléchargement, récupérez les métadonnées de l'objet et enregistrez le numéro de génération de l'objet. Incluez ce numéro de génération dans chacune de vos requêtes pour vous assurer de ne pas télécharger les données de deux générations différentes si l'original est écrasé.
Utilisez l'en-tête
Range
de votre requête pour récupérer un fragment de l'objet global, que vous pouvez envoyer au processus local souhaité.Continuez d'envoyer des requêtes pour les fragments successifs de l'objet, jusqu'à ce que l'objet entier soit récupéré.
API XML
Pour effectuer un téléchargement en flux continu, suivez les instructions pour télécharger un objet en tenant compte des points suivants :
Avant de lancer le téléchargement, récupérez les métadonnées de l'objet et enregistrez le numéro de génération de l'objet. Incluez ce numéro de génération dans chacune de vos requêtes pour vous assurer de ne pas télécharger les données de deux générations différentes si l'original est écrasé.
Utilisez l'en-tête
Range
de votre requête pour récupérer un fragment de l'objet global, que vous pouvez envoyer au processus local souhaité.Continuez d'envoyer des requêtes pour les fragments successifs de l'objet, jusqu'à ce que l'objet entier soit récupéré.
Étape suivante
- Diffuser une importation
- En savoir plus sur le Transcodage par décompression
- En savoir plus sur les Importations et téléchargements