Cloud Storage
Le connecteur Google Cloud Storage vous permet de vous connecter à Google Cloud Storage et d'effectuer des opérations de transfert de fichiers.
Avant de commencer
Avant d'utiliser le connecteur Cloud Storage, effectuez les tâches suivantes :
- Dans votre projet Google Cloud :
- Assurez-vous que la connectivité réseau est configurée. Pour en savoir plus sur les schémas de réseau, consultez Connectivité réseau.
- Attribuez le rôle IAM roles/connectors.admin à l'utilisateur qui configure le connecteur.
- Attribuez les rôles IAM suivants au compte de service que vous souhaitez utiliser pour le connecteur :
roles/secretmanager.viewer
roles/secretmanager.secretAccessor
roles/storage.admin
Un compte de service est un type spécial de compte Google destiné à représenter un utilisateur non humain qui doit s'authentifier et obtenir les autorisations permettant d'accéder aux données des API Google. Si vous ne possédez pas de compte de service, vous devez en créer un. Pour en savoir plus, consultez Créer un compte de service.
- Activez les services suivants :
secretmanager.googleapis.com
(API Secret Manager)connectors.googleapis.com
(API Connectors)
Pour savoir comment activer des services, consultez Activer des services.
Si ces services ou autorisations n'ont pas encore été activés pour votre projet, vous êtes invité à les activer au moment de configurer le connecteur.
Configurer le connecteur
Une connexion est propre à une source de données. Cela signifie que si vous disposez de nombreuses sources de données, vous devez créer une connexion distincte pour chacune d'elles. Pour créer une connexion, procédez comme suit :
- Dans la console Cloud, accédez à la page Integration Connectors > Connexions, puis sélectionnez ou créez un projet Google Cloud.
- Cliquez sur + CRÉER pour ouvrir la page Créer une connexion.
- Dans la section Emplacement, choisissez l'emplacement de la connexion.
- Région : sélectionnez un emplacement dans la liste déroulante.
Pour obtenir la liste de toutes les régions disponibles, consultez Emplacements.
- Cliquez sur SUIVANT.
- Région : sélectionnez un emplacement dans la liste déroulante.
- Dans la section Détails de la connexion, procédez comme suit :
- Connecteur : sélectionnez Cloud Storage dans la liste déroulante des connecteurs disponibles.
- Version du connecteur : sélectionnez la version du connecteur dans la liste déroulante des versions disponibles.
- Dans le champ Nom de connexion, indiquez le nom de l'instance de connexion.
Les noms de connexion doivent répondre aux critères suivants :
- Ils peuvent contenir des lettres, des chiffres ou des traits d'union.
- Les lettres doivent être en minuscules.
- Ils doivent commencer par une lettre et se terminer par une lettre ou un chiffre.
- Ils ne peuvent pas dépasser 49 caractères.
- (Facultatif) Saisissez une description de l'instance de connexion.
- (Facultatif) Activez Cloud Logging, puis sélectionnez un niveau de journalisation. Par défaut, le niveau de journalisation est défini sur
Error
. - Compte de service : sélectionnez un compte de service disposant des rôles requis.
- (Facultatif) Configurez les paramètres des nœuds de connexion :
- Nombre minimal de nœuds : saisissez le nombre minimal de nœuds de connexion.
- Nombre maximal de nœuds : saisissez le nombre maximal de nœuds de connexion.
Un nœud est une unité (ou instance répliquée) de connexion qui traite des transactions. Pour traiter davantage de transactions pour une connexion, vous devez disposer de plus de nœuds. À l'inverse, moins de nœuds sont nécessaires si une connexion traite moins de transactions. Pour comprendre comment les nœuds affectent la tarification de votre connecteur, consultez Tarifs des nœuds de connexion. Si vous ne saisissez aucune valeur, le nombre minimal de nœuds est défini par défaut sur 2 (pour améliorer la disponibilité) et le nombre maximal de nœuds sur 50.
- ID du projet : ID du projet Google Cloud dans lequel se trouvent les données.
- (Facultatif) Cliquez sur + AJOUTER UNE ÉTIQUETTE pour ajouter une étiquette à la connexion sous la forme d'une paire clé/valeur.
- Cliquez sur SUIVANT.
- Vérifier : vérifiez votre connexion.
- Cliquez sur Créer.
Entités, opérations et actions
Tous les connecteurs Integration Connectors fournissent une couche d'abstraction pour les objets de l'application connectée. Vous ne pouvez accéder aux objets d'une application que par le biais de cette abstraction. L'abstraction vous est présentée en tant qu'entités, opérations et actions.
- Entité : une entité peut être considérée comme un objet ou un ensemble de propriétés dans l'application ou le service connectés. La définition d'une entité diffère d'un connecteur à l'autre. Par exemple, dans un connecteur de base de données, les tables sont les entités, alors que dans un connecteur de serveur de fichiers, ce sont les dossiers, et dans un connecteur de système de messagerie, ce sont les files d'attente.
Toutefois, il est possible qu'un connecteur n'accepte ou ne possède aucune entité. Dans ce cas, la liste
Entities
est vide. - Opération : une opération est l'activité que vous pouvez effectuer sur une entité. Voici les opérations possibles :
Lorsque vous sélectionnez une entité dans la liste proposée, cela génère une liste d'opérations disponibles pour l'entité. Pour obtenir une description détaillée des opérations, consultez les opérations d'entité de la tâche "Connecteurs". Cependant, si un connecteur n'accepte pas l'une des opérations d'entité, cette opération non compatible ne figure pas dans la liste
Operations
. - Action : une action est une fonction de première classe mise à la disposition de l'intégration par le biais de l'interface du connecteur. Une action vous permet de modifier une ou plusieurs entités, et varie d'un connecteur à l'autre. Normalement, une action comporte des paramètres d'entrée et un paramètre de sortie. Toutefois, il est possible qu'un connecteur n'accepte aucune action, auquel cas la liste
Actions
est vide.
Limites du système
Le connecteur Google Cloud Storage peut traiter au maximum 10 transactions par seconde et par nœud, et limite les transactions au-delà de ce seuil. Par défaut, Integration Connectors alloue deux nœuds (pour améliorer la disponibilité) à une connexion.
Pour en savoir plus sur les limites applicables à Integration Connectors, consultez Limites.
Actions
La connexion Google Cloud Storage accepte les actions suivantes :
Action DownloadObject
Le tableau suivant décrit les paramètres d'entrée de l'action DownloadObject
.
Nom du paramètre | Obligatoire | Type de données | Description |
---|---|---|---|
Bucket | Oui | Chaîne | Nom du bucket dans lequel se trouve l'objet à télécharger. |
ObjectFilePath | Non | Chaîne | Nom de l'objet à télécharger. Si cette option n'est pas spécifiée, tous les objets du bucket spécifié seront téléchargés.
Si l'objet à télécharger est présent dans un dossier enfant d'un bucket, vous devez fournir le chemin d'accès complet de cet objet. Par exemple, pour télécharger le fichier |
HasBytes | Non | Booléen | Indique si le contenu doit être téléchargé sous forme d'octets. Les valeurs valides sont true ou false .
Si ce paramètre est défini sur true , le contenu est téléchargé en tant que chaîne encodée en Base64 .
Par défaut, le champ |
UpdatedEndDate | Non | Date | Plage de dates de fin pour le téléchargement d'objets. Si ce paramètre n'est pas spécifié, les objets seront téléchargés à partir de la date UpdatedStartDate spécifiée jusqu'à aujourd'hui. |
UpdatedStartDate | Non | Date | Début de la plage de dates pour le téléchargement des objets. Si ce paramètre n'est pas spécifié, les objets seront téléchargés depuis le début de l'heure jusqu'à UpdatedEndDate . |
Pour obtenir des exemples de configuration de l'action DownloadObject
, consultez Exemples.
Action UploadObject
Le tableau suivant décrit les paramètres d'entrée de l'action UploadObject
.
Nom du paramètre | Obligatoire | Type de données | Description |
---|---|---|---|
Bucket | Oui | Chaîne | Nom du bucket dans lequel l'objet sera importé. |
FolderPath | Non | Chaîne | Chemin d'accès au dossier dans lequel l'objet doit être importé. |
ContentBytes | Non | Chaîne | Contenu à importer sous forme d'octets (chaîne encodée en base64). |
HasBytes | Non | Booléen | Indique si le contenu doit être importé sous forme d'octets. Valeurs valides : true ou false .
Si ce paramètre est défini sur true , le contenu que vous souhaitez importer doit être une chaîne encodée en base64.
Par défaut, le champ |
Content | Oui | Chaîne | Contenu à importer. |
ObjectName | Non | Chaîne | Nom de l'objet qui sera importé. |
Pour obtenir des exemples de configuration de l'action UploadObject
, consultez Exemples.
Action CopyObject
Le tableau suivant décrit les paramètres d'entrée de l'action CopyObject
.
Nom du paramètre | Obligatoire | Type de données | Description |
---|---|---|---|
BucketSource | Oui | Chaîne | Nom du bucket à partir duquel vous souhaitez copier l'objet. |
ObjectSource | Oui | Chaîne | Chemin d'accès complet au dossier dans lequel vous souhaitez copier l'objet. |
BucketDestination | Oui | Chaîne | Nom du bucket dans lequel vous souhaitez copier l'objet. |
ObjectDestination | Non | Chaîne | Chemin d'accès complet à la destination, y compris le nom de l'objet. Si vous ne spécifiez aucun nom d'objet, le nom de l'objet source est conservé. |
Pour obtenir des exemples de configuration de l'action CopyObject
, consultez Exemples.
Action MoveObject
Le tableau suivant décrit les paramètres d'entrée de l'action MoveObject.
Nom du paramètre | Obligatoire | Type de données | Description |
---|---|---|---|
BucketSource | Oui | Chaîne | Nom du bucket à partir duquel vous souhaitez déplacer l'objet. |
ObjectSource | Oui | Chaîne | Chemin d'accès complet au dossier dans lequel vous souhaitez déplacer l'objet. |
BucketDestination | Oui | Chaîne | Nom du bucket dans lequel vous souhaitez déplacer l'objet. |
ObjectDestination | Non | Chaîne | Chemin d'accès complet à la destination, y compris le nom de l'objet. Si vous ne spécifiez aucun nom d'objet, le nom de l'objet source est conservé. |
Action DeleteObject
Le tableau suivant décrit les paramètres d'entrée de l'action DeleteObject
.
Nom du paramètre | Obligatoire | Type de données | Description |
---|---|---|---|
BucketSource | Oui | Chaîne | Nom du bucket où se trouve l'objet à supprimer. |
ObjectSource | Oui | Chaîne | Nom de l'objet que vous souhaitez supprimer. |
Generation | Non | Double | Version de l'objet à supprimer. Si cette option est présente, elle supprime définitivement la révision spécifiée de l'objet plutôt que la dernière version (le comportement par défaut). |
IfGenerationMatch | Non | Double | Rend l'opération de suppression conditionnelle (l'action n'est appliquée que si la génération actuelle de l'objet correspond à la valeur donnée). Si cette valeur est définie sur |
IfGenerationNotMatch | Non | Double | Rend l'opération de suppression conditionnelle (l'action n'est appliquée que si la génération actuelle de l'objet ne correspond pas à la valeur donnée). Si aucun objet actif n'existe, la condition préalable échoue. Définir cette valeur sur 0 permet de n'exécuter l'opération que s'il existe une version active de l'objet. |
IfMetagenerationMatch | Non | Double | Rend l'opération de suppression conditionnelle (l'action n'est appliquée que si la métagénération actuelle de l'objet correspond à la valeur spécifiée). |
IfMetagenerationNotMatch | Non | Double | Rend l'opération de suppression conditionnelle (l'action n'est appliquée que si la métagénération actuelle de l'objet ne correspond pas à la valeur spécifiée). |
Action SignURL
Le tableau suivant décrit les paramètres d'entrée de l'action SignURL
, qui crée une URL signée pour l'objet spécifié.
Nom du paramètre | Obligatoire | Type de données | Description |
---|---|---|---|
Bucket | Oui | Chaîne | Nom du bucket où se trouve l'objet. |
Object | Oui | Chaîne | Nom de l'objet pour lequel générer l'URL signée (SignedURL). |
RequestMethod | Non | Chaîne | Méthode utilisée par la requête signée. La valeur par défaut est GET . |
Location | Non | Chaîne | Emplacement du bucket spécifié. La valeur par défaut est auto . |
ActiveDateTime | Non | Chaîne | Date et heure auxquelles l'URL signée sera activée. Si cette valeur n'est pas spécifiée, la date et l'heure (dateTime) actuelles seront utilisées. |
Query | Non | Chaîne | Chaîne de requête à inclure lors de l'utilisation de SignedURL. Si aucune valeur n'est spécifiée, aucune chaîne de requête ne sera utilisée. |
CustomHeaders | Non | Chaîne | Liste d'en-têtes (nom=valeur) séparés par une virgule à utiliser avec la SignedURL. Si cette valeur n'est pas spécifiée, aucun en-tête personnalisé ne sera utilisé. |
ExpiresIn | Oui | Chaîne | Le délai d'expiration de SignedURL doit être au format 1d2h3m4s . La valeur maximale est 7d0h0m0s . |
HMAC Access ID | Oui | Chaîne | ID d'accès HMAC. Pour en savoir plus, consultez Clés HMAC. |
HMAC Secret | Oui | Chaîne | Secret HMAC. |
Exemples
Les exemples de cette section décrivent les opérations suivantes :
- Lister tous les objets
- Lister tous les objets d'un bucket
- Lister les objets à l'aide du filtre LIKE pour le nom
- Lister tous les buckets
- Télécharger un objet
- Télécharger un objet binaire
- Importer un objet binaire dans un bucket
- Importer un objet dans un bucket
- Importer un objet dans un dossier
- Copier un objet
- Déplacer un objet
- Supprimer un objet
- Créer une URL signée pour un objet
Le tableau suivant fournit une liste d'exemples de scénarios et la configuration correspondante dans la tâche "Connecteur" :
Tâche | Configuration |
---|---|
Lister tous les objets |
Cette opération liste tous les objets de tous les buckets. Les objets sont listés dans le paramètre de réponse |
Lister tous les objets d'un bucket |
|
Lister les objets à l'aide du filtre LIKE pour le nom |
|
Lister tous les buckets |
|
Télécharger un objet |
Cet exemple télécharge le fichier |
Télécharger un objet binaire |
La procédure de téléchargement d'un objet binaire est la même que pour un objet standard, comme décrit précédemment. De plus, vous devez indiquer { "Bucket": "bucket-test-01", "ObjectFilePath": "image01.png", "HasBytes" : true } Si le téléchargement aboutit, le résultat dans le champ { "Success": "true", "ContentBytes": "SGVsbG8gdGVzdCE\u003d" } Par défaut, le champ Si le fichier contient des caractères spéciaux comme "ä", "Ø" ou "Thành", procédez comme suit :
|
Importer un objet binaire dans un bucket |
Cet exemple crée le fichier |
Importer un objet dans un bucket |
Cet exemple crée le fichier |
Importer un objet dans un dossier |
Cet exemple crée le fichier |
Copier un objet |
Cet exemple copie le fichier Si la copie aboutit, le résultat du champ { "Success": "true" } |
Déplacer un objet |
Cet exemple déplace le fichier Si la copie aboutit, le résultat du champ { "Success": "true" } |
Supprimer un objet |
Cet exemple supprime le fichier Si la copie aboutit, le résultat du champ { "Success": "true" } |
Créer une URL signée pour un objet |
Cet exemple crée une URL signée pour le fichier { "Success": "true", "SignURL": "https://storage.googleapis.com/example-bucket/cat.jpeg?X-Goog-Algorithm= GOOG4-RSA-SHA256&X-Goog-Credential=example%40example-project.iam.gserviceaccount.com %2F20181026%2Fus-central1%2Fstorage%2Fgoog4_request&X-Goog-Date=20181026T18 1309Z&X-Goog-Expires=900&X-Goog-SignedHeaders=host&X-Goog-Signature=247a2aa45f16 9edf4d187d54e7cc46e4731b1e6273242c4f4c39a1d2507a0e58706e25e3a85a7dbb891d62afa849 6def8e260c1db863d9ace85ff0a184b894b117fe46d1225c82f2aa19efd52cf21d3e2022b3b868dc c1aca2741951ed5bf3bb25a34f5e9316a2841e8ff4c530b22ceaa1c5ce09c7cbb5732631510c2058 0e61723f5594de3aea497f195456a2ff2bdd0d13bad47289d8611b6f9cfeef0c46c91a455b94e90a 66924f722292d21e24d31dcfb38ce0c0f353ffa5a9756fc2a9f2b40bc2113206a81e324fc4fd6823 a29163fa845c8ae7eca1fcf6e5bb48b3200983c56c5ca81fffb151cca7402beddfc4a76b13344703 2ea7abedc098d2eb14a7" } |
Remarques
- La taille maximale d'un objet téléchargeable est de 10 Mo.
- Vous ne pouvez pas importer plusieurs fichiers avec l'action
UploadObject
. Vous ne pouvez en importer qu'un seul.
Utiliser Terraform pour créer des connexions
Vous pouvez utiliser la ressource Terraform pour créer une connexion.Pour savoir comment appliquer ou supprimer une configuration Terraform, consultez Commandes Terraform de base.
Pour afficher un exemple de modèle Terraform permettant de créer une connexion, consultez Exemple de modèle.
Lorsque vous créez cette connexion à l'aide de Terraform, vous devez définir les variables suivantes dans votre fichier de configuration Terraform :
Nom du paramètre | Type de données | Obligatoire | Description |
---|---|---|---|
project_id | CHAÎNE | True | ID du projet Google Cloud dans lequel se trouvent les données. |
Utiliser la connexion Cloud Storage dans une intégration
Une fois la connexion créée, elle devient disponible dans Apigee Integration et Application Integration. Vous pouvez utiliser la connexion dans une intégration au moyen de la tâche "Connecteurs".
- Pour savoir comment créer et utiliser la tâche "Connecteurs" dans Apigee Integration, consultez Tâche "Connecteurs".
- Pour savoir comment créer et utiliser la tâche "Connecteurs" dans Application Integration, consultez Tâche "Connecteurs".
Demander de l'aide à la communauté Google Cloud
Vous pouvez publier vos questions et discuter de ce connecteur sur les forums Cloud de la communauté Google Cloud.Étapes suivantes
- Découvrez comment suspendre et reprendre une connexion.
- Découvrez comment surveiller l'utilisation des connecteurs.
- Découvrez comment afficher les journaux des connecteurs.