Snowflake

Le connecteur Snowflake vous permet d'effectuer des opérations d'insertion, de suppression, de mise à jour et de lecture sur la base de données Snowflake.

Versions compatibles

Toutes les éditions Snowflake

Avant de commencer

Avant d'utiliser le connecteur Snowflake, effectuez les tâches suivantes :

• Dans votre projet Google Cloud :
  • Assurez-vous que la connectivité réseau est configurée. Pour en savoir plus sur les schémas de réseau, consultez Connectivité réseau.
  • Attribuez le rôle IAM roles/connectors.admin à l'utilisateur qui configure le connecteur.
  • Attribuez les rôles IAM suivants au compte de service que vous souhaitez utiliser pour le connecteur :
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Un compte de service est un type spécial de compte Google destiné à représenter un utilisateur non humain qui doit s'authentifier et obtenir les autorisations permettant d'accéder aux données des API Google. Si vous ne possédez pas de compte de service, vous devez en créer un. Pour plus d'informations, consultez Créer un compte de service.

  • Activez les services suivants :
    • secretmanager.googleapis.com (API Secret Manager)
    • connectors.googleapis.com (API Connectors)

    Pour savoir comment activer des services, consultez Activer des services.

  Si ces services ou autorisations n'ont pas encore été activés pour votre projet, vous êtes invité à les activer au moment de configurer le connecteur.

Configurer le connecteur

Une connexion est propre à une source de données. Cela signifie que si vous disposez de nombreuses sources de données, vous devez créer une connexion distincte pour chacune d'elles. Pour créer une connexion, procédez comme suit :

1. Dans la console Cloud, accédez à la page Connecteurs d'intégration > Connexions, puis sélectionnez ou créez un projet Google Cloud.

   Accéder à la page "Connexions"

2. Cliquez sur + CRÉER pour ouvrir la page Créer une connexion.
3. Dans la section Emplacement, choisissez l'emplacement de la connexion.
   1. Région : sélectionnez un emplacement dans la liste déroulante.

      Pour obtenir la liste de toutes les régions disponibles, consultez Emplacements.

   2. Cliquez sur SUIVANT.
4. Dans la section Détails de la connexion, procédez comme suit :
   1. Connecteur : sélectionnez Snowflake dans la liste déroulante des connecteurs disponibles.
   2. Version du connecteur : sélectionnez la version du connecteur dans la liste déroulante des versions disponibles.
   3. Dans le champ Nom de connexion, indiquez le nom de l'instance de connexion.

      Les noms de connexion doivent répondre aux critères suivants :

      • Ils peuvent contenir des lettres, des chiffres ou des traits d'union.
      • Les lettres doivent être en minuscules.
      • Ils doivent commencer par une lettre et se terminer par une lettre ou un chiffre.
      • Ils ne peuvent pas dépasser 49 caractères.
   4. (Facultatif) Saisissez une description de l'instance de connexion.
   5. (Facultatif) Activez Cloud Logging, puis sélectionnez un niveau de journalisation. Par défaut, le niveau de journalisation est défini sur Error.
   6. Compte de service : sélectionnez un compte de service disposant des rôles requis.
   7. (Facultatif) Configurez les paramètres de nœuds de connexion :
      • Nombre minimal de nœuds : saisissez le nombre minimal de nœuds de connexion.
      • Nombre maximal de nœuds : saisissez le nombre maximal de nœuds de connexion.

      Un nœud est une unité (ou instance répliquée) de connexion qui traite des transactions. Pour traiter davantage de transactions pour une connexion, vous devez disposer de plus de nœuds. À l'inverse, moins de nœuds sont nécessaires si une connexion traite moins de transactions. Pour comprendre comment les nœuds affectent la tarification de votre connecteur, consultez Tarifs des nœuds de connexion. Si vous ne saisissez aucune valeur, le nombre minimal de nœuds est défini par défaut sur 2 (pour améliorer la disponibilité) et le nombre maximal de nœuds sur 50.

   8. Entrepôt : nom de l'entrepôt Snowflake. Vous pouvez obtenir les détails de l'entrepôt, de la base de données et du schéma à partir de votre instance Snowflake.
   9. Base de données : nom de la base de données Snowflake.
   10. Schéma : schéma Snowflake.
   11. Utiliser un proxy : cochez cette case afin de configurer un serveur proxy pour la connexion ainsi que les valeurs suivantes :
   • Schéma d'authentification du proxy : sélectionnez le type d'authentification pour l'authentification auprès du serveur proxy. Les types d'authentification suivants sont compatibles :
     • De base : authentification HTTP de base.
     • Digest : authentification HTTP Digest.
   • Utilisateur du proxy : nom d'utilisateur permettant de s'authentifier auprès du serveur proxy.
   • Mot de passe du proxy : secret Secret Manager du mot de passe de l'utilisateur.
   • Type SSL du proxy : type SSL à utiliser lors de la connexion au serveur proxy. Les types d'authentification suivants sont compatibles :
     • Auto : paramètre par défaut. Dans le cas d'une URL HTTPS, l'option "Tunnel" est utilisée. Dans le cas d'une URL HTTP, l'option "Jamais" est utilisée.
     • Toujours : le protocole SSL est toujours activé pour la connexion.
     • Jamais : le protocole SSL n'est pas activé pour la connexion.
     • Tunnel : la connexion s'effectue avec un proxy de tunnelisation. Le serveur proxy ouvre une connexion à l'hôte distant et le trafic transite par le proxy.
   • Dans la section Serveur proxy, saisissez les détails du serveur proxy.
     1. Cliquez sur + Ajouter une destination.
     2. Sélectionnez un type de destination.
        • Adresse de l'hôte : spécifiez le nom d'hôte ou l'adresse IP de la destination.

          Si vous souhaitez établir une connexion privée à votre système backend, procédez comme suit :

          • Créez un rattachement de service PSC.
          • Créez un rattachement de point de terminaison, puis saisissez les détails du rattachement de point de terminaison dans le champ Adresse de l'hôte.
   12. (Facultatif) Cliquez sur + AJOUTER UNE ÉTIQUETTE pour ajouter une étiquette à la connexion sous la forme d'une paire clé/valeur.
   13. Cliquez sur SUIVANT.
5. Dans la section Destinations, saisissez des informations sur l'hôte distant (système backend) auquel vous souhaitez vous connecter.
   1. Type de destination : sélectionnez un type de destination.
      • Sélectionnez Adresse de l'hôte dans la liste pour spécifier le nom d'hôte ou l'adresse IP de la destination.

        L'adresse de l'hôte est au format suivant : https://<ACCOUNT>.<LOCATION>.<CLOUD_PROVIDER>.snowflakecomputing.com

      • Si vous souhaitez établir une connexion privée à vos systèmes backend, sélectionnez Rattachement de point de terminaison dans la liste, puis sélectionnez le rattachement de point de terminaison requis dans la liste Rattachement de point de terminaison.

      Si vous souhaitez établir une connexion publique à vos systèmes backend avec une sécurité supplémentaire, vous pouvez envisager de configurer des adresses IP sortantes statiques pour vos connexions, puis de configurer vos règles de pare-feu pour ajouter à la liste d'autorisation uniquement les adresses IP statiques spécifiques.

      Pour saisir d'autres destinations, cliquez sur + AJOUTER UNE DESTINATION.

   2. Cliquez sur SUIVANT.
6. Dans la section Authentification, saisissez les informations d'authentification.
   1. Sélectionnez un type d'authentification, puis saisissez les informations appropriées.

      Les types d'authentification suivants sont compatibles avec la connexion Snowflake :

      • Nom d'utilisateur et mot de passe

   Pour savoir comment configurer ces types d'authentification, consultez Configurer l'authentification.

   2. Cliquez sur SUIVANT.
7. Vérifier : vérifiez vos informations de connexion et d'authentification.
8. Cliquez sur Créer.

Configurer l'authentification

Saisissez les informations en fonction de l'authentification que vous souhaitez utiliser.

• Nom d'utilisateur et mot de passe
  • Nom d'utilisateur : nom d'utilisateur pour l'authentification avec l'instance Snowflake
  • Mot de passe : secret Secret Manager contenant le mot de passe associé à l'instance Snowflake

Exemple de connexion Snowflake

Le tableau suivant présente des exemples de valeurs pour les champs que vous configurez lorsque vous créez une connexion Snowflake.

Nom du champ	Détails
Emplacement	US-east1
Connecteur	Snowflake
Version du connecteur	1
Nom de connexion	googlecloud-snowflake-rest-conn
Activer Cloud Logging	Non
Compte de service	mon-compte-service@mon-projet.iam.gserviceaccount.com
Entrepôt	College_WH
Base de données	College_DB
Schéma	Public
Niveau de verbosité	5
Compte	uc63366
Type de destination	Adresse de l'hôte
Hôte	https://account_name.us-east4.gcp.snowflakecomputing.com
Nombre minimal de nœuds	2
Nombre maximal de nœuds	50
Nom d'utilisateur	NOM D'UTILISATEUR
Mot de passe	MOT DE PASSE
Version du secret	1

Entités, opérations et actions

Tous les connecteurs Integration Connectors fournissent une couche d'abstraction pour les objets de l'application connectée. Vous ne pouvez accéder aux objets d'une application que par le biais de cette abstraction. L'abstraction vous est présentée en tant qu'entités, opérations et actions.

• Entité : une entité peut être considérée comme un objet ou un ensemble de propriétés dans l'application ou le service connectés. La définition d'une entité diffère d'un connecteur à l'autre. Par exemple, dans un connecteur de base de données, les tables sont les entités, alors que dans un connecteur de serveur de fichiers, ce sont les dossiers, et dans un connecteur de système de messagerie, ce sont les files d'attente.

  Toutefois, il est possible qu'un connecteur n'accepte ou ne possède aucune entité. Dans ce cas, la liste Entities est vide.

• Opération : une opération est l'activité que vous pouvez effectuer sur une entité. Voici les opérations possibles :
  • List
  • Get
  • Create
  • Update
  • Delete

  Lorsque vous sélectionnez une entité dans la liste proposée, cela génère une liste d'opérations disponibles pour l'entité. Pour obtenir une description détaillée des opérations, consultez les opérations d'entité de la tâche "Connecteurs". Cependant, si un connecteur n'accepte pas l'une des opérations d'entité, cette opération non compatible ne figure pas dans la liste Operations.

• Action : une action est une fonction de première classe mise à la disposition de l'intégration par le biais de l'interface du connecteur. Une action vous permet de modifier une ou plusieurs entités, et varie d'un connecteur à l'autre. Normalement, une action comporte des paramètres d'entrée et un paramètre de sortie. Toutefois, il est possible qu'un connecteur n'accepte aucune action, auquel cas la liste Actions est vide.

Actions

Ce connecteur est compatible avec l'exécution des actions suivantes :

• Fonctions et procédures stockées définies par l'utilisateur. Si votre backend contient des fonctions et des procédures stockées, elles sont listées dans la colonne Actions de la boîte de dialogue Configure connector task.
• Requêtes SQL personnalisées. Pour exécuter des requêtes SQL personnalisées, le connecteur fournit l'action Exécuter une requête personnalisée.

  Pour créer une requête personnalisée, procédez comme suit :

  1. Suivez les instructions détaillées pour ajouter une tâche "Connecteurs".
  2. Lorsque vous configurez la tâche "Connecteurs", sélectionnez Actions dans le type d'action à effectuer.
  3. Dans la liste Action, sélectionnez Exécuter une requête personnalisée, puis cliquez sur OK.

     

  4. Développez la section Entrée de la tâche, puis procédez comme suit :
     1. Dans le champ Délai d'inactivité après, saisissez le nombre de secondes d'attente jusqu'à l'exécution de la requête.

        Valeur par défaut : 180 secondes

     2. Dans le champ Nombre maximal de lignes, saisissez le nombre maximal de lignes à renvoyer à partir de la base de données.

        Valeur par défaut : 25

     3. Pour mettre à jour la requête personnalisée, cliquez sur Modifier le script personnalisé. La boîte de dialogue Éditeur de script s'ouvre.

        

     4. Dans la boîte de dialogue Éditeur de script, saisissez la requête SQL, puis cliquez sur Enregistrer.

        Vous pouvez utiliser un point d'interrogation (?) dans une instruction SQL pour représenter un seul paramètre devant être spécifié dans la liste des paramètres de requête. Par exemple, la requête SQL suivante sélectionne toutes les lignes de la table Employees correspondant aux valeurs spécifiées pour la colonne LastName :

        SELECT * FROM Employees where LastName=?

     5. Si vous avez utilisé des points d'interrogation dans votre requête SQL, vous devez ajouter le paramètre en cliquant sur + Ajouter un nom de paramètre pour chaque point d'interrogation. Lors de l'exécution de l'intégration, ces paramètres remplacent les points d'interrogation (?) de la requête SQL de manière séquentielle. Par exemple, si vous avez ajouté trois points d'interrogation (?), vous devez ajouter trois paramètres dans l'ordre de séquence.

        

        Pour ajouter des paramètres de requête, procédez comme suit :

        1. Dans la liste Type, sélectionnez le type de données du paramètre.
        2. Dans le champ Valeur, saisissez la valeur du paramètre.
        3. Pour ajouter plusieurs paramètres, cliquez sur + Ajouter un paramètre de requête.

Limites du système

Le connecteur Snowflake peut traiter au maximum sept transactions par seconde et par nœud, et limite les transactions au-delà de ce seuil. Par défaut, Integration Connectors alloue deux nœuds (pour améliorer la disponibilité) à une connexion.

Pour en savoir plus sur les limites applicables à Integration Connectors, consultez Limites.

Utiliser Terraform pour créer des connexions

Vous pouvez utiliser la ressource Terraform pour créer une connexion.

Pour savoir comment appliquer ou supprimer une configuration Terraform, consultez Commandes Terraform de base.

Pour afficher un exemple de modèle Terraform permettant de créer une connexion, consultez Exemple de modèle.

Lorsque vous créez cette connexion à l'aide de Terraform, vous devez définir les variables suivantes dans votre fichier de configuration Terraform :

Nom du paramètre	Type de données	Obligatoire	Description
warehouse	STRING	False	Nom de l'entrepôt Snowflake.
database	STRING	False	Nom de la base de données Snowflake.
schema	STRING	False	Schéma Snowflake.
account	STRING	False	Compte à utiliser pour l'authentification auprès de la base de données Snowflake.
proxy_enabled	BOOLEAN	False	Cochez cette case afin de configurer un serveur proxy pour la connexion.
proxy_auth_scheme	ENUM	False	Type d'authentification à utiliser pour s'authentifier auprès du proxy ProxyServer. Valeurs acceptées : BASIC, DIGEST et NONE.
proxy_user	STRING	False	Nom d'utilisateur permettant de s'authentifier auprès du proxy ProxyServer.
proxy_password	SECRET	False	Mot de passe à utiliser pour s'authentifier auprès du proxy ProxyServer.
proxy_ssltype	ENUM	False	Type SSL à utiliser pour se connecter au proxy ProxyServer. Valeurs acceptées : AUTO, ALWAYS, NEVER et TUNNEL.

Utiliser la connexion Snowflake dans une intégration

Une fois la connexion créée, elle devient disponible dans Apigee Integration et Application Integration. Vous pouvez utiliser la connexion dans une intégration au moyen de la tâche "Connecteurs".

• Pour savoir comment créer et utiliser la tâche "Connecteurs" dans Apigee Integration, consultez Tâche "Connecteurs".
• Pour savoir comment créer et utiliser la tâche "Connecteurs" dans Application Integration, consultez Tâche "Connecteurs".

Demander de l'aide à la communauté Google Cloud

Vous pouvez publier vos questions et discuter de ce connecteur sur les forums Cloud de la communauté Google Cloud.

Étapes suivantes

• Découvrez comment suspendre et reprendre une connexion.
• Découvrez comment surveiller l'utilisation des connecteurs.
• Découvrez comment afficher les journaux des connecteurs.