Créer des dépôts

Ce document vous explique comment utiliser les dépôts dans BigQuery, y compris les tâches suivantes :

  • Créer des dépôts
  • Supprimer des dépôts
  • Partager des dépôts
  • Associer éventuellement un dépôt BigQuery à un dépôt tiers

Avant de commencer

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    8.

    Rôles requis

    Pour obtenir les autorisations nécessaires pour travailler avec des dépôts et des espaces de travail, demandez à votre administrateur de vous accorder les rôles IAM suivants sur les dépôts et les espaces de travail :

    • Créer et gérer des dépôts partagés : Propriétaire du code (roles/dataform.codeOwner)
    • Créer et supprimer des espaces de travail dans des dépôts partagés : Éditeur de code (roles/dataform.codeEditor)
    • Créer, modifier et gérer les versions des fichiers dans les espaces de travail des dépôts partagés : Éditeur de code (roles/dataform.codeEditor)
    • Afficher les espaces de travail et leurs fichiers dans les dépôts partagés : Lecteur de code (roles/dataform.codeViewer)
    • Créer et gérer des dépôts privés, y compris toutes les actions avec les espaces de travail et les fichiers du dépôt privé : Créateur de code (roles/dataform.codeCreator)

    Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

    Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

    Les comptes principaux disposant du rôle Éditeur de code dans un dépôt peuvent modifier tous les espaces de travail du dépôt.

    Les dépôts privés que vous créez restent visibles par les principaux auxquels les rôles Administrateur BigQuery ou Administrateur BigQuery Studio sont attribués au niveau du projet. Ces principaux peuvent partager votre dépôt privé avec d'autres utilisateurs.

    Créer un dépôt

    Pour créer un dépôt BigQuery, procédez comme suit :

    1. Dans la console Google Cloud , accédez à la page BigQuery.

      Accéder à BigQuery

    2. Dans le volet Explorateur, cliquez sur le dossier Dépôts.

    3. Dans l'éditeur, cliquez sur Ajouter un dépôt.

    4. Dans le volet Créer un dépôt, saisissez un ID unique dans le champ ID du dépôt.

      Les ID ne peuvent contenir que des chiffres, des lettres, des traits d'union et des traits de soulignement.

    5. Dans la liste déroulante Région, sélectionnez une région BigQuery pour stocker le dépôt et son contenu. Sélectionnez la région BigQuery la plus proche de votre emplacement.

      Pour obtenir la liste des régions BigQuery disponibles, consultez Emplacements BigQuery Studio. La région du dépôt ne doit pas nécessairement correspondre à l'emplacement de vos ensembles de données BigQuery.

    6. Cliquez sur Créer.

    Se connecter à un dépôt tiers

    Cette section explique comment connecter un dépôt BigQuery à un dépôt distant. Une fois les dépôts connectés, vous pouvez effectuer des actions Git sur les fichiers des espaces de travail contenus dans le dépôt. Par exemple, en récupérant les mises à jour du dépôt distant et en transférant les modifications vers le dépôt distant.

    Nous vous recommandons de créer un dépôt BigQuery dédié pour chaque dépôt distant auquel vous vous connectez. Donnez au dépôt BigQuery un nom semblable à celui du dépôt distant pour faciliter le mappage.

    Vous pouvez connecter un dépôt distant via HTTPS ou SSH. La connexion d'un dépôt BigQuery à un dépôt distant peut échouer si le dépôt distant n'est pas ouvert à l'Internet public, par exemple s'il se trouve derrière un pare-feu. Le tableau suivant répertorie les fournisseurs Git compatibles et les méthodes de connexion disponibles pour leurs dépôts :

    Fournisseur Git Mode de connexion
    Services Azure DevOps SSH
    Bitbucket SSH
    GitHub SSH ou HTTPS
    GitLab SSH ou HTTPS

    Connecter un dépôt distant via SSH

    Pour connecter un dépôt distant via SSH, vous devez générer une clé SSH et un secret Secret Manager. La clé SSH se compose d'une clé SSH publique et d'une clé SSH privée. Vous devez partager la clé SSH publique avec votre fournisseur Git et créer un secret Secret Manager avec la clé SSH privée. Partagez ensuite le secret avec votre compte de service BigQuery par défaut.

    BigQuery utilise le secret avec la clé SSH privée pour se connecter à votre fournisseur Git afin de valider les modifications au nom des utilisateurs. BigQuery effectue ces commits en utilisant l'adresse e-mail de l'utilisateur Google Cloud . Vous pouvez ainsi savoir qui a effectué chaque commit.

    Pour connecter un dépôt distant à un dépôt BigQuery via SSH, procédez comme suit :

    1. Dans votre fournisseur Git, procédez comme suit :

      Services Azure DevOps

      1. Dans Azure DevOps Services, créez une clé privée SSH.
      2. Importez la clé SSH publique dans votre dépôt Azure DevOps Services.

      Bitbucket

      1. Dans Bitbucket, créez une clé privée SSH.
      2. Importez la clé SSH publique dans votre dépôt Bitbucket.

      GitHub

      1. Dans GitHub, recherchez les clés SSH existantes.
      2. Si vous ne possédez pas de clé SSH ou si vous souhaitez en utiliser une nouvelle, créez une clé SSH privée.
      3. Importez la clé SSH publique GitHub dans votre dépôt GitHub.

      GitLab

      1. Dans GitLab, créez une clé SSH privée.
      2. Importez la clé SSH publique GitLab dans votre dépôt GitLab.

    2. Dans Secret Manager, créez un secret et collez-y votre clé SSH privée en tant que valeur secrète. Votre clé SSH privée doit être stockée dans un fichier semblable à ~/.ssh/id_ed25519. Attribuez un nom au secret pour pouvoir le retrouver ultérieurement.

    3. Accordez l'accès au secret à votre compte de service Dataform par défaut.

      Votre compte de service Dataform par défaut est au format suivant :

      service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

    4. Attribuez le rôle roles/secretmanager.secretAccessor au compte de service.

    5. Dans la console Google Cloud , accédez à la page BigQuery.

      Accéder à BigQuery

    6. Dans le volet Explorateur, développez le dossier Dépôts.

    7. Sélectionnez le dépôt BigQuery que vous souhaitez connecter au dépôt distant.

    8. Dans l'éditeur, sélectionnez l'onglet Configuration.

    9. Cliquez sur Se connecter avec Git.

    10. Dans le volet Se connecter au dépôt distant, sélectionnez le bouton radio SSH.

    11. Dans le champ URL du dépôt Git distant, saisissez l'URL du dépôt Git distant, en la terminant par .git.

      L'URL du dépôt Git distant doit être dans l'un des formats suivants :

      • URL absolue : ssh://git@{host_name}[:{port}]/{repository_path}, port est facultatif.
      • URL de type SCP : git@{host_name}:{repository_path}.

    12. Dans le champ Nom de la branche distante par défaut, saisissez le nom de la branche principale du dépôt Git distant.

    13. Dans le menu déroulant Secret, sélectionnez le secret que vous avez créé et qui contient la clé privée SSH.

    14. Dans le champ Valeur de la clé d'hôte publique SSH, saisissez la clé d'hôte publique de votre fournisseur Git.

      Services Azure DevOps

      La valeur de la clé d'hôte publique SSH doit être au format d'un fichier known_hosts. La valeur doit contenir un algorithme et une clé publique encodés au format base64, mais sans le nom d'hôte ni l'adresse IP, au format suivant :

      ALGORITHM BASE64_KEY_VALUE

      Pour récupérer la clé hôte publique Azure DevOps Services, exécutez la commande ssh-keyscan -t rsa ssh.dev.azure.com dans le terminal.

      Bitbucket

      La valeur de la clé d'hôte publique SSH doit être au format d'un fichier known_hosts. La valeur doit contenir un algorithme et une clé publique encodés au format base64, mais sans le nom d'hôte ni l'adresse IP, au format suivant :

      ALGORITHM BASE64_KEY_VALUE

      Pour récupérer la clé d'hôte publique Bitbucket, consultez Configurer SSH.

      GitHub

      La valeur de la clé d'hôte publique SSH doit être au format d'un fichier known_hosts. La valeur doit contenir un algorithme et une clé publique encodés au format base64, mais sans le nom d'hôte ni l'adresse IP, au format suivant :

      ALGORITHM BASE64_KEY_VALUE

      Pour récupérer la clé publique de l'hôte GitHub, consultez Empreintes de la clé SSH de GitHub.

      GitLab

      La valeur de la clé d'hôte publique SSH doit être au format d'un fichier known_hosts. La valeur doit contenir un algorithme et une clé publique encodés au format base64, mais sans le nom d'hôte ni l'adresse IP, au format suivant :

      ALGORITHM BASE64_KEY_VALUE

      Pour récupérer la clé d'hôte publique GitLab, consultez Entrées SSH known_hosts.

    15. Cliquez sur Se connecter.

    Associer un dépôt distant via HTTPS

    Pour connecter un dépôt distant via HTTPS, vous devez créer un secret Secret Manager avec un jeton d'accès personnel, puis le partager avec votre compte de service BigQuery par défaut.

    BigQuery utilise ensuite le jeton d'accès pour se connecter à votre fournisseur Git et valider les modifications au nom des utilisateurs. BigQuery effectue ces commits à l'aide de l'adresse e-mail Google Cloud de l'utilisateur afin que vous puissiez identifier l'auteur de chaque commit.

    Pour connecter un dépôt distant à un dépôt BigQuery via HTTPS, procédez comme suit :

    1. Dans votre fournisseur Git, procédez comme suit :

      GitHub

      1. Dans GitHub, créez un jeton d'accès personnel précis ou un jeton d'accès personnel classique.

        • Pour obtenir un jeton d'accès personnel GitHub précis, procédez comme suit :

        1. Sélectionnez l'accès aux dépôts pour certains dépôts uniquement, puis sélectionnez le dépôt que vous souhaitez connecter.

        2. Accorder un accès en lecture et en écriture au contenu du dépôt.

        3. Définissez une heure d'expiration du jeton adaptée à vos besoins.

        • Pour un jeton d'accès personnel GitHub classique, procédez comme suit :

        1. Accorder à BigQuery l'autorisation repo.

        2. Définissez une heure d'expiration du jeton adaptée à vos besoins.

      2. Si votre organisation utilise l'authentification unique (SSO) SAML, autorisez le jeton.

      GitLab

      1. Dans GitLab, créez un jeton d'accès personnel GitLab.

      2. Nommez le jeton dataform. Cette étape est obligatoire.

      3. Accordez à BigQuery les autorisations api, read_repository et write_repository.

      4. Définissez une heure d'expiration du jeton adaptée à vos besoins.

    2. Dans Secret Manager, créez un secret contenant le jeton d'accès personnel de votre dépôt distant.

    3. Accordez l'accès au secret à votre compte de service Dataform par défaut.

      Votre compte de service Dataform par défaut est au format suivant :

      service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

    4. Attribuez le rôle roles/secretmanager.secretAccessor au compte de service.

    5. Dans la console Google Cloud , accédez à la page BigQuery.

      Accéder à BigQuery

    6. Dans le volet Explorateur, développez le dossier Dépôts.

    7. Sélectionnez le dépôt BigQuery que vous souhaitez connecter au dépôt distant.

    8. Dans l'éditeur, sélectionnez l'onglet Configuration.

    9. Cliquez sur Se connecter avec Git.

    10. Dans le volet Se connecter au dépôt distant, sélectionnez le bouton radio HTTPS.

    11. Dans le champ URL du dépôt Git distant, saisissez l'URL du dépôt Git distant, en la terminant par .git.

      L'URL du dépôt Git distant ne peut pas contenir de noms d'utilisateur ni de mots de passe.

    12. Dans le champ Nom de la branche distante par défaut, saisissez le nom de la branche principale du dépôt Git distant.

    13. Dans le menu déroulant Secret, sélectionnez le secret que vous avez créé et qui contient le jeton d'accès personnel.

    14. Cliquez sur Se connecter.

    Modifier la connexion au dépôt distant

    Pour modifier une connexion entre un dépôt BigQuery et un dépôt Git distant, procédez comme suit :

    1. Dans la console Google Cloud , accédez à la page BigQuery.

      Accéder à BigQuery

    2. Dans le volet Explorateur, développez le dossier Dépôts.

    3. Sélectionnez le dépôt BigQuery dont vous souhaitez modifier la connexion.

    4. Dans l'éditeur, sélectionnez l'onglet Configuration.

    5. Sur la page du dépôt, cliquez sur Modifier la connexion Git.

    6. Modifiez les paramètres de connexion.

    7. Cliquez sur Mettre à jour.

    Partager un dépôt

    Pour partager un dépôt, procédez comme suit :

    1. Dans la console Google Cloud , accédez à la page BigQuery.

      Accéder à BigQuery

    2. Dans le volet Explorateur, cliquez sur le dossier Dépôts.

    3. Dans le volet Dépôts Git, sélectionnez le dépôt que vous souhaitez partager.

    4. Cliquez sur l'option Actions, puis sur Partager.

    5. Dans le volet Autorisations de partage, cliquez sur Ajouter un utilisateur/groupe.

    6. Dans le volet Ajouter un utilisateur/groupe, dans le champ Nouveaux comptes principaux, saisissez un ou plusieurs noms d'utilisateur ou de groupe, séparés par une virgule.

    7. Dans le champ Rôle, choisissez le rôle à attribuer aux nouveaux comptes principaux.

    8. Cliquez sur Enregistrer.

    Supprimer un dépôt

    Pour supprimer un dépôt et tout son contenu, procédez comme suit :

    1. Dans la console Google Cloud , accédez à la page BigQuery.

      Accéder à BigQuery

    2. Dans le volet Explorateur, cliquez sur le dossier Dépôts.

    3. Dans le volet Dépôts Git, sélectionnez le dépôt que vous souhaitez supprimer.

    4. Cliquez sur l'option Actions, puis sur Supprimer.

    5. Cliquez sur Supprimer.

    Étapes suivantes