Créer un espace de travail de développement Dataform

Ce document vous aide à effectuer les opérations suivantes :

Présentation des espaces de travail de développement

Dans Dataform, vous interagissez avec le code de votre workflow dans un espace de travail de développement, qui est votre propre copie modifiable d'un dépôt. Dans un espace de travail, vous pouvez créer, modifier ou supprimer le contenu du dépôt sans gêner les autres utilisateurs qui travaillent sur le même dépôt. Vous pouvez ensuite valider vos modifications et les déployer sur le dépôt.

Vous pouvez développer votre workflow avec Dataform Core ou JavaScript. Dataform compile votre code en requêtes SQL en temps réel.

Dans un espace de travail de développement, vous pouvez effectuer les tâches suivantes :

Composants d'un espace de travail de développement

Un espace de travail de développement Dataform se compose des onglets décrits dans les sections suivantes.

Onglet Code

Vous pouvez utiliser l'environnement de développement dans l'onglet Code pour explorer les fichiers, développer des requêtes, contrôler les versions de vos modifications et déclencher l'exécution vers BigQuery. L'onglet contient les composants suivants qui vous permettent de développer des workflows :

  • Volet Fichiers : affiche la structure des fichiers de votre espace de travail et enregistre automatiquement vos modifications apportées à la structure des fichiers. Les fichiers sélectionnés s'ouvrent dans les onglets du volet de développement. Dans le champ Saisissez le nom à rechercher, vous pouvez rechercher des fichiers ou des répertoires dans votre espace de travail en saisissant leur chemin d'accès.
  • Volet Contrôle des versions : affiche l'état du contrôle des versions de votre espace de travail et les options de contrôle des versions.
  • Volet Développement : affiche les fichiers ouverts dans des onglets. Enregistre automatiquement les modifications apportées aux fichiers modifiés.
  • Bouton Exécuter : exécute un aperçu de la requête SQL compilée.
  • Bouton Format : met en forme votre code Dataform Core ou JavaScript.
  • État de la compilation : affiche l'état de la compilation du code dans votre espace de travail.
  • Volet Métadonnées : affiche les métadonnées du fichier modifié.
  • Volet Requêtes compilées : compile les requêtes du fichier modifié en SQL. Si la compilation de la requête échoue, le volet affiche les erreurs de compilation. Si la compilation de la requête aboutit, le volet affiche les requêtes compilées et les valide en effectuant des simulations à blanc dans BigQuery. Si la validation de la requête échoue, le volet affiche les erreurs de validation. Si la validation de la requête réussit, le volet affiche le nombre d'octets que l'exécution des requêtes vers BigQuery utiliserait.
  • Menu Démarrer l'exécution : affiche les options permettant de déclencher l'exécution de l'intégralité du workflow dans votre espace de travail ou de ses éléments sélectionnés.

Onglet du graphique compilé

Dans l'onglet Graphique compilé, vous pouvez voir le workflow compilé défini dans votre espace de travail sous la forme d'un graphe orienté acyclique (DAG) interactif. Le graphique affiche toutes les actions de votre workflow et les relations entre elles. Si votre workflow comporte des erreurs de compilation, l'onglet affiche un message d'erreur au lieu du graphique.

Vous pouvez faire un zoom avant ou arrière, et utiliser la navigation par glisser-déposer dans le graphique.

Vous pouvez filtrer le graphique selon les propriétés suivantes :

  • Nom
  • Tag
  • Type
    • Assertion
    • Déclaration
    • Table incrémentale
    • Vue matérialisée
    • Opérations
    • Table
    • Inconnu
    • Afficher

Vous pouvez sélectionner plusieurs filtres à la fois. Dataform les applique avec la condition OR.

Vous pouvez cliquer sur une action dans le graphique pour afficher ses détails dans les volets suivants :

  • Volet Métadonnées : affiche le nom complet, le type, les dépendances et les dépendants de l'action sélectionnée.
  • Volet Requête : affiche la requête SQL compilée de l'action sélectionnée.

Onglet "Exécutions"

Cet onglet affiche les journaux de toutes les exécutions déclenchées dans l'espace de travail. Vous pouvez également afficher les actions et leurs détails pour une exécution sélectionnée. Pour en savoir plus, consultez Surveiller les journaux d'exécution.

Contrôle des versions dans un espace de travail

Dans un espace de travail, vous interagissez avec le dépôt via le contrôle des versions basé sur Git. Les modifications que vous apportez aux fichiers de votre espace de travail sont d'abord des modifications locales non validées. Vous pouvez les valider, puis les envoyer à votre dépôt pour qu'elles soient disponibles pour tous les utilisateurs du dépôt.

Si votre dépôt est connecté à un fournisseur Git distant, vous transférez les modifications apportées à votre espace de travail vers votre branche de développement principale. Vous sélectionnez la branche principale lorsque vous connectez votre dépôt au fournisseur Git distant. Dans un dépôt Dataform non connecté, vous transférez les modifications vers la branche par défaut.

Vous pouvez également extraire les modifications du dépôt Dataform ou du dépôt distant, et les fusionner avec les modifications locales dans votre espace de travail de développement. Pour en savoir plus sur le contrôle des versions dans Dataform, consultez Contrôler les versions de votre code.

Avant de commencer

Si ce n'est pas déjà fait, créez un dépôt Dataform.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer, initialiser et supprimer un espace de travail de développement, demandez à votre administrateur de vous accorder le rôle IAM Éditeur Dataform (roles/dataform.editor) sur les espaces de travail. Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer un espace de travail de développement Dataform

Lorsque vous créez un espace de travail de développement dans un nouveau dépôt pour la première fois, Dataform vous invite à l'initialiser avec un ensemble de fichiers de configuration nécessaires au fonctionnement de Dataform.

Un espace de travail de développement initialisé contient les répertoires et fichiers suivants :

  • definitions/ : répertoire pour les définitions d'éléments, dans Dataform Core ou JavaScript.

  • includes/ : un répertoire vide pour les scripts et les variables que vous pouvez réutiliser dans le dépôt.

  • workflow_settings.yaml : fichier de configuration Dataform par défaut contenant l'ID du projet Google Cloud et le schéma BigQuery dans lequel publier les éléments. Vous pouvez remplacer les paramètres par défaut pour les personnaliser en fonction de vos besoins, mais la personnalisation n'est pas obligatoire pour commencer à utiliser Dataform.

  • package.json : fichier de configuration des dépendances Dataform par défaut avec la dernière version de @dataform/core. Vous pouvez utiliser ce fichier pour importer des packages.

  • definitions/sample.sqlx : exemple de fichier SQLX pour vous aider à démarrer.

Pour créer un espace de travail de développement Dataform, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Dataform.

    Accéder à Dataform

  2. Sélectionnez le dépôt dans lequel vous souhaitez créer l'espace de développement.

  3. Sur la page de votre dépôt, cliquez sur Créer un espace de travail de développement.

  4. Dans la fenêtre Créer un espace de travail de développement, procédez comme suit :

    1. Dans le champ ID de l'espace de travail, saisissez un ID unique pour l'espace de travail de développement.

      Les ID ne peuvent contenir que des chiffres, des lettres, des traits d'union et des traits de soulignement.

    2. Cliquez sur Créer.

Initialiser l'espace de travail dans un dépôt Dataform

Pour initialiser un espace de travail de développement Dataform, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Dataform.

    Accéder à Dataform

  2. Sélectionnez le dépôt dans lequel vous souhaitez initialiser l'espace de travail vide.

  3. Dans l'onglet Espaces de travail de développement, cliquez sur le nom de l'espace de travail vide que vous souhaitez initialiser.

  4. Sur la page de l'espace de travail de développement, cliquez sur Initialiser l'espace de travail.

Supprimer un espace de travail Dataform

La création d'espaces de travail de développement Dataform n'entraîne aucuns frais. Toutefois, si vous souhaitez supprimer un espace de travail de développement, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Dataform.

    Accéder à Dataform

  2. Sélectionnez le dépôt contenant l'espace de travail que vous souhaitez supprimer.

  3. Pour éviter de supprimer les modifications non validées, validez et déployez les modifications dans votre dépôt Git.

  4. Dans l'onglet Espaces de travail de développement, sélectionnez l'espace de travail de développement que vous souhaitez supprimer, puis cliquez sur Supprimer les espaces de travail sélectionnés.

    Vous pouvez supprimer plusieurs espaces de travail à la fois.

  5. Pour confirmer l'opération, cliquez sur Supprimer.

Étapes suivantes