Criar um espaço de trabalho de desenvolvimento do Dataform

Este documento ajuda você a fazer o seguinte:

Visão geral dos espaços de trabalho de desenvolvimento

No Dataform, você interage com o código do fluxo de trabalho em um espaço de trabalho de desenvolvimento, que é uma cópia editável de um repositório. Em um espaço de trabalho, é possível criar, editar ou excluir o conteúdo do repositório sem afetar outras pessoas que trabalham no mesmo repositório. Depois, confirme e envie as mudanças ao repositório.

É possível desenvolver seu fluxo de trabalho com o Dataform Core ou JavaScript. O Dataform compila seu código em consultas SQL em tempo real.

Em um espaço de trabalho de desenvolvimento, é possível realizar as seguintes tarefas:

Componentes de um espaço de trabalho de desenvolvimento

Um espaço de trabalho de desenvolvimento do Dataform consiste nas guias descritas nas seções a seguir.

Guia "Código"

Use o ambiente de desenvolvimento na guia Código para explorar arquivos, desenvolver consultas, controlar a versão das mudanças e acionar a execução no BigQuery. A guia contém os seguintes componentes que permitem desenvolver fluxos de trabalho:

  • Painel Arquivos: mostra a estrutura de arquivos do seu espaço de trabalho e salva automaticamente as edições na estrutura de arquivos. Os arquivos selecionados são abertos nas guias do painel de desenvolvimento. No campo Digite para pesquisar, você pode pesquisar arquivos ou diretórios no seu espaço de trabalho pelo caminho deles.
  • Painel Controle de versões: mostra o status do controle de versões do seu espaço de trabalho e as opções de controle de versões.
  • Painel Desenvolvimento: mostra os arquivos abertos em guias. Salva automaticamente as mudanças nos arquivos editados.
  • Botão Executar: executa uma prévia da consulta SQL compilada.
  • Botão Formatar: formata seu código JavaScript ou do Dataform Core.
  • Status da compilação: mostra o status da compilação do código no seu espaço de trabalho.
  • Painel Metadados: mostra os metadados do arquivo editado.
  • Painel Consultas compiladas: compila as consultas no arquivo editado para SQL. Se a compilação da consulta falhar, o painel vai mostrar os erros. Se a compilação de consultas for bem-sucedida, o painel vai mostrar as consultas compiladas e validá-las com simulações no BigQuery. Se a validação da consulta falhar, o painel vai mostrar os erros de validação. Se a validação da consulta for bem-sucedida, o painel vai mostrar quantos bytes a execução das consultas no BigQuery usaria.
  • Menu Iniciar execução: mostra as opções para acionar a execução de todo o fluxo de trabalho no seu espaço de trabalho ou dos elementos selecionados.

Guia do gráfico compilado

Na guia Gráfico compilado, é possível conferir o fluxo de trabalho compilado definido no seu espaço de trabalho como um gráfico acíclico dirigido (DAG) interativo. O gráfico mostra todas as ações no seu fluxo de trabalho e as relações entre elas. Se houver erros de compilação no fluxo de trabalho, a guia vai mostrar uma mensagem de erro em vez do gráfico.

É possível aumentar e diminuir o zoom e usar a navegação por arrastar e soltar no gráfico.

É possível filtrar o gráfico pelas seguintes propriedades:

  • Nome
  • Tag
  • Digite
    • Declaração
    • Declaração
    • Tabela incremental
    • Visualização materializada
    • Operações
    • Tabela
    • Desconhecido
    • Ver

É possível selecionar vários filtros de uma vez. O Dataform as aplica com a condição OR.

Clique em uma ação no gráfico para ver os detalhes nos seguintes painéis:

  • Painel Metadados: mostra o nome completo, o tipo, as dependências e os dependentes da ação selecionada.
  • Painel Consulta: mostra a consulta SQL compilada da ação selecionada.

Guia "Execuções"

Essa guia mostra os registros de todas as execuções acionadas no espaço de trabalho. Você também pode conferir as ações e os detalhes de uma execução selecionada. Para mais informações, consulte Monitorar registros de execução.

Controle de versão em um espaço de trabalho

Em um espaço de trabalho, você interage com o repositório usando o controle de versão baseado em Git. As edições feitas nos arquivos do seu espaço de trabalho começam como mudanças locais não confirmadas. Você pode confirmar e enviar essas mudanças para o repositório, para que elas fiquem disponíveis a todos os usuários.

Se o repositório estiver conectado a um provedor Git remoto, envie as mudanças do espaço de trabalho para a ramificação principal de desenvolvimento. Você seleciona a ramificação principal ao conectar seu repositório ao provedor Git remoto. Em um repositório do Dataform não conectado, você envia as mudanças para a ramificação padrão.

Também é possível extrair mudanças do repositório do Dataform ou do repositório remoto e mesclar com as mudanças locais no seu espaço de trabalho de desenvolvimento. Para mais informações sobre o controle de versões no Dataform, consulte Controlar versões do seu código.

Antes de começar

Se você ainda não tiver feito isso, crie um repositório do Dataform.

Funções exigidas

Para receber as permissões necessárias para criar, inicializar e excluir um espaço de trabalho de desenvolvimento, peça ao administrador que conceda a você o papel do IAM Editor do Dataform (roles/dataform.editor) em espaços de trabalho. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Criar um espaço de trabalho de desenvolvimento do Dataform

Quando você cria um espaço de trabalho de desenvolvimento em um novo repositório pela primeira vez, o Dataform pede para inicializar o espaço de trabalho com um conjunto de arquivos de configuração necessários para o funcionamento do Dataform.

Um espaço de trabalho de desenvolvimento inicializado contém os seguintes diretórios e arquivos:

  • definitions/: um diretório para definições de recursos, no Dataform Core ou em JavaScript.

  • includes/: um diretório vazio para scripts e variáveis que podem ser reutilizados em todo o repositório.

  • workflow_settings.yaml: o arquivo de configuração padrão do Dataform que contém o ID do projeto Google Cloud e o esquema do BigQuery para publicar recursos. Você pode substituir as configurações padrão para personalizá-las de acordo com suas necessidades, mas a personalização não é um requisito para começar a usar o Dataform.

  • package.json: o arquivo de configuração padrão de dependências do Dataform com a versão mais recente do @dataform/core. É possível usar esse arquivo para importar pacotes.

  • definitions/sample.sqlx: um arquivo SQLX de exemplo para ajudar você a começar.

Para criar um espaço de trabalho de desenvolvimento do Dataform, siga estas etapas:

  1. No Google Cloud console, acesse a página Dataform.

    Acesse o Dataform

  2. Selecione o repositório em que você quer criar o novo espaço de trabalho de desenvolvimento.

  3. Na página do repositório, clique em Criar espaço de trabalho de desenvolvimento.

  4. Na janela Criar espaço de trabalho de desenvolvimento, faça o seguinte:

    1. No campo ID do espaço de trabalho, insira um ID exclusivo para o espaço de trabalho de desenvolvimento.

      Os IDs podem incluir apenas números, letras, hifens e sublinhados.

    2. Clique em Criar.

Inicializar o espaço de trabalho em um repositório do Dataform

Para inicializar um espaço de trabalho de desenvolvimento do Dataform, siga estas etapas:

  1. No Google Cloud console, acesse a página Dataform.

    Acesse o Dataform

  2. Selecione o repositório em que você quer inicializar o espaço de trabalho vazio.

  3. Na guia Espaços de trabalho de desenvolvimento, clique no nome do espaço de trabalho vazio que você quer inicializar.

  4. Na página do espaço de trabalho de desenvolvimento, clique em Inicializar espaço de trabalho.

Excluir um espaço de trabalho do Dataform

Não há custos associados à criação de espaços de trabalho de desenvolvimento do Dataform. No entanto, se você quiser excluir um espaço de trabalho de desenvolvimento, siga estas etapas:

  1. No Google Cloud console, acesse a página Dataform.

    Acesse o Dataform

  2. Selecione o repositório que contém o espaço de trabalho que você quer excluir.

  3. Para evitar a exclusão de mudanças não confirmadas, confirme e envie as mudanças para seu repositório Git.

  4. Na guia Espaços de trabalho de desenvolvimento, selecione o espaço de trabalho que você quer excluir e clique em Excluir espaços de trabalho selecionados.

    É possível excluir vários espaços de trabalho de uma só vez.

  5. Para confirmar, clique em Excluir.

A seguir