Criar e executar um fluxo de trabalho no Dataform

Criar um repositório do Dataform

1. No Google Cloud console, acesse a página Dataform.

   Acesse o Dataform

2. Clique em add Criar repositório.

3. Na página Criar repositório, faça o seguinte:

   1. No campo Código do repositório, insira quickstart-repository.

   2. Na lista Região, selecione europe-west4.

   3. Clique em Criar.

criar e inicializar um espaço de trabalho de desenvolvimento do Dataform

1. No Google Cloud console, acesse a página Dataform.

   Acesse o Dataform

2. Clique em quickstart-repository.

3. Clique em add Criar espaço de trabalho de desenvolvimento.

4. Na janela Criar espaço de trabalho de desenvolvimento, faça o seguinte:

   1. No campo Código do espaço de trabalho, digite quickstart-workspace.

   2. Clique em Criar.

   A página do espaço de trabalho de desenvolvimento é exibida.

5. Clique em Inicializar espaço de trabalho.

Criar uma visualização

Nas seções a seguir, você define uma visualização que será usada posteriormente como fonte de dados para uma tabela.

criar um arquivo SQLX para definir uma visualização

1. No painel Arquivos, ao lado de definitions/, clique no menu more_vert Mais.

2. Selecione Criar arquivo.

3. No painel Criar novo arquivo, faça o seguinte:

   1. No campo Adicionar um caminho de arquivo, insira definitions/quickstart-source.sqlx.

   2. Selecione Criar arquivo.

Defina uma visualização

1. No painel Arquivos, expanda a pasta "definitions".

2. Clique em definitions/quickstart-source.sqlx.

3. No arquivo, digite este snippet de código:

   config {
    type: "view"
   }
   
   SELECT
    "apples" AS fruit,
    2 AS count
   UNION ALL
   SELECT
    "oranges" AS fruit,
    5 AS count
   UNION ALL
   SELECT
    "pears" AS fruit,
    1 AS count
   UNION ALL
   SELECT
    "bananas" AS fruit,
    0 AS count
   

4. Clique em Formatar.

Criar uma tabela

Nas seções a seguir, você vai definir o tipo da tabela em um arquivo SQLX e, depois, escrever uma instrução SELECT para definir a estrutura da tabela no mesmo arquivo.

criar um arquivo SQLX para definição de tabela

1. No painel Arquivos, ao lado de definitions/, clique no menu more_vert Mais e selecione Criar arquivo.

2. No campo Adicionar um caminho de arquivo, insira definitions/quickstart-table.sqlx.

3. Selecione Criar arquivo.

Defina o tipo, a estrutura e as dependências da tabela

1. No painel Arquivos, abra o diretório definitions/.

2. Selecione quickstart-table.sqlx e insira o tipo de tabela e a instrução SELECT a seguir:

   config {
    type: "table"
   }
   
   SELECT
    fruit,
    SUM(count) as count
   FROM ${ref("quickstart-source")}
   GROUP BY 1
   

3. Clique em Formatar.

Depois de definir o tipo de tabela, o Dataform gera um erro de validação de consulta porque quickstart-source ainda não existe no BigQuery. Esse erro é resolvido quando você executa o fluxo de trabalho mais adiante neste tutorial.

Executar o fluxo de trabalho no BigQuery

1. No Google Cloud console, acesse a página Dataform.

   Acesse o Dataform

2. Na página quickstart-workspace, clique em Iniciar execução.

3. Clique em Todas as ações.

4. Clique em Iniciar execução.

5. Na caixa de diálogo que aparece, clique em Permitir para conceder permissão aos Pipelines do BigQuery de acessar sua Conta do Google.

   O Dataform usa as configurações de repositório padrão para criar o conteúdo do seu fluxo de trabalho em um conjunto de dados do BigQuery chamado dataform.

Acessar registros de execução no Dataform

1. Na página quickstart-repository, clique em Registros de execução de fluxo de trabalho.

2. Para conferir os detalhes, clique na última execução.