Visualizar consultas SQL

Neste documento, mostramos como visualizar a saída de uma consulta SQL em um espaço de trabalho do Dataform antes de executar a consulta no BigQuery.

Sobre a visualização de consultas no Dataform

Ao desenvolver uma consulta em um arquivo SQLX ou JavaScript com o Dataform Core, o Dataform compila a consulta para SQL em tempo real. Para testar a saída da consulta SQL compilada antes de executá-la no BigQuery, execute uma prévia da consulta no seu espaço de trabalho do Dataform.

Quando você executa a prévia de uma consulta, o Dataform executa um job no BigQuery para executar a consulta compilada em uma tabela de destino temporária e mostrar os resultados da consulta no seu espaço de trabalho. É possível inspecionar a saída da consulta antes de acionar a execução para publicar a tabela no BigQuery. A tabela temporária com a consulta visualizada é excluída automaticamente em até 24 horas. Para mais informações sobre jobs do BigQuery, consulte Gerenciar jobs.

A execução da prévia da consulta no Dataform gera faturamento no BigQuery. Para mais informações sobre os preços do BigQuery, consulte Preços do BigQuery.

Durante a prévia da consulta, o Dataform usa suas credenciais de usuário para executar jobs no BigQuery. No entanto, durante a execução do fluxo de trabalho, o Dataform usa as credenciais da sua conta de serviço para criar ou atualizar recursos no BigQuery.

O Dataform mostra os resultados de todas as consultas visualizadas durante a sessão atual do navegador no painel Resultados da consulta do seu espaço de trabalho. No painel Resultados da consulta, você pode conferir as seguintes informações sobre cada consulta visualizada durante a sessão atual do navegador:

  • Informações do job
    • ID do job do BigQuery
    • Usuário executando a prévia
    • Local em que o job é executado, extraído do seu arquivo de configurações do fluxo de trabalho
    • Horários de criação, início e término do job do BigQuery
    • Duração do job do BigQuery
    • Bytes processados
    • Bytes faturados no BigQuery
    • Prioridade de job
    • Uso do SQL legado na consulta
    • Tabela de destino temporária da consulta
  • Resultados da consulta
  • Representação JSON da saída da consulta

Além disso, no painel Resultados da consulta, você pode navegar até o arquivo de origem de cada consulta visualizada e até o BigQuery Studio para conferir o trabalho de visualização.

Antes de começar

  1. No Google Cloud console, acesse a página Dataform.

    Acessar a página do Dataform

  2. Selecione ou crie um repositório.

  3. Selecione ou crie um espaço de trabalho de desenvolvimento.

  4. Crie uma consulta SQL, por exemplo, criar uma tabela.

Funções exigidas

Para receber as permissões necessárias para visualizar consultas, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

  • Editor do Dataform (roles/dataform.editor): espaços de trabalho
  • Usuário de jobs do BigQuery (roles/bigquery.jobUser): o projeto

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Visualizar uma consulta

Para inspecionar os resultados da consulta no Dataform antes da execução, execute uma prévia de uma consulta no seu espaço de trabalho. Se o arquivo editado tiver várias consultas, selecione aquela que você quer visualizar. É possível visualizar uma consulta por vez.

A execução da prévia é um pouco diferente para tabelas com asserções. Para mais informações, consulte Visualizar uma tabela com asserções.

Para visualizar uma consulta SQL e os resultados dela em um espaço de trabalho do Dataform, siga estas etapas:

  1. No painel Arquivos, expanda definitions/.
  2. Selecione um arquivo SQLX ou JavaScript.
  3. Clique em Executar.
    1. Se o arquivo tiver várias consultas, selecione no menu suspenso a que você quer visualizar.
  4. Analise os resultados da prévia no painel Resultados da consulta.
    1. Para inspecionar os detalhes do job, selecione a guia Informações do job.
    2. Para inspecionar os resultados da consulta, selecione a guia Resultados.
    3. Para conferir a saída JSON da consulta, selecione a guia JSON.
    4. Para conferir o job de prévia no espaço de trabalho SQL, clique no menu Mais > Conferir job no espaço de trabalho SQL.

Visualizar uma tabela com asserções

Em um arquivo de definição de tabela SQLX com asserções, é possível visualizar a consulta de criação de tabela e as consultas de asserção definidas.

O Dataform trata a consulta de definição de tabela como a consulta padrão. Para visualizar a consulta de criação de tabela, clique em Executar no espaço de trabalho. Para visualizar uma consulta de asserção, selecione-a em um menu suspenso ao lado do botão Executar. É possível visualizar uma consulta por vez.

Para visualizar uma consulta em um arquivo de definição de tabela com asserções em um espaço de trabalho do Dataform, siga estas etapas:

  1. No painel Arquivos, expanda definitions/.
  2. Selecione um arquivo de definição de uma tabela com asserções.
  3. Executar visualização:
    • Para visualizar a consulta de criação de tabela, clique em Executar.
    • Para visualizar uma consulta de asserção, clique no ícone suspenso ao lado de Executar e selecione a consulta que você quer visualizar.
  4. Analise os resultados da prévia no painel Resultados da consulta.
    1. Para inspecionar os detalhes do job, selecione a guia Informações do job.
    2. Para inspecionar os resultados da consulta, selecione a guia Resultados.
    3. Para conferir a saída JSON da consulta, selecione a guia JSON.
    4. Para conferir o job de prévia no espaço de trabalho SQL, clique no menu Mais > Conferir job no espaço de trabalho SQL.

A seguir