Preparar dados com o Gemini

Neste documento, descrevemos como gerar e gerenciar sugestões de código SQL para suas preparações de dados no BigQuery.

Para mais informações, consulte Introdução ao preparo de dados do BigQuery.

Antes de começar

• Configure o Gemini no BigQuery.

• Conceda os papéis e permissões necessários do Identity and Access Management (IAM).

Abrir o editor de preparação de dados no BigQuery

Para abrir o editor de preparação de dados no BigQuery, crie uma preparação de dados, crie uma com base em uma tabela ou abra uma preparação de dados. Para mais informações sobre o que acontece ao criar uma preparação de dados, consulte Pontos de entrada da preparação de dados.

Na página do BigQuery, é possível acessar o editor de preparação de dados das seguintes maneiras:

Adicionar etapas de preparação de dados

Você prepara os dados em etapas. É possível visualizar ou aplicar as etapas sugeridas pelo Gemini. Você também pode melhorar as sugestões ou aplicar suas próprias etapas.

Aplicar e melhorar as sugestões do Gemini

Quando você abre o editor de preparação de dados da sua tabela, o Gemini inspeciona os dados e o esquema da tabela carregada e gera sugestões de filtro e transformação. As sugestões aparecem em cards na lista Etapas.

A imagem a seguir mostra onde você pode aplicar e melhorar as etapas sugeridas pelo Gemini:

Para aplicar uma sugestão do Gemini como uma etapa de preparação de dados, faça o seguinte:

1. Na visualização de dados, clique no nome de uma coluna ou em uma célula específica. O Gemini gera sugestões para filtrar e transformar os dados.

2. Opcional: para melhorar as sugestões, edite os valores de uma a três células na tabela para demonstrar como os valores em uma coluna devem aparecer. Por exemplo, insira uma data da maneira como você quer formatar todas as datas. O Gemini gera novas sugestões com base nas suas mudanças.

   A imagem a seguir mostra como editar valores para melhorar as etapas sugeridas pelo Gemini:

   

3. Selecione um cartão de sugestão.

   1. Opcional: para visualizar o resultado do card de sugestão, clique em Visualizar.
   2. Opcional: para modificar o card de sugestão usando linguagem natural, clique em Editar.

4. Clique em Aplicar.

Adicionar etapas com linguagem natural ou expressões SQL

Se as sugestões atuais não atenderem às suas necessidades, adicione uma etapa. Escolha colunas ou um tipo de etapa e descreva o que você quer usando linguagem natural.

Adicionar uma transformação

1. Na visualização de dados ou de esquema, escolha a opção Transformar. Você também pode escolher colunas ou adicionar exemplos para ajudar o Gemini a entender sua transformação de dados.
2. No campo Descrição, insira um comando, como Convert the state column to uppercase.

3. Clique em enviar Enviar.

   O Gemini gera uma expressão SQL e uma nova descrição com base no seu comando.

4. Na lista Coluna de destino, selecione ou insira um nome de coluna.

5. Opcional: para atualizar a expressão SQL, revise o comando e clique em send Enviar ou insira uma expressão SQL manualmente.

6. Opcional: clique em Visualizar e revise a etapa.

7. Clique em Aplicar.

Nivelar colunas JSON

É possível simplificar os dados JSON de uma fonte durante a preparação de dados. Esse processo, chamado de nivelamento, extrai todos os pares de chave-valor das colunas JSON de uma só vez e os transforma em colunas próprias na tabela. Isso ajuda quando você precisa facilitar a análise de estruturas JSON complexas ou combiná-las com outros dados.

O Gemini para BigQuery sugere operações que extraem campos apenas do nível superior do JSON. Se esses campos extraídos contiverem mais objetos JSON, você poderá nivelá-los em etapas adicionais para acessar o conteúdo.

1. Na visualização de dados de uma tabela de origem JSON, escolha uma coluna ou células.
2. Clique em Flatten para gerar sugestões.
3. Opcional: para atualizar a expressão SQL, insira uma expressão SQL manualmente.
4. Opcional: clique em Visualizar e revise a etapa.
5. Clique em Aplicar.

O achatamento tem os seguintes comportamentos:

• A opção Flatten aparece na visualização de dados depois que você seleciona células ou colunas que contêm JSON. Ele não aparece por padrão quando você clica em Adicionar etapa.
• Se uma chave JSON não estiver presente nas linhas selecionadas, a sugestão gerada não vai conter essa chave. Esse problema pode fazer com que algumas colunas sejam omitidas quando os dados são simplificados.
• Se os nomes de coluna entrarem em conflito durante o nivelamento, os nomes repetidos vão terminar neste formato: _<i>. Por exemplo, se já houver uma coluna chamada address, o novo nome da coluna simplificada será address_1.
• Os nomes de colunas simplificados seguem as convenções de nomenclatura de colunas do BigQuery.
• Se você deixar o campo da chave JSON vazio, o formato padrão do nome da coluna será f<i>_.

Filtrar linhas

Para adicionar um filtro que remove linhas, siga estas etapas:

1. Na visualização de dados ou de esquema, escolha a opção Filtrar. Você também pode escolher colunas para ajudar o Gemini a entender seu filtro de dados.
2. No campo Descrição, insira um comando, como Column ID should not be NULL.
3. Clique em Gerar. O Gemini gera uma expressão SQL e uma nova descrição com base no seu comando.
4. Opcional: para atualizar a expressão SQL, revise o comando e clique em send Enviar ou insira uma expressão SQL manualmente.
5. Opcional: clique em Visualizar e revise a etapa.
6. Clique em Aplicar.

Formato da expressão de filtro

As expressões SQL para filtros retêm as linhas que correspondem à condição especificada. Isso é equivalente a uma instrução SELECT … WHERE SQL_EXPRESSION.

Por exemplo, para reter registros em que a coluna year é maior ou igual a 2000, a condição é year >= 2000.

As expressões precisam seguir a sintaxe SQL do BigQuery para a cláusula WHERE.

Configurar a tabela de erros e adicionar uma regra de validação

É possível adicionar um filtro que cria uma regra de validação, que envia erros para uma tabela de erros ou falha na execução da preparação de dados.

Configurar a tabela de erros

Para configurar sua tabela de erros, siga estas etapas:

1. No editor de preparação de dados, acesse a barra de ferramentas e clique em Mais > Tabela de erros.
2. Clique em Ativar tabela de erros.
3. Defina o local da tabela.
4. Opcional: defina uma duração máxima para manter os erros.
5. Clique em Salvar.

Adicionar uma regra de validação

Para adicionar uma regra de validação, siga estas etapas:

1. Na visualização de dados ou de esquema, clique na opção Filtrar. Você também pode escolher colunas para ajudar o Gemini a entender seu filtro de dados.
2. Insira uma descrição para a etapa.
3. Insira uma expressão SQL na forma de uma cláusula WHERE.
4. Opcional: se você quiser que a expressão SQL funcione como uma regra de validação, marque a caixa de seleção As linhas de validação com falhas vão para a tabela de erros. Você também pode mudar um filtro para uma validação na barra de ferramentas de preparação de dados clicando em Mais > Tabela de erros.
5. Opcional: clique em Visualizar e revise a etapa.
6. Clique em Aplicar.

Excluir uma coluna

Para excluir uma ou mais colunas de uma preparação de dados, siga estas etapas:

1. Na visualização de dados ou esquema, selecione as colunas que você quer descartar.
2. Clique em Abandonar. Uma nova etapa aplicada é adicionada para as colunas excluídas.

Adicionar uma operação de junção com o Gemini

Para adicionar uma etapa de operação de junção entre duas fontes na preparação de dados, siga estas etapas:

1. Na visualização de dados de um nó na preparação de dados, acesse a lista Sugestões e clique na opção Junção.
2. Na caixa de diálogo Adicionar junção, clique em Procurar e selecione a outra tabela envolvida na operação de junção (referida como o lado direito da junção).
3. Opcional: selecione o tipo de operação de junção que você quer realizar, como Junção interna.

4. Revise as informações da chave de junção geradas pelo Gemini nos seguintes campos:

   • Descrição da junção: a descrição em linguagem natural da expressão SQL para a operação de junção. Quando você edita essa descrição e clica em enviar Enviar, o Gemini sugere novas condições de junção SQL.

   • Condições de junção: as expressões SQL na cláusula ON para a operação de junção. Você pode usar os qualificadores L e R para se referir às tabelas de origem à esquerda e à direita, respectivamente. Por exemplo, para mesclar a coluna customer_id da tabela à esquerda com a coluna customer_id da tabela à direita, insira L.customerId = R.customerId. Esses qualificadores não diferenciam maiúsculas de minúsculas.

5. Opcional: para refinar as sugestões do Gemini, edite o campo Descrição da participação e clique em enviar Enviar.

6. Opcional: para visualizar as configurações da operação de junção do preparo de dados, clique em Visualizar.

7. Clique em Aplicar.

   A etapa de operação de junção é criada. A tabela de origem selecionada (o lado direito da junção) e a operação de junção são refletidas na lista de etapas aplicadas e nos nós na visualização de gráfico do preparo de dados.

Adicionar ou mudar uma tabela de destino

Para adicionar ou mudar uma tabela de destino para a saída da preparação de dados, siga estas etapas:

1. Na visualização de dados ou de esquema, escolha a opção Destino.
2. Selecione o projeto em que a tabela de destino está armazenada.
3. Selecione um dos conjuntos de dados ou carregue um novo.
4. Insira uma tabela de destino. Se a tabela não existir, a preparação de dados vai criar uma nova na primeira execução. Para mais informações, consulte Modo de gravação.
5. Selecione seu conjunto de dados como o conjunto de dados de destino.
6. Clique em Salvar.

Conferir a amostra de dados e o esquema de uma etapa aplicada

Para conferir detalhes de amostra e esquema em uma etapa específica da preparação de dados, faça o seguinte:

1. No editor de preparação de dados, acesse a lista Etapas e clique em Etapas aplicadas.
2. Selecione uma etapa. As guias Dados e Esquema aparecem, mostrando a amostra de dados e o esquema desta etapa específica.

Editar uma etapa aplicada

Para editar uma etapa aplicada, faça o seguinte:

1. No editor de preparação de dados, acesse a lista Etapas e clique em Etapas aplicadas.
2. Selecione uma etapa.
3. Ao lado da etapa, clique em more_vert Menu > Editar.
4. Na caixa de diálogo Editar etapa aplicada, você pode fazer o seguinte:
   • Edite a descrição da etapa.
   • Para receber sugestões do Gemini, edite a descrição e clique em enviar Enviar.
   • Edite a expressão SQL.
5. No campo Coluna de destino, selecione uma coluna.
6. Opcional: clique em Visualizar e revise a etapa.
7. Clique em Aplicar.

Excluir uma etapa aplicada

Para excluir uma etapa aplicada, faça o seguinte:

1. No editor de preparação de dados, acesse a lista Etapas e clique em Etapas aplicadas.
2. Selecione uma etapa.
3. Clique em more_vert Menu > Excluir.

Executar a preparação de dados

Depois de adicionar as etapas de preparação de dados, configurar o destino e corrigir os erros de validação, é possível fazer testes em uma amostra dos dados ou implantar as etapas e programar execuções de preparação de dados. Para mais informações, consulte Programar preparações de dados.

Atualizar exemplos de preparação de dados

Os dados na amostra não são atualizados automaticamente. Se os dados nas tabelas de origem para o preparo de dados tiverem mudado, mas as mudanças não forem refletidas na amostra de dados do preparo, clique em Mais > Atualizar amostra.

A seguir

• Saiba como programar preparações de dados.
• Saiba mais sobre como gerenciar preparações de dados.
• Saiba mais sobre as cotas e os limites do Gemini no BigQuery.
• Confira os preços do Gemini no BigQuery.