Apache Hive

Esta página contém informações sobre como conectar o Looker ao Apache Hive 2.3+ e ao Apache Hive 3.1.2+.

Observe o seguinte sobre o suporte do Looker para as diferentes versões do Apache Hive:

• O Looker é compatível com conexões ao Apache Hive 2.3 e versões mais recentes e ao Apache Hive 3.1.2 e versões mais recentes.
• Para o Apache Hive 3.1.2 e versões mais recentes, o Looker só pode se integrar totalmente aos bancos de dados do Apache Hive 3 em versões posteriores a 3.1.2. Isso ocorre devido a um problema de análise de consultas nas versões 2.4.0 a 3.1.2 do Hive, que resultou em tempos de análise extremamente longos para o SQL gerado pelo Looker.
• O Looker não é compatível com conexões ao Apache Hive 2. As consultas em conexões com o Apache Hive 2 vão retornar um erro.

Criptografar o tráfego de rede

É uma prática recomendada criptografar o tráfego de rede entre o aplicativo Looker e seu banco de dados. Considere uma das opções descritas na página de documentação Como ativar o acesso seguro ao banco de dados.

Introdução

O Looker foi projetado para se conectar a um servidor de banco de dados usando JDBC. No caso do Hive, esse é o servidor thrift (HiveServer2). Consulte a documentação do Apache para mais informações.

Por padrão, esse servidor detecta a porta 10000.

O Looker é uma ferramenta de consulta interativa, então ele espera trabalhar com um mecanismo SQL interativo. Se o Hive estiver sendo executado no MapReduce (hive.execution.engine definido como mr), ele vai retornar os resultados da consulta muito lentamente para ser prático.

O Looker foi testado com o Hive no Tez (hive.execution.engine=tez), mas também é possível executar o Looker com o Hive no Spark. O suporte ao Spark foi adicionado na versão 1.1 do Hive. O Looker é compatível com o Hive 1.2.1 e versões mais recentes.

Tabelas derivadas persistentes (PDTs)

Para ativar as tabelas derivadas permanentes (TDPs) no Looker usando uma conexão do Hive, crie um esquema temporário para o Looker usar. Confira a seguir um exemplo de comando que pode ser usado para criar um esquema looker_scratch:

 CREATE SCHEMA looker_scratch;

A conta de usuário que o Looker usa para se conectar ao Hive (que pode ser anônima se nenhuma autenticação for usada) precisa ter as seguintes capacidades no esquema temporário:

• crie tabelas
• Alterar tabelas
• Remover tabelas

Teste com um cliente JDBC antes de tentar criar PDTs com o Hive.

Filas

Se você quiser que as consultas do Looker entrem em uma fila específica, insira o parâmetro de nome da fila no campo Parâmetros JDBC adicionais na página Configurações de conexão:

?tez.queue.name=the_bi_queue

Outros parâmetros do Hive podem ser definidos dessa forma no campo Parâmetros JDBC adicionais na página Configurações de conexão.

Com os atributos do usuário, é possível que consultas de usuários ou grupos diferentes sejam colocadas em filas diferentes. Para fazer isso, crie um atributo de usuário com um nome como queue_name e, no campo Outros parâmetros JDBC, adicione o seguinte:

?tez.queue.name={{ _user_attributes['queue_name'] }}

Você também pode usar isso para personalizar outros parâmetros hive-site.xml por usuário ou grupo.

Criar a conexão do Looker com seu banco de dados

Siga estas etapas para criar a conexão do Looker com seu banco de dados:

1. Na seção Administrador do Looker, selecione Conexões e clique em Adicionar conexão.

2. Selecione Apache Hive 2.3+ ou Apache Hive 3.1.2+ no menu suspenso Dialeto.

3. Preencher os detalhes de conexão. A maioria das configurações é comum para a maioria dos dialetos de banco de dados. Consulte a página de documentação Conectar o Looker ao seu banco de dados para mais informações. Algumas das configurações são descritas a seguir:

   • Nome: especifique o nome da conexão. É assim que você vai se referir à conexão nos projetos do LookML.
   • Host: especifique o nome do host.
   • Porta: especifique a porta do banco de dados.
   • Banco de dados: especifique o nome do banco de dados.
   • Nome de usuário: especifique o nome de usuário do banco de dados.
   • Senha: especifique a senha do usuário do banco de dados.
   • Ativar TDPs: use essa opção para ativar as tabelas derivadas persistentes. Quando as TDPs estão ativadas, a janela Conexão revela outras configurações de TDP e a seção Substituições de TDP.
   • Banco de dados temporário: especifique o nome do esquema temporário criado na seção Tabelas derivadas permanentes (PDTs) desta página de documentação.
   • Número máximo de conexões do builder da TDP: especifique o número de builds simultâneos possíveis de TDP nessa conexão. Definir esse valor muito alto pode afetar negativamente os tempos de consulta. Para mais informações, consulte a página de documentação Conectar o Looker ao seu banco de dados.
   • Parâmetros JDBC adicionais: especifique outros parâmetros de string JDBC.
   • Programação de manutenção: especifique uma expressão cron que indica quando o Looker deve verificar os grupos de dados e as tabelas derivadas persistentes. Leia mais sobre essa configuração na documentação Programação de manutenção.
   • SSL: marque para usar conexões SSL.
   • Verificar SSL: verifique se há verificação de nome de host.
   • Máximo de conexões por nó: essa configuração pode ser deixada com o valor padrão inicialmente. Consulte a página de documentação Como conectar o Looker ao seu banco de dados para mais informações.
   • Tempo limite do pool de conexões: essa configuração pode ser deixada com o valor padrão inicialmente. Leia mais sobre essa configuração na seção Tempo limite do pool de conexões da página de documentação Como conectar o Looker ao seu banco de dados.
   • Pré-cache do SQL Runner: para que o SQL Runner não pré-carregue informações de tabela e carregue apenas quando uma tabela for selecionada, desmarque essa opção. Leia mais sobre essa configuração na seção Pré-cache do SQL Runner da página de documentação Conectar o Looker ao seu banco de dados.
   • Fuso horário do banco de dados: especifique o fuso horário usado no banco de dados. Deixe esse campo em branco se não quiser a conversão de fuso horário. Consulte a página de documentação Como usar as configurações de fuso horário para mais informações.

4. Para verificar se a conexão foi bem-sucedida, clique em Testar. Consulte a página de documentação Testar a conectividade do banco de dados para informações sobre solução de problemas.

5. Para salvar essas configurações, clique em Conectar.

Suporte a recursos

Para que o Looker ofereça suporte a alguns recursos, o dialeto do banco de dados também precisa ser compatível com eles.

Apache Hive 2.3 ou mais recente

O Apache Hive 2.3 e versões mais recentes são compatíveis com os seguintes recursos a partir do Looker 25.10:

Apache Hive 3.1.2 ou mais recente

O Apache Hive 3.1.2+ é compatível com os seguintes recursos a partir do Looker 25.10:

Próximas etapas

Depois de conectar seu banco de dados ao Looker, configure as opções de login para seus usuários.