Looker Block

Os Looker Blocks são modelos de dados pré-criados para padrões analíticos e fontes de dados comuns. Reutilize o trabalho de outras pessoas em vez de começar do zero e personalize os blocos de acordo com suas especificações exatas. De padrões SQL otimizados a modelos de dados totalmente integrados, os Looker Blocks podem ser usados como ponto de partida para uma modelagem de dados rápida e flexível no Looker.

É possível obter blocos para personalizar e adicionar à sua instância do Looker de várias fontes, incluindo:

  • O Marketplace independente do Looker, onde você pode procurar blocos e acessar o código-fonte deles.
  • O Marketplace do Looker acessível na sua instância do Looker. Nesse Marketplace, é possível navegar e instalar blocos do Looker, chamados de "modelos", diretamente na sua instância do Looker. Consulte a página de documentação Como usar o Looker Marketplace para mais informações sobre a instalação de ferramentas do Looker Marketplace.

Tipos de Looker Blocks

Os blocos do Looker oferecem vários recursos, como:

  • Os blocos de dados, que incluem conjuntos de dados públicos e modelos LookML completos, exigem a cópia do modelo LookML de um repositório do GitHub para acessar as tabelas modeladas. Esses blocos não podem ser personalizados. Consulte Usar blocos de dados nesta página para instruções detalhadas.

  • Os aplicativos de coleta de dados, como Segment e Snowplow, rastreiam eventos em um formato relativamente padronizado. Isso permite criar padrões de design com modelos, capazes de limpeza, transformação e análise de dados, que podem ser usados por qualquer cliente que use esses aplicativos.

  • Outros aplicativos da Web, como o Salesforce, permitem adicionar campos personalizados para seus usuários internos. Naturalmente, isso cria dados em um formato menos padronizado. Como resultado, podemos criar um modelo para alguns dados e colocar a análise em funcionamento, mas você precisará personalizar a parte não padronizada.

  • Há também blocos para insights gerais de negócios. Esses blocos são padrões de design SQL ou LookML otimizados e independentes da fonte de dados. Por exemplo, muitas empresas querem analisar o valor da vida útil de um cliente ao longo do tempo. Há algumas proposições nesses padrões, mas eles podem ser personalizados para atender às necessidades específicas da sua empresa. Esses padrões refletem o ponto de vista do Looker sobre a melhor maneira de realizar determinados tipos de análise.

Os blocos do Looker podem ser pesquisados no diretório da instância pública do Marketplace do Looker em marketplace.looker.com.

Como instalar um Looker Block

Para instalar um bloco do Looker associado à sua instância no Marketplace, siga as instruções sobre como instalar uma ferramenta do Marketplace.

Para instalar um bloco do Looker em marketplace.looker.com, siga as instruções no código-fonte do bloco.

Cada bloco do Looker tem instruções de uso específicas.

Padronização e personalização

O grau de personalização necessário para seu bloco depende do nível de padronização do esquema do banco de dados. A maioria dos blocos do Looker exige alguma personalização para se adequar ao esquema de dados.

Alguns blocos demonstram análises detalhadas e visualizações no mesmo arquivo. Isso é para facilitar a visualização, mas, em geral, você vai querer copiar as seções apropriadas do LookML para os lugares adequados no modelo de dados. Consulte a página de documentação Tipos de arquivos em um projeto do LookML para mais informações.

Em alguns casos, talvez seja necessário criar novos arquivos LookML no modelo de dados para armazenar os exemplos.

Como usar blocos de dados

Os blocos de dados são um tipo especial de bloco do Looker que fornece o conjunto de dados e o modelo de dados. Os blocos de dados incluem fontes públicas, como:

  • Dados demográficos: métricas demográficas comuns da Pesquisa da Comunidade Americana no nível de estado, condado, área de tabulação de CEP e até mesmo grupo de blocos do censo.
  • Dados meteorológicos: relatórios sobre o clima nos Estados Unidos no nível do código postal de 1920 até o dia anterior. Esse bloco é atualizado todas as noites.

O procedimento para acessar o conjunto de dados de um bloco de dados varia de acordo com o esquema do banco de dados. As seções a seguir contêm instruções para acessar conjuntos de dados nesses bancos de dados:

Como acessar conjuntos de dados no Google BigQuery

Se você já tem uma conta do Google BigQuery, pode acessar os conjuntos de dados hospedados no BigQuery do Looker. Pule para a seção Adicionar blocos de dados aos projetos nesta página.

Se você ainda não tiver uma conta do Google BigQuery, configure um teste gratuito e acesse os conjuntos de dados públicos do Looker no BigQuery.

Como acessar conjuntos de dados em outros bancos de dados

Os dados transformados para conjuntos de dados do Amazon Redshift, MySQL, PostgreSQL ou Oracle estão disponíveis publicamente no Google Cloud Service e no S3 para que você possa importá-los diretamente para o banco de dados de sua escolha.

Também disponibilizamos a linguagem de definição de dados (DDL) para cada um dos conjuntos de dados no repositório do GitHub. Talvez seja necessário modificar as instruções DDL para os tipos de dados no banco de dados selecionado, mas elas devem dar uma ideia dos tipos de coluna para cada tabela.

Faça o download dos dados diretamente de um destes locais:

Como acessar o modelo LookML

Bifurque um dos nossos repositórios do GitHub em um novo repositório do GitHub (hospedado pelo Looker ou pela sua empresa) que você pode estender ou refinar na sua instância:

Adicionar blocos de dados a projetos

Além do método descrito nesta seção, você também pode usar os refinamentos do LookML para criar com base no LookML de visualizações e análises detalhadas nos seus projetos.

Para adicionar um bloco de dados ao seu projeto:

  1. Adicione um novo projeto à sua instância do Looker.

  2. Ramifique ou copie os repositórios do GitHub mencionados anteriormente para acessar a LookML pré-criada. Crie um novo repositório do GitHub.

  3. Remova outros arquivos de dialeto do banco de dados do repositório. Os blocos do Looker geralmente contêm arquivos para o Google BigQuery, o Amazon Redshift e o Snowflake. Por exemplo, se você estiver configurando blocos de dados no Google BigQuery, só vai precisar dos arquivos de visualização, de análise detalhada e de modelo do Google BigQuery.

  4. Substitua o nome da conexão no arquivo do modelo pela conexão do banco de dados em que os dados dos blocos de dados estão armazenados. Se você estiver usando o Google BigQuery ou o Snowflake, use a conexão de banco de dados que será estendida ou refinada.

    Toda a lógica de junção está em um arquivo .explore em cada um dos repositórios. Esse é o arquivo que você vai incluir nas etapas a seguir, depois de configurar o manifesto do projeto.

  5. No projeto principal do Looker em que você vai estender ou refinar blocos de dados, crie um arquivo de manifesto do projeto.

  6. Adicione o seguinte LookML ao arquivo de manifesto do projeto para referenciar blocos de dados no seu projeto principal do Looker:

    project_name: "<your_project_name\>"

    local_dependency: {
      project: "<project_name_of_datablock\>"
    }

Considerações e opções de configuração

Google BigQuery: use o conjunto correto de arquivos modelados. Se você estiver no Google BigQuery, talvez queira referenciar todos os arquivos com _bq_ no nome. Talvez seja necessário adaptar nossos dialetos de modelo do Google BigQuery ao seu próprio dialeto de banco de dados.

Extensões: todos os nossos projetos foram configurados para permitir extensões de arquivos de análise detalhada, já que as extensões de modelo podem causar problemas com várias conexões.

Como mesclar tabelas derivadas: consulte nossa documentação sobre tabelas derivadas nativas. Você pode deixar o Looker escrever SQL para você em diferentes níveis de agregação nos nossos conjuntos de dados disponíveis publicamente e uni-los ao seu modelo.

Mesclar conjuntos de resultados: você também pode mesclar conjuntos de resultados dos nossos conjuntos de dados com seus dados combinando conjuntos de resultados de consultas.

Exemplo de configuração do conjunto de dados demográficos

  1. Acesse os dados baixando os dados brutos dos nossos buckets do S3 ou do Google Cloud Service ou conectando-se a um banco de dados do Looker.

  2. Importe o modelo do Bloco de dados demográficos do LookML como um projeto separado na sua instância do Looker.

  3. Use o parâmetro include para trazer o arquivo de visualização.

  4. Em seguida, estenda ou refine o arquivo de visualização ou use tabelas derivadas nativas para receber dados no nível de agregação necessário para as análises detalhadas.

    No nosso exemplo, como os dados demográficos estão em um nível de agregação diferente do conjunto de dados de e-commerce (grupo de blocos x CEP), usamos tabelas derivadas integradas para agregar estatísticas até o nível do CEP. Isso elimina junções confusas de muitos para muitos:

      include: "/american_community_survey/bq.explore"

  view: zipcode_income_facts {
    derived_table: {
      persist_for: "10000 hours"
      explore_source: fast_facts {
        column: ZCTA5 { field: tract_zcta_map.ZCTA5 }
        column: income_household { field: bg_facts.avg_income_house }
        column: total_population { field: bg_facts.total_population }
      }
    }
    dimension: ZCTA5 {}
    dimension: income_household {
      hidden: yes
    }

  5. Combine os arquivos de visualização no modelo:

      include: "acs*.view"

  explore: order_items {
    join: users {
      sql_on: ${users.id} = ${order_items.user_id} ;;
      type: left_outer
      relationship: many_to_one
    }

    join: zipcode_income_facts {
      sql_on: ${users.zip} = ${zipcode_income_facts.ZCTA5} ;;
      type: left_outer
      relationship: many_to_one
    }
  }

  6. Explore e visualize os dados.