Blocos do Looker

Os blocos do Looker são modelos de dados pré-criados para padrões analíticos e origens de dados comuns. Reutilize o trabalho que outras pessoas já fizeram em vez de começar do zero e, em seguida, personalize os blocos de acordo com as suas especificações exatas. De padrões SQL otimizados a modelos de dados totalmente integrados, os blocos do Looker podem ser usados como ponto de partida para uma modelagem de dados rápida e flexível no Looker.

Pode obter blocos para personalizar e adicionar à sua instância do Looker a partir de várias origens, incluindo as seguintes:

  • O mercado do Looker autónomo, onde pode procurar blocos e aceder ao respetivo código fonte.
  • O mercado do Looker acessível a partir da sua instância do Looker. A partir deste mercado, pode procurar e instalar blocos do Looker, denominados "modelos", diretamente na sua instância do Looker. Consulte a página de documentação Usar o Looker Marketplace para mais informações sobre a instalação de ferramentas a partir do Looker Marketplace.

Tipos de blocos do Looker

Os blocos do Looker oferecem várias capacidades, como as seguintes:

  • Os blocos de dados, que incluem conjuntos de dados públicos e modelos LookML completos, requerem a cópia do modelo LookML de um repositório do GitHub para aceder às tabelas modeladas. Estes blocos não são personalizáveis. Consulte a secção Usar blocos de dados nesta página para ver instruções detalhadas.

  • As aplicações de recolha de dados, como o Segment e o Snowplow, monitorizam eventos num formato relativamente padronizado. Isto permite criar padrões de design baseados em modelos, capazes de limpeza, transformação e estatísticas de dados, que podem ser usados por qualquer cliente que use estas aplicações.

  • Outras aplicações Web, como o Salesforce, permitem-lhe adicionar campos personalizados para os seus utilizadores internos. Naturalmente, isto cria dados num formato menos padronizado. Como resultado, podemos criar modelos de parte do modelo de dados para começar a usar as estatísticas, mas tem de personalizar a parte não padronizada.

  • Também existem blocos para estatísticas gerais da empresa. Estes blocos são padrões de design SQL ou LookML otimizados que são independentes da origem de dados. Por exemplo, muitas empresas querem analisar o valor do cliente ao longo do tempo. Existem algumas suposições incorporadas nestes padrões, mas podem ser personalizadas para corresponder às necessidades específicas da sua empresa. Estes padrões refletem o ponto de vista do Looker sobre a melhor forma de realizar determinados tipos de análise.

Os blocos do Looker são exploráveis no diretório da instância pública do Looker Marketplace em marketplace.looker.com.

Instalar um bloco do Looker

Para instalar um bloco do Looker a partir do Marketplace associado à sua instância do Looker, siga as instruções sobre como instalar uma ferramenta a partir do Marketplace.

Para instalar um bloco do Looker a partir de marketplace.looker.com, siga as instruções no código-fonte do bloco.

Cada bloco do Looker tem instruções de utilização específicas.

Normalização e personalização

O grau de personalização do seu bloco pode depender do nível de padronização do esquema da base de dados. A maioria dos blocos do Looker requer alguma personalização para se ajustar ao seu esquema de dados.

Alguns blocos demonstram explorações e visualizações no mesmo ficheiro. Isto destina-se a facilitar a visualização, mas, em geral, é recomendável copiar as secções adequadas do LookML para os locais adequados no seu modelo de dados. Consulte a página de documentação Tipos de ficheiros num projeto LookML para mais informações.

Em alguns casos, pode ter de criar novos ficheiros LookML no seu modelo de dados para alojar os exemplos.

Usar blocos de dados

Os blocos de dados são um tipo especial de bloco do Looker que fornece o conjunto de dados, bem como o modelo de dados. Os blocos de dados incluem origens de dados públicas, como:

  • Dados demográficos: métricas demográficas comuns do American Community Survey ao nível do estado, do condado, da área de tabulação do código postal e até do grupo de blocos de recenseamento.
  • Dados meteorológicos: relatórios meteorológicos nos Estados Unidos ao nível do código postal de 1920 até ao dia anterior. Este bloco é atualizado todas as noites.

O procedimento para aceder ao conjunto de dados de um bloco de dados varia consoante o esquema da base de dados. As secções seguintes contêm instruções para aceder a conjuntos de dados nestas bases de dados:

Aceder a conjuntos de dados no Google BigQuery

Se tiver uma conta do Google BigQuery, pode aceder aos conjuntos de dados alojados no BigQuery do Looker. Avançar para a secção Adicionar blocos de dados a projetos nesta página.

Se ainda não tiver uma conta do Google BigQuery, pode configurar uma avaliação gratuita e, em seguida, aceder aos conjuntos de dados públicos do Looker no BigQuery.

Aceder a conjuntos de dados noutras bases de dados

Os dados transformados para conjuntos de dados do Amazon Redshift, MySQL, PostgreSQL ou Oracle estão disponíveis publicamente no Google Cloud serviço e no S3 para que os possa importar diretamente para a base de dados da sua escolha.

Também disponibilizámos a linguagem de definição de dados (LDD) para cada um dos conjuntos de dados no repositório do GitHub. As declarações DDL podem ter de ser modificadas para os tipos de dados na base de dados selecionada, mas devem dar uma ideia dos tipos de colunas para cada tabela.

Transfira dados diretamente de uma destas localizações:

Aceder ao modelo do LookML

Divida um dos nossos repositórios do GitHub num novo repositório do GitHub (alojado pelo Looker ou pela sua empresa) que pode expandir ou refinar na sua instância:

Adicionar blocos de dados a projetos

Além do método descrito nesta secção, também pode usar refinamentos do LookML para criar com base no LookML de vistas e Explorações nos seus projetos.

Para adicionar um bloco de dados ao seu projeto:

  1. Adicione um novo projeto à sua instância do Looker.

  2. Crie um fork ou copie os repositórios do GitHub mencionados anteriormente para aceder ao LookML pré-criado. Certifique-se de que cria um novo repositório do GitHub.

  3. Remova outros ficheiros de dialeto da base de dados do repositório. Normalmente, os blocos do Looker contêm ficheiros para o Google BigQuery, o Amazon Redshift e o Snowflake. Por exemplo, se estiver a configurar blocos de dados no Google BigQuery, só precisa dos ficheiros de visualização do Google BigQuery, do ficheiro de exploração do Google BigQuery e do ficheiro de modelo do Google BigQuery.

  4. Substitua o nome da associação no ficheiro do modelo pela associação à base de dados onde residem os dados dos blocos de dados. Se estiver a usar o Google BigQuery ou o Snowflake, use a ligação à base de dados a partir da qual vai expandir ou refinar.

    Toda a lógica de junção existe num ficheiro .explore em cada um dos repositórios. Este é o ficheiro que vai incluir nos passos seguintes, depois de configurar o manifesto do projeto.

  5. No seu projeto principal do Looker onde vai expandir ou refinar blocos de dados, crie um ficheiro de manifesto do projeto.

  6. Adicione o seguinte LookML ao ficheiro do manifesto do projeto para referenciar blocos de dados no seu projeto principal do Looker:

    project_name: "<your_project_name\>"

    local_dependency: {
      project: "<project_name_of_datablock\>"
    }

Considerações e opções de configuração

Google BigQuery: certifique-se de que usa o conjunto correto de ficheiros modelados. Se estiver no Google BigQuery, pode querer consultar todos os ficheiros com _bq_ no nome do ficheiro. Pode ter de adaptar os nossos dialetos de modelos do Google BigQuery ao seu próprio dialeto de base de dados.

Extensões: todos os nossos projetos foram configurados para permitir extensões de ficheiros Explore, uma vez que as extensões de modelos podem causar problemas com várias associações.

Juntar tabelas derivadas: recomendamos que consulte a nossa documentação sobre tabelas derivadas nativas. Pode permitir que o Looker escreva SQL por si a diferentes níveis de agregação nos nossos conjuntos de dados disponíveis publicamente e juntá-los ao seu modelo.

Unir conjuntos de resultados: também pode optar por unir conjuntos de resultados dos nossos conjuntos de dados com os seus dados combinando conjuntos de resultados de consultas.

Exemplo de configuração do conjunto de dados demográficos

  1. Aceda aos dados transferindo dados não processados dos nossos contentores de serviços ou do S3, ou estabelecendo ligação a uma base de dados do Looker. Google Cloud

  2. Importe o modelo Demographic Data Block do LookML como um projeto separado na sua instância do Looker.

  3. Use o parâmetro include para importar o ficheiro de visualização.

  4. Em seguida, expanda ou refine o ficheiro de visualização, ou use tabelas derivadas nativas para obter dados ao nível de agregação necessário para as explorações.

    No nosso exemplo, uma vez que os dados demográficos estão a um nível de agregação diferente do nosso conjunto de dados de comércio eletrónico (grupo de blocos versus código postal), usamos tabelas derivadas incorporadas para agregar estatísticas até ao nível do código postal. Isto elimina as junções confusas de muitos para muitos:

      include: "/american_community_survey/bq.explore"

  view: zipcode_income_facts {
    derived_table: {
      persist_for: "10000 hours"
      explore_source: fast_facts {
        column: ZCTA5 { field: tract_zcta_map.ZCTA5 }
        column: income_household { field: bg_facts.avg_income_house }
        column: total_population { field: bg_facts.total_population }
      }
    }
    dimension: ZCTA5 {}
    dimension: income_household {
      hidden: yes
    }

  5. Junte ficheiros de visualização ao modelo:

      include: "acs*.view"

  explore: order_items {
    join: users {
      sql_on: ${users.id} = ${order_items.user_id} ;;
      type: left_outer
      relationship: many_to_one
    }

    join: zipcode_income_facts {
      sql_on: ${users.zip} = ${zipcode_income_facts.ZCTA5} ;;
      type: left_outer
      relationship: many_to_one
    }
  }

  6. Explore e visualize os dados.