Looker Blocks

I Looker Blocks sono modelli di dati predefiniti per pattern di analisi e origini dati comuni. Consentono di riutilizzare il lavoro già svolto da altri invece di partire da zero, personalizzando poi i blocchi in base alle esatte specifiche. Da pattern SQL ottimizzati a modelli dei dati completamente strutturati, i Looker Blocks possono essere un punto di partenza per una modellazione rapida e flessibile dei dati in Looker.

Puoi ottenere i blocchi da personalizzare e aggiungere alla tua istanza Looker da varie fonti, tra cui:

  • Looker Marketplace autonomo, in cui puoi cercare i blocchi e accedere al relativo codice sorgente.
  • Looker Marketplace accessibile dalla tua istanza Looker. In questo Marketplace puoi sfogliare e installare i Looker Blocks, chiamati "modelli", direttamente nella tua istanza di Looker. Per ulteriori informazioni sull'installazione degli strumenti da Looker Marketplace, consulta la pagina della documentazione Utilizzo di Looker Marketplace.

Tipi di blocchi Looker

I blocchi di Looker offrono una serie di funzionalità, ad esempio:

  • Per i blocchi di dati, che includono sia set di dati pubblici che modelli LookML completi, è necessario copiare il modello LookML da un repository GitHub per accedere alle tabelle modellate. Questi blocchi non sono personalizzabili. Per istruzioni dettagliate, consulta Uso dei blocchi di dati in questa pagina.

  • Le applicazioni di raccolta dati, come Segment e Snowplow, tengono traccia degli eventi in un formato relativamente standardizzato. Questo consente di creare pattern di progettazione modellizzati, in grado di supportare la pulizia, la trasformazione e l'analisi dei dati e disponibili per qualsiasi cliente utilizzi queste applicazioni.

  • Altre applicazioni web, come Salesforce, consentono di aggiungere campi personalizzati per gli utenti interni. Naturalmente, questo produce dati in un formato meno standardizzato. Ne consegue che, da parte nostra, possiamo modellizzare parte del modello dei dati per consentire l'analisi, ma sarà necessario provvedere a personalizzare la porzione non standardizzata.

  • Sono disponibili anche blocchi per gli insight aziendali in generale. Questi blocchi sono pattern di progettazione SQL o LookML ottimizzati e indipendenti dall'origine dati. Ad esempio, molte società vogliono analizzare il lifetime value di un cliente nel corso del tempo. Questi pattern si basano su alcuni presupposti incorporati, ma possono essere personalizzati per soddisfare esigenze aziendali specifiche. I pattern riflettono il punto di vista di Looker su quale sia il modo migliore per svolgere determinati tipi di analisi.

I Looker Blocks sono sfogliabili nella directory dell'istanza pubblica di Looker Marketplace all'indirizzo marketplace.looker.com.

Installare un blocco Looker

Per installare un Looker Block dal Marketplace associato alla tua istanza di Looker, segui le istruzioni per installare uno strumento dal Marketplace.

Per installare un blocco Looker da marketplace.looker.com, segui le istruzioni nel codice sorgente del blocco.

Ogni blocco Looker ha istruzioni per l'uso specifiche.

Standardizzazione e personalizzazione

Il grado di personalizzazione del blocco può dipendere dal livello di standardizzazione dello schema del database. La maggior parte dei Looker Blocks richiede un certo grado di personalizzazione per adattarsi allo schema dei dati.

Alcuni blocchi mostrano sia le esplorazioni che le visualizzazioni nello stesso file. Questo per facilitare la visualizzazione, ma in generale ti consigliamo di copiare le sezioni appropriate di LookML nei punti appropriati del modello dei dati. Per ulteriori informazioni, consulta la pagina della documentazione Tipi di file in un progetto LookML.

In alcuni casi, potrebbe essere necessario creare nuovi file LookML nel modello dei dati per ospitare gli esempi.

Utilizzo dei blocchi di dati

I blocchi di dati sono un tipo speciale di Looker Block che fornisce sia il set di dati che il modello dei dati. I blocchi di dati includono origini dati pubbliche, tra cui:

  • Dati demografici: metriche demografiche comuni dell'American Community Survey a livello di stato, contea, codice postale e perfino di isolato.
  • Dati meteorologici: report sul meteo negli Stati Uniti a livello di codice postale, dal 1920 al giorno precedente. Questo blocco viene aggiornato ogni notte.

La procedura per accedere al set di dati di un blocco di dati varia a seconda dello schema del database. Le sezioni seguenti contengono istruzioni per accedere ai set di dati su questi database:

Accesso ai set di dati su Google BigQuery

Se hai un account Google BigQuery esistente, puoi accedere ai set di dati ospitati da BigQuery di Looker. Vai direttamente alla sezione Aggiungere blocchi di dati ai progetti in questa pagina.

Se non hai ancora un account Google BigQuery, puoi configurare una prova gratuita e poi accedere ai set di dati pubblici di Looker su BigQuery.

Accesso ai set di dati su altri database

I dati trasformati per i set di dati Amazon Redshift, MySQL, PostgreSQL o Oracle sono disponibili pubblicamente sia in Google Cloud Service che in S3, in modo da poterli importare direttamente nel database di tua scelta.

Abbiamo anche reso disponibile il linguaggio DDL (Data Definition Language) per ciascun set di dati nel repository GitHub. Le istruzioni DDL potrebbero dover essere modificate per i tipi di dati nel database selezionato, ma dovrebbero fornire un'idea dei tipi di colonne per ogni tabella.

Scarica i dati direttamente da una di queste posizioni:

Accesso al modello LookML

Crea un fork di uno dei nostri repository GitHub in un nuovo repository GitHub (ospitato da Looker o dalla tua azienda) che puoi poi estendere o ottimizzare all'interno della tua istanza:

Aggiungere blocchi di dati ai progetti

Oltre al metodo descritto in questa sezione, puoi anche utilizzare i miglioramenti di LookML per basarti sul codice LookML di viste ed esplorazioni nei tuoi progetti.

Per aggiungere un blocco di dati al tuo progetto:

  1. Aggiungi un nuovo progetto alla tua istanza di Looker.

  2. Crea un fork o copia i repository GitHub menzionati in precedenza per accedere a LookML precompilato. Assicurati di creare un nuovo repository GitHub.

  3. Rimuovi gli altri file di dialetto del database dal repository. I blocchi di Looker in genere contengono file per Google BigQuery, Amazon Redshift e Snowflake. Ad esempio, se stai configurando i blocchi di dati su Google BigQuery, avrai bisogno solo dei file di visualizzazione di Google BigQuery, del file di esplorazione di Google BigQuery e del file del modello Google BigQuery.

  4. Sostituisci il nome della connessione nel file del modello con la connessione al database in cui si trovano i dati per i blocchi di dati. Se utilizzi Google BigQuery o Snowflake, utilizza la connessione al database da cui estenderai o perfezionerai.

    Tutta la logica di unione esiste in un file .explore in ciascuno dei repository. Questo è il file che includerai nei passaggi successivi, dopo aver configurato il manifest del progetto.

  5. Nel progetto Looker principale in cui estenderai o perfezionerai i blocchi di dati, crea un file manifest del progetto.

  6. Aggiungi il seguente codice LookML al file manifest del progetto per fare riferimento ai blocchi di dati nel progetto Looker principale:

    project_name: "<your_project_name\>"

    local_dependency: {
      project: "<project_name_of_datablock\>"
    }

Considerazioni e opzioni di configurazione

Google BigQuery: assicurati di utilizzare il set corretto di file modellati. Se utilizzi Google BigQuery, ti consigliamo di fare riferimento a tutti i file con _bq_ nel nome file. Potresti dover adattare i dialetti del nostro modello Google BigQuery al dialetto del tuo database.

Estensioni: tutti i nostri progetti sono stati configurati per consentire le estensioni dai file Esplora, poiché le estensioni del modello potrebbero causare problemi con più connessioni.

Unione di tabelle derivate: ti consigliamo di consultare la nostra documentazione sulle tabelle derivate native. Puoi consentire a Looker di scrivere SQL per te a diversi livelli di aggregazione nei nostri set di dati disponibili pubblicamente e unirli al tuo modello.

Unione dei set di risultati: puoi anche scegliere di unire i set di risultati dei nostri set di dati con i tuoi dati combinando i set di risultati delle query.

Configurazione di esempio del set di dati demografici

  1. Accedi ai dati scaricando i dati non elaborati dai nostri bucket S3 o Google Cloud Service oppure connettendoti a un database Looker.

  2. Importa il modello Blocco di dati demografici da LookML come progetto separato nell'istanza di Looker.

  3. Utilizza il parametro include per importare il file della visualizzazione.

  4. Quindi, estendi o ottimizza il file di visualizzazione oppure utilizza le tabelle derivate native per ottenere i dati al livello di aggregazione necessario per le esplorazioni.

    Nel nostro esempio, poiché i dati demografici si trovano a un livello di aggregazione diverso rispetto al nostro set di dati di e-commerce (isolato rispetto al codice postale), utilizziamo tabelle derivate integrate per aggregare le statistiche fino al livello del codice postale. In questo modo si eliminano le unioni molti-a-molti complesse:

      include: "/american_community_survey/bq.explore"

  view: zipcode_income_facts {
    derived_table: {
      persist_for: "10000 hours"
      explore_source: fast_facts {
        column: ZCTA5 { field: tract_zcta_map.ZCTA5 }
        column: income_household { field: bg_facts.avg_income_house }
        column: total_population { field: bg_facts.total_population }
      }
    }
    dimension: ZCTA5 {}
    dimension: income_household {
      hidden: yes
    }

  5. Unire i file di visualizzazione nel modello:

      include: "acs*.view"

  explore: order_items {
    join: users {
      sql_on: ${users.id} = ${order_items.user_id} ;;
      type: left_outer
      relationship: many_to_one
    }

    join: zipcode_income_facts {
      sql_on: ${users.zip} = ${zipcode_income_facts.ZCTA5} ;;
      type: left_outer
      relationship: many_to_one
    }
  }

  6. Esplora e visualize i dati.