Configurare set di dati esterni

Questa pagina descrive un passaggio facoltativo per configurare set di dati esterni per il deployment di Data Foundation di Cortex Framework. Alcuni casi d'uso avanzati potrebbero richiedere set di dati esterni per integrare un sistema di record aziendale. Oltre alle piattaforme di scambio pubblicitario esterne utilizzate dalla condivisione BigQuery (in precedenza Analytics Hub), alcuni set di dati potrebbero richiedere metodi personalizzati o su misura per importare i dati e unirli ai modelli di report.

Per attivare i seguenti set di dati esterni, imposta k9.deployDataset su True se vuoi che il set di dati venga disegnato.

Configura i grafici diretti aciclici (DAG) per i set di dati esterni supportati volgendo i seguenti passaggi:

  1. Calendario delle festività: questo DAG recupera le date speciali da PyPi Holidays.

    1. Modifica l'elenco dei paesi, l'elenco degli anni e altri parametri DAG per recuperare le festività in holiday_calendar.ini.

  2. Tendenze: questo DAG recupera l'interesse nel tempo per un insieme specifico di termini da Tendenze della Ricerca Google. I termini possono essere configurati in trends.ini.

    1. Dopo un'esecuzione iniziale, modifica start_date in 'today 7-d' in trends.ini.
    2. Acquisisci familiarità con i risultati provenienti dai diversi termini per regolare i parametri.
    3. Consigliamo di suddividere gli elenchi di grandi dimensioni in più copie di questo DAG in esecuzione in momenti diversi.
    4. Per ulteriori informazioni sulla libreria di base utilizzata, consulta Pytrends.

  3. Meteo: per impostazione predefinita, questo DAG utilizza il set di dati di test BigQuery-public-data.geo_openstreetmap.planet_layers disponibile pubblicamente. La query si basa anche su un set di dati NOAA disponibile solo tramite la condivisione: noaa_global_forecast_system.

    Questo set di dati deve essere creato nella stessa regione degli altri set di dati prima di eseguire il deployment. Se i set di dati non sono disponibili nella tua regione, puoi continuare con le seguenti istruzioni per trasferire i dati nella regione scelta:

    1. Vai a BigQuery Analytics Hub.
    2. Fai clic su Ricerca schede.
    3. Cerca NOAA Global Forecast System.
    4. Fai clic su Aggiungi set di dati al progetto.
    5. Quando richiesto, mantieni noaa_global_forecast_system come nome del set di dati. Se necessario, modifica il nome del set di dati e della tabella nelle clausole FROM in weather_daily.sql.
    6. Ripeti la ricerca della scheda per il set di dati OpenStreetMap Public Dataset.
    7. Modifica le clausole FROM contenenti: BigQuery-public-data.geo_openstreetmap.planet_layers in postcode.sql.

  4. Approfondimenti su sostenibilità ed ESG: Cortex Framework combina i dati sul rendimento dei fornitori SAP con approfondimenti ESG avanzati per confrontare in modo più olistico il rendimento, la sostenibilità e i rischi di esecuzione delle operazioni globali. Per ulteriori informazioni, consulta l'origine dati Dun & Bradstreet.

Considerazioni generali

  • La condivisione è supportata solo nelle località dell'UE e degli Stati Uniti e alcuni set di dati, come la previsione globale del NOAA, sono offerti solo in una singola località multipla.

    Se scegli come target una località diversa da quella disponibile per il set di dati richiesto, ti consigliamo di creare una query pianificata per copiare i nuovi record dal set di dati collegato alla condivisione, seguita da un servizio di trasferimento per copiare i nuovi record in un set di dati situato nella stessa località o regione del resto del deployment. Poi devi modificare i file SQL.

  • Prima di copiare questi DAG in Cloud Composer, aggiungi i moduli Python richiesti come dipendenze:

    Required modules:
pytrends~=4.9.2
holidays