Configurar conjuntos de datos externos

En esta página se describe un paso opcional para configurar conjuntos de datos externos para la implementación de Data Foundation de Cortex Framework. En algunos casos prácticos avanzados, puede que se necesiten conjuntos de datos externos para complementar un sistema de registro empresarial. Además de los intercambios externos consumidos desde Compartir de BigQuery (antes Analytics Hub), es posible que algunos conjuntos de datos necesiten métodos personalizados o adaptados para ingerir datos y combinarlos con los modelos de informes.

Para habilitar los siguientes conjuntos de datos externos, asigna el valor True a k9.deployDataset si quieres que se implemente el conjunto de datos.

Configura los gráficos acíclicos dirigidos (DAGs) de los conjuntos de datos externos admitidos siguiendo estos pasos:

1. Calendario de festivos: este DAG obtiene las fechas especiales de PyPi Holidays.

   1. Ajusta la lista de países, la lista de años y otros parámetros de DAG para obtener los festivos de holiday_calendar.ini.

2. Tendencias: este DAG obtiene la métrica Interés a lo largo del tiempo de un conjunto específico de términos de Tendencias de la Búsqueda de Google. Los términos se pueden configurar en trends.ini.

   1. Después de la primera ejecución, ajusta el start_date a 'today 7-d' en trends.ini.
   2. Familiarízate con los resultados de los diferentes términos para ajustar los parámetros.
   3. Recomendamos particionar las listas grandes en varias copias de este DAG que se ejecuten en momentos diferentes.
   4. Para obtener más información sobre la biblioteca subyacente que se está usando, consulta Pytrends.

3. Tiempo: de forma predeterminada, este DAG usa el conjunto de datos de prueba BigQuery-public-data.geo_openstreetmap.planet_layers, que está disponible públicamente. La consulta también se basa en un conjunto de datos de la NOAA que solo está disponible a través de la función Compartir: noaa_global_forecast_system.

   Este conjunto de datos debe crearse en la misma región que los demás conjuntos de datos antes de ejecutar la implementación. Si los conjuntos de datos no están disponibles en tu región, puedes seguir las instrucciones que se indican a continuación para transferir los datos a la región elegida:

   1. Vaya a la página Compartir (Analytics Hub).
   2. Haz clic en Buscar fichas.
   3. Busca NOAA Global Forecast System.
   4. Haz clic en Suscribirme.
   5. Cuando se te pida, deja noaa_global_forecast_system como nombre del conjunto de datos. Si es necesario, ajuste el nombre del conjunto de datos y de la tabla en las cláusulas FROM de weather_daily.sql.
   6. Repite la búsqueda de la ficha del conjunto de datos OpenStreetMap Public Dataset.
   7. Ajusta las cláusulas FROM que contengan: BigQuery-public-data.geo_openstreetmap.planet_layers en postcode.sql.

4. Estadísticas sobre sostenibilidad y criterios ASG: Cortex Framework combina los datos de rendimiento de los proveedores de SAP con estadísticas avanzadas sobre criterios ASG para comparar el rendimiento de las entregas, la sostenibilidad y los riesgos de forma más integral en las operaciones globales. Para obtener más información, consulta la fuente de datos de Dun & Bradstreet.

Consideraciones generales

• La compartición solo se admite en las ubicaciones de la Unión Europea y de EE. UU., y algunos conjuntos de datos, como NOAA Global Forecast, solo se ofrecen en una única ubicación múltiple.

  Si quieres orientar tu segmentación a una ubicación distinta de la disponible para el conjunto de datos necesario, te recomendamos que crees una consulta programada para copiar los nuevos registros del conjunto de datos vinculado Compartido y, a continuación, un servicio de transferencia para copiar esos nuevos registros en un conjunto de datos ubicado en la misma ubicación o región que el resto de tu implementación. A continuación, debe ajustar los archivos SQL.

• Antes de copiar estos DAGs en Cloud Composer, añade los módulos de Python necesarios como dependencias:

  Required modules:
  pytrends~=4.9.2
  holidays