Externe Datasets konfigurieren

Auf dieser Seite wird ein optionaler Schritt zum Konfigurieren externer Datasets für die Data Foundation-Bereitstellung des Cortex Framework beschrieben. Für einige erweiterte Anwendungsfälle sind möglicherweise externe Datasets erforderlich, um ein Enterprise-System of Record zu ergänzen. Zusätzlich zu externen Exchanges, die über BigQuery-Freigabe (früher Analytics Hub) genutzt werden, sind für einige Datasets möglicherweise benutzerdefinierte oder angepasste Methoden erforderlich, um Daten aufzunehmen und mit den Berichtsmodellen zu verknüpfen.

Wenn Sie die folgenden externen Datasets aktivieren möchten, setzen Sie k9.deployDataset auf True, falls das Dataset bereitgestellt werden soll.

Konfigurieren Sie die gerichteten azyklischen Graphen (DAGs) für die unterstützten externen Datasets so:

1. Feiertagskalender:Dieser DAG ruft die besonderen Daten aus PyPi Holidays ab.

   1. Passen Sie die Liste der Länder, die Liste der Jahre sowie andere DAG-Parameter an, um Feiertage in holiday_calendar.ini abzurufen.

2. Trends: Dieser DAG ruft Interesse im Zeitverlauf für eine bestimmte Gruppe von Begriffen aus Google-Suchtrends ab. Die Begriffe können in trends.ini konfiguriert werden.

   1. Passen Sie nach dem ersten Ausführen start_date in trends.ini an 'today 7-d' an.
   2. Machen Sie sich mit den Ergebnissen der verschiedenen Begriffe vertraut, um Parameter zu optimieren.
   3. Wir empfehlen, große Listen in mehrere Kopien dieses DAG aufzuteilen, die zu unterschiedlichen Zeiten ausgeführt werden.
   4. Weitere Informationen zur zugrunde liegenden Bibliothek finden Sie unter Pytrends.

3. Wetter: In diesem DAG wird standardmäßig das öffentlich verfügbare Test-Dataset BigQuery-public-data.geo_openstreetmap.planet_layers verwendet. Die Abfrage basiert auch auf einem NOAA-Dataset, das nur über die Freigabe verfügbar ist: noaa_global_forecast_system.

   Dieses Dataset muss in derselben Region wie die anderen Datasets erstellt werden, bevor die Bereitstellung erfolgt. Wenn die Datasets in Ihrer Region nicht verfügbar sind, können Sie die Daten mit der folgenden Anleitung in die ausgewählte Region übertragen:

   1. Rufen Sie die Seite Freigabe (Analytics Hub) auf.
   2. Klicken Sie auf Einträge durchsuchen.
   3. Suchen Sie nach NOAA Global Forecast System.
   4. Klicken Sie auf Abonnieren.
   5. Behalten Sie noaa_global_forecast_system als Namen des Datasets bei, wenn Sie dazu aufgefordert werden. Passen Sie bei Bedarf den Namen des Datasets und der Tabelle in den FROM-Klauseln in weather_daily.sql an.
   6. Wiederholen Sie die Suche nach dem Eintrag für das Dataset OpenStreetMap Public Dataset.
   7. Passen Sie die FROM-Klauseln mit: BigQuery-public-data.geo_openstreetmap.planet_layers in postcode.sql an.

4. Nachhaltigkeits- und ESG-Informationen: Das Cortex Framework kombiniert SAP-Lieferantenleistungsdaten mit erweiterten ESG-Informationen, um die Lieferleistung, Nachhaltigkeit und Risiken in globalen Abläufen ganzheitlicher zu vergleichen. Weitere Informationen finden Sie unter Dun & Bradstreet-Datenquelle.

Allgemeines

• Freigabe wird nur an Standorten in der EU und den USA unterstützt. Einige Datasets, z. B. NOAA Global Forecast, werden nur an einem einzigen Standort angeboten.

  Wenn Sie auf einen Standort abzielen, der sich von dem für das erforderliche Dataset verfügbaren Standort unterscheidet, empfehlen wir, eine geplante Abfrage zu erstellen, um die neuen Datensätze aus dem verknüpften Dataset für die gemeinsame Nutzung zu kopieren, gefolgt von einem Übertragungsdienst, um diese neuen Datensätze in ein Dataset zu kopieren, das sich am selben Standort oder in derselben Region wie der Rest Ihrer Bereitstellung befindet. Anschließend müssen Sie die SQL-Dateien anpassen.

• Bevor Sie diese DAGs in Cloud Composer kopieren, fügen Sie die erforderlichen Python-Module als Abhängigkeiten hinzu:

  Required modules:
  pytrends~=4.9.2
  holidays