Externe Datasets konfigurieren

Auf dieser Seite wird ein optionaler Schritt zum Konfigurieren externer Datensätze für die Bereitstellung der Cortex Framework Data Foundation beschrieben. Für einige erweiterte Anwendungsfälle sind möglicherweise externe Datensätze erforderlich, um ein Unternehmenssystem zu ergänzen. Neben externen Anzeigenplattformen, die über Analytics Hub genutzt werden, sind für einige Datensätze möglicherweise benutzerdefinierte oder angepasste Methoden erforderlich, um Daten aufzunehmen und mit den Berichtsmodellen zusammenzuführen.

Wenn Sie die folgenden externen Datensätze aktivieren möchten, setzen Sie k9.deployDataset auf True, wenn das Dataset bereitgestellt werden soll.

So konfigurieren Sie die gerichteten azyklischen Graphen (DAGs) für die unterstützten externen Datensätze:

  1. Urlaubskalender:Dieser DAG ruft die besonderen Daten aus PyPi Holidays ab.

    1. Passen Sie die Liste der Länder, die Liste der Jahre und andere DAG-Parameter an, um Feiertage in holiday_calendar.ini abzurufen.

  2. Trends: Dieser DAG ruft das Interesse im Zeitverlauf für eine bestimmte Gruppe von Begriffen aus Google Trends ab. Die Bedingungen können in trends.ini konfiguriert werden.

    1. Passen Sie nach einem ersten Durchlauf start_date in trends.ini auf 'today 7-d' an.
    2. Machen Sie sich mit den Ergebnissen der verschiedenen Begriffe vertraut, um die Parameter anzupassen.
    3. Wir empfehlen, große Listen in mehrere Kopien dieses DAG aufzuteilen, die zu unterschiedlichen Zeiten ausgeführt werden.
    4. Weitere Informationen zur verwendeten zugrunde liegenden Bibliothek finden Sie unter Pytrends.

  3. Wetter: Für diesen DAG wird standardmäßig das öffentlich verfügbare Test-Dataset BigQuery-public-data.geo_openstreetmap.planet_layers verwendet. Die Abfrage basiert außerdem auf einem NOAA-Dataset, das nur über Analytics Hub verfügbar ist: noaa_global_forecast_system.

    Dieses Dataset muss vor der Bereitstellung in derselben Region wie die anderen Datasets erstellt werden. Wenn die Datensätze in Ihrer Region nicht verfügbar sind, können Sie mit der folgenden Anleitung fortfahren, um die Daten in die ausgewählte Region zu übertragen:

    1. Rufen Sie BigQuery Analytics Hub auf.
    2. Klicken Sie auf Einträge suchen.
    3. Suche nach NOAA Global Forecast System.
    4. Klicken Sie auf Dataset in Projekt aufnehmen.
    5. Lassen Sie noaa_global_forecast_system als Namen des Datensatzes, wenn Sie dazu aufgefordert werden. Passen Sie bei Bedarf den Namen des Datensatzes und der Tabelle in den FROM-Klauseln in weather_daily.sql an.
    6. Wiederholen Sie die Eintragssuche für Datensatz OpenStreetMap Public Dataset.
    7. Passen Sie die FROM-Klauseln an, die Folgendes enthalten: BigQuery-public-data.geo_openstreetmap.planet_layers in postcode.sql.

  4. Nachhaltigkeit und ESG-Erkenntnisse: Das Cortex-Framework kombiniert SAP-Lieferantenleistungsdaten mit erweiterten ESG-Erkenntnissen, um Lieferleistung, Nachhaltigkeit und Risiken weltweit ganzheitlicher zu vergleichen. Weitere Informationen finden Sie unter Dun & Bradstreet-Datenquelle.

Allgemeines

  • Analytics Hub wird nur an Standorten in der EU und in den USA unterstützt. Einige Datensätze wie die globale Vorhersage der NOAA werden nur an einem einzigen multiregionalen Standort angeboten.

    Wenn Sie ein anderes Ziel als das für das erforderliche Dataset verwenden, empfehlen wir, eine geplante Abfrage zu erstellen, um die neuen Einträge aus dem verknüpften Analytics Hub-Dataset zu kopieren, gefolgt von einem Übertragungsdienst, um diese neuen Einträge in ein Dataset zu kopieren, das sich am selben Ort oder in derselben Region wie der Rest Ihrer Bereitstellung befindet. Anschließend müssen Sie die SQL-Dateien anpassen.

  • Bevor Sie diese DAGs in Cloud Composer kopieren, fügen Sie die erforderlichen Python-Module als Abhängigkeiten hinzu:

    Required modules:
pytrends~=4.9.2
holidays