外部データセットを構成する

このページでは、Cortex Framework Data Foundation デプロイ用の外部データセットを構成するオプションの手順について説明します。高度なユースケースによっては、エンタープライズ システム オブ レコードを補完する外部データセットが必要になる場合があります。Analytics Hub から使用される外部エクスチェンジに加えて、一部のデータセットでは、データを取り込んでレポートモデルと結合するために、カスタムまたはカスタマイズされた方法が必要になる場合があります。

次の外部データセットを有効にするには、Dataset をデプロイする場合は k9.deployDataset を True に設定します。

サポートされている外部データセットの有向非巡回グラフ（DAG）を構成する手順は次のとおりです。

  1. 休日カレンダー: この DAG は、PyPi 休日から特別な日付を取得します。

    1. 国リスト、年リスト、その他の DAG パラメータを調整して、holiday_calendar.ini で祝日を取得します。

  2. トレンド: この DAG は、Google 検索トレンドから特定のキーワードセットの関心の推移を取得します。これらの用語は trends.ini で設定できます。

    1. 初回実行後、trends.ini で start_date を 'today 7-d' に調整します。
    2. さまざまな用語から得られる結果を把握して、パラメータを調整します。
    3. 大規模なリストは、この DAG の複数のコピーに分割して、異なる時間に実行することをおすすめします。
    4. 使用されている基盤となるライブラリの詳細については、Pytrends をご覧ください。

  3. 天気: デフォルトでは、この DAG は一般公開されているテストデータセット BigQuery-public-data.geo_openstreetmap.planet_layers を使用します。このクエリは、Analytics Hub でのみ利用可能な NOAA データセット（noaa_global_forecast_system）にも依存しています。

    このデータセットは、デプロイを実行する前に、他のデータセットと同じリージョンに作成する必要があります。データセットがリージョンで使用できない場合は、次の手順に沿って、選択したリージョンにデータを転送できます。

    1. BigQuery Analytics Hub に移動します。
    2. [リスティングを検索] をクリックします。
    3. [NOAA Global Forecast System] を検索します。
    4. [データセットをプロジェクトに追加] をクリックします。
    5. プロンプトが表示されたら、データセットの名前として noaa_global_forecast_system を保持します。必要に応じて、weather_daily.sql の FROM 句でデータセットとテーブルの名前を調整します。
    6. データセット OpenStreetMap Public Dataset のリスティング検索を繰り返します。
    7. postcode.sql で BigQuery-public-data.geo_openstreetmap.planet_layers を含む FROM 句を調整します。

  4. サステナビリティと ESG の分析情報: Cortex Framework は、SAP サプライヤーのパフォーマンス データと高度な ESG 分析情報を組み合わせて、グローバルなオペレーション全体でデリバリー パフォーマンス、サステナビリティ、リスクをより包括的に比較します。詳しくは、Dun & Bradstreet のデータソースをご覧ください。

一般的な考慮事項

  • Analytics Hub は EU と米国のロケーションでのみサポートされています。NOAA グローバル予報などの一部のデータセットは、単一のマルチロケーションでのみ提供されます。

    必要なデータセットで使用できるロケーションとは異なるロケーションをターゲットとしている場合は、スケジュール設定されたクエリを作成して Analytics Hub リンク済みデータセットから新しいレコードをコピーし、その後に転送サービスを作成して、これらの新しいレコードをデプロイの残りの部分と同じロケーションまたはリージョンにあるデータセットにコピーすることをおすすめします。次に、SQL ファイルを調整する必要があります。

  • これらの DAG を Cloud Composer にコピーする前に、必要な Python モジュールを依存関係として追加します。

    Required modules:
pytrends~=4.9.2
holidays