外部データセットを構成する

このページでは、Cortex Framework Data Foundation デプロイ用に外部データセットを構成する省略可能な手順について説明します。高度なユースケースによっては、エンタープライズ システム オブ レコードを補完するために外部データセットが必要になることがあります。BigQuery Sharing（旧 Analytics Hub）から使用される外部エクスチェンジに加えて、一部のデータセットでは、データを取り込んでレポートモデルと結合するために、カスタムまたは調整された方法が必要になる場合があります。

次の外部データセットを有効にするには、Dataset をデプロイする場合は k9.deployDataset を True に設定します。

次の手順に沿って、サポートされている外部データセットの有向非巡回グラフ（DAG）を構成します。

  1. Holiday Calendar: この DAG は、PyPi Holidays から特別な日付を取得します。

    1. 国のリスト、年のリスト、その他の DAG パラメータを調整して、holiday_calendar.ini で祝日を取得します。

  2. Trends: この DAG は、Google 検索トレンドから特定の用語セットのインタレストの推移を取得します。用語は trends.ini で構成できます。

    1. 初回実行後、trends.ini で start_date を 'today 7-d' に調整します。
    2. さまざまな用語から得られる結果を把握して、パラメータを調整します。
    3. 大きなリストは、異なる時間に実行されるこの DAG の複数のコピーにパーティショニングすることをおすすめします。
    4. 使用されている基盤となるライブラリの詳細については、Pytrends をご覧ください。

  3. 天気: デフォルトでは、この DAG は一般公開されているテストデータセット BigQuery-public-data.geo_openstreetmap.planet_layers を使用します。このクエリは、共有でのみ使用可能な NOAA データセット noaa_global_forecast_system にも依存しています。

    このデータセットは、デプロイを実行する前に他のデータセットと同じリージョンに作成する必要があります。データセットがリージョンで使用できない場合は、次の手順に沿って、選択したリージョンにデータを転送できます。

    1. [共有（Analytics Hub）] ページに移動します。
    2. [リスティングを検索] をクリックします。
    3. NOAA Global Forecast System を検索します。
    4. [登録] をクリックします。
    5. プロンプトが表示されたら、データセットの名前として noaa_global_forecast_system をそのまま使用します。必要に応じて、weather_daily.sql の FROM 句でデータセットとテーブルの名前を調整します。
    6. データセット OpenStreetMap Public Dataset のリスティング検索を繰り返します。
    7. postcode.sql で BigQuery-public-data.geo_openstreetmap.planet_layers を含む FROM 句を調整します。

  4. サステナビリティと ESG の分析情報: Cortex Framework は、SAP のサプライヤー パフォーマンス データと高度な ESG の分析情報を組み合わせて、グローバル オペレーション全体でデリバリー パフォーマンス、サステナビリティ、リスクをより包括的に比較します。詳細については、Dun & Bradstreet のデータソースをご覧ください。

一般的な考慮事項

  • 共有は EU と米国のロケーションでのみサポートされています。また、NOAA Global Forecast などの一部のデータセットは、単一のマルチ ロケーションでのみ提供されます。

    必要なデータセットで使用可能なロケーションとは異なるロケーションをターゲットにしている場合は、スケジュールされたクエリを作成して、共有リンクされたデータセットから新しいレコードをコピーし、転送サービスを使用して、これらの新しいレコードをデプロイの残りの部分と同じロケーションまたはリージョンにあるデータセットにコピーすることをおすすめします。次に、SQL ファイルを調整する必要があります。

  • これらの DAG を Cloud Composer にコピーする前に、必要な Python モジュールを依存関係として追加します。

    Required modules:
pytrends~=4.9.2
holidays