외부 데이터 세트 구성

이 페이지에서는 Cortex Framework Data Foundation 배포를 위해 외부 데이터 세트를 구성하는 선택적 단계를 설명합니다. 일부 고급 사용 사례에서는 엔터프라이즈 레코드 시스템을 보완하기 위해 외부 데이터 세트가 필요할 수 있습니다. Analytics Hub에서 소비하는 외부 교환 외에도 일부 데이터 세트는 데이터를 처리하고 보고 모델과 결합하기 위해 맞춤 또는 맞춤설정된 메서드가 필요할 수 있습니다.

다음 외부 데이터 세트를 사용 설정하려면 데이터 세트를 배포하려는 경우 k9.deployDataset를 True로 설정합니다.

지원되는 외부 데이터 세트에 대해 방향성 비순환 그래프 (DAG)를 구성하려면 다음 단계를 따르세요.

  1. 휴일 캘린더: 이 DAG는 PyPi Holidays에서 특별 날짜를 가져옵니다.

    1. 국가 목록, 연도 목록, 기타 DAG 매개변수를 조정하여 holiday_calendar.ini에서 공휴일을 가져옵니다.

  2. 동향: 이 DAG는 Google 검색 동향에서 특정 검색어 집합의 시간 경과에 따른 관심도를 가져옵니다. 이 용어는 trends.ini에서 구성할 수 있습니다.

    1. 초기 실행 후 trends.ini에서 start_date를 'today 7-d'로 조정합니다.
    2. 매개변수를 조정하기 위해 다양한 검색어에서 가져온 결과를 숙지하세요.
    3. 대규모 목록을 여러 번 실행되는 이 DAG의 여러 사본으로 분할하는 것이 좋습니다.
    4. 사용 중인 기본 라이브러리에 관한 자세한 내용은 Pytrends를 참고하세요.

  3. 날씨: 기본적으로 이 DAG는 공개적으로 사용 가능한 테스트 데이터 세트 BigQuery-public-data.geo_openstreetmap.planet_layers를 사용합니다. 또한 이 쿼리는 Analytics Hub를 통해서만 사용할 수 있는 NOAA 데이터 세트(noaa_global_forecast_system)를 사용합니다.

    이 데이터 세트는 배포를 실행하기 전에 다른 데이터 세트와 동일한 리전에 만들어야 합니다. 거주 중인 지역에서 데이터 세트를 사용할 수 없는 경우 다음 안내에 따라 선택한 리전으로 데이터를 전송할 수 있습니다.

    1. BigQuery Analytics Hub로 이동합니다.
    2. 등록정보 검색을 클릭합니다.
    3. NOAA Global Forecast System을 검색합니다.
    4. 프로젝트에 데이터 세트 추가를 클릭합니다.
    5. 메시지가 표시되면 noaa_global_forecast_system를 데이터 세트 이름으로 유지합니다. 필요한 경우 weather_daily.sql의 FROM 절에서 데이터 세트 및 테이블의 이름을 조정합니다.
    6. 데이터 세트 OpenStreetMap Public Dataset의 등록정보 검색을 반복합니다.
    7. postcode.sql에서 BigQuery-public-data.geo_openstreetmap.planet_layers를 포함하는 FROM 절을 조정합니다.

  4. 지속가능성 및 ESG 통계: Cortex Framework는 SAP 공급업체 실적 데이터와 고급 ESG 통계를 결합하여 전 세계 운영 전반에서 전달 실적, 지속가능성, 위험을 보다 전체적으로 비교합니다. 자세한 내용은 Dun & Bradstreet 데이터 소스를 참고하세요.

일반적인 고려사항

  • Analytics Hub는 EU 및 미국 위치에서만 지원되며 NOAA 글로벌 예측과 같은 일부 데이터 세트는 단일 멀티 위치에서만 제공됩니다.

    필요한 데이터 세트에 사용할 수 있는 위치와 다른 위치를 타겟팅하는 경우 Analytics Hub 연결된 데이터 세트에서 새 레코드를 복사하는 예약된 쿼리를 만든 다음 전송 서비스를 만들어 이러한 새 레코드를 나머지 배포와 동일한 위치 또는 지역에 있는 데이터 세트에 복사하는 것이 좋습니다. 그런 다음 SQL 파일을 조정해야 합니다.

  • 이러한 DAG를 Cloud Composer에 복사하기 전에 필요한 Python 모듈을 종속 항목으로 추가합니다.

    Required modules:
pytrends~=4.9.2
holidays