Cloud Composer 설정 수집

이 페이지에서는 Cloud Composer 설정을 수집하여 Cortex 프레임워크 내에서 데이터를 자동화하는 방법을 설명합니다.

Cloud Composer를 사용할 수 있는 경우 데이터가 있는 소스 프로젝트를 가리키는 Cloud Composer 내에서 연결을 생성해야 하며, 배포에 대한 워크로드를 기반으로 다음 이름을 지정해야 합니다. 워크로드에 관한 자세한 내용은 데이터 소스 및 워크로드를 참고하세요. 보고 레이어에서 테이블을 만드는 경우 보고 DAG에 별도의 연결을 만들어야 합니다.

워크로드 배포	Raw용으로 만들기	CDC용으로 만들기	보고용으로 만들기
SAP	해당 사항 없음	sap_cdc_bq	sap_reporting_bq
SFDC	sfdc_cdc_bq	sfdc_cdc_bq	sfdc_reporting_bq
Google Ads	googleads_raw_dataflow	googleads_cdc_bq	googleads_reporting_bq
CM360	cm360_raw_dataflow	cm360_cdc_bq	cm360_reporting_bq
메타	meta_raw_dataflow	meta_cdc_bq	meta_reporting_bq
TikTok	tiktok_raw_dataflow	tiktok_cdc_bq	tiktok_reporting_bq
LiveRamp	해당 사항 없음	liveramp_cdc_bq	해당 사항 없음
SFMC	sfmc_raw_dataflow	sfmc_cdc_bq	sfmc_reporting_bq
DV360	해당 사항 없음	dv360_cdc_bq	dv360_reporting_bq
GA4	해당 사항 없음	해당 사항 없음	ga4_reporting_bq
Oracle EBS	해당 사항 없음	해당 사항 없음	oracleebs_reporting_bq
지속 가능성	해당 사항 없음	해당 사항 없음	k9_reporting_bq
일반적인 측정기준	해당 사항 없음	해당 사항 없음	k9_reporting

연결 이름 지정 규칙

연결 이름 지정 규칙에 관한 다음 사양을 고려하세요.

• 연결 접미사: 연결 이름에는 의도된 목적을 나타내는 접미사가 포함됩니다.
  • _bq: BigQuery 데이터에 액세스하는 데 사용됩니다.
  • _dataflow: Dataflow 작업 실행에 사용됩니다.
• 원시 데이터 연결: Cortex에서 제공하는 데이터 처리 모듈을 사용하는 경우에만 원시 데이터 연결을 만들어야 합니다.
• 여러 데이터 소스: 여러 데이터 소스 (예: SAP 및 Salesforce 모두)를 배포하는 경우 보안 제한사항이 개별 서비스 계정에 적용된다고 가정하면 각각에 대해 별도의 연결을 만드는 것이 좋습니다. 또는 배포하기 전에 템플릿에서 연결 이름을 수정하여 BigQuery에 쓰는 데 동일한 연결을 사용하도록 할 수 있습니다.

보안 권장사항

• 기본 연결 피하기: 특히 프로덕션 환경에서는 Airflow에서 제공하는 기본 연결 및 서비스 계정을 사용하지 않는 것이 좋습니다. 이는 필요한 최소한의 액세스 권한만 부여하는 것을 강조하는 최소 권한의 원칙에 부합합니다.
• Secret Manager 통합: Airflow에 Secret Manager를 사용 설정한 경우 동일한 이름을 사용하여 Secret Manager 내에서 이러한 연결을 만들 수 있습니다. Secret Manager에 저장된 연결은 Airflow에 직접 정의된 연결보다 우선 적용됩니다.