데이터 메시 사용자 가이드

Cortex 프레임워크용 데이터 메시는 데이터 기반을 확장하여 BigQuery 메타데이터 및 Dataplex를 통해 데이터 거버넌스, 검색 가능성, 액세스 제어를 지원합니다. 이는 맞춤설정할 수 있고 원하는 경우 데이터 기반과 함께 배포할 수 있는 기본 메타데이터 리소스 및 BigQuery 애셋 주석 집합을 제공하여 구현됩니다. 이러한 기본 사양은 Cortex Framework Data Foundation을 보완하는 메타데이터 기반인 맞춤 구성을 제공합니다. 이 가이드를 진행하기 전에 데이터 메시 개념을 참고하세요.

이 페이지에 설명된 단계는 특히 Cortex Framework용 데이터 메시를 구성하기 위해 설계되었습니다. 데이터 메시 디렉터리 섹션에서 각 워크로드에 맞는 폴더 내에서 데이터 메시 구성 파일을 찾습니다.

디자인

Cortex의 데이터 메시는 전반적인 데이터 기반과 유사하게 설계되었으며 Cortex 또는 사용자가 관리하는 다양한 하위 구성요소가 있는 세 단계로 구성됩니다.

1. 기본 리소스 사양 업데이트: Cortex는 출시마다 기본 리소스 사양을 업데이트하여 데이터 메시에 표준화된 메타데이터 기반을 제공합니다.
2. 리소스 사양 맞춤설정: 사용자는 배포 전에 특정 사용 사례 및 요구사항에 맞게 리소스 사양을 조정할 수 있습니다.
3. 데이터 메시 배포 및 업데이트: 사용자는 Cortex 구성 파일에서 데이터 메시를 사용 설정할 수 있습니다. Cortex 배포 중에 데이터 애셋 후에 배포됩니다. 또한 사용자는 추가 업데이트를 위해 데이터 메시를 독립적으로 배포할 수 있습니다.

데이터 메시 디렉터리

다음 위치에서 각 워크로드 및 데이터 소스의 데이터 메시 기본 구성 파일을 찾습니다. 디렉터리에는 서로 다른 파일 구조가 포함되어 있지만 모든 사양은 config 폴더 아래에 비슷하게 위치합니다.

메타데이터 리소스는 Google Cloud 프로젝트당 단일 YAML 파일로 데이터 소스 수준에서 정의되며 모든 리소스의 목록을 포함합니다. 사용자는 필요한 경우 기존 파일을 확장하거나 해당 디렉터리 내에 추가 리소스 사양이 포함된 YAML 파일을 추가로 만들 수 있습니다.

애셋 주석은 애셋 수준에서 정의되며 디렉터리에 파일당 하나의 주석이 있는 여러 YAML 파일을 포함합니다.

API 사용 설정 및 권한 확인

데이터 메시의 기본값을 수정하면 설명을 넘어서는 기능을 구현할 수 있습니다. 설명을 넘어서는 기능을 구현하기 위해 config.json에서 데이터 메시의 기본값을 수정해야 하는 경우 필요한 API와 권한이 다음 표에 설명된 대로 설정되어 있는지 확인합니다. 데이터 기반으로 Data Mesh를 배포할 때는 배포 사용자 또는 Cloud Build 계정에 권한을 부여합니다. 배포에 서로 다른 소스 프로젝트와 대상 프로젝트가 포함된 경우 이러한 기능이 사용되는 모든 위치에서 이러한 API와 권한이 두 프로젝트 모두에 사용 설정되어 있는지 확인합니다.

기본 리소스 사양 이해

Cortex용 데이터 메시지를 구성하기 위한 기본 인터페이스는 기본 리소스 사양을 통해 이루어집니다. 기본 리소스 사양은 배포된 메타데이터 리소스와 주석을 정의하는 기본 제공 YAML 파일 모음입니다. 기본 사양은 초기 권장사항과 문법 예시를 제공하지만 사용자 요구사항에 맞게 추가로 맞춤설정할 수 있습니다. 이러한 사양은 다음과 같은 두 가지 카테고리로 분류됩니다.

• 다양한 데이터 애셋에 적용할 수 있는 메타데이터 리소스 예를 들어 애셋에 비즈니스 도메인으로 태그를 지정하는 방법을 정의하는 카탈로그 태그 템플릿이 있습니다.
• 메타데이터 리소스가 특정 데이터 애셋에 적용되는 방식을 지정하는 주석입니다. 예를 들어 특정 테이블을 영업 도메인에 연결하는 카탈로그 태그가 있습니다.

다음 섹션에서는 각 사양 유형의 기본 예시를 안내하고 이를 맞춤설정하는 방법을 설명합니다. 기본 사양은 ## CORTEX-CUSTOMER 태그가 지정되며, 여기서 연결된 배포 옵션이 사용 설정된 경우 배포에 맞게 수정해야 합니다. 고급 사용의 경우 src/common/data_mesh/src/data_mesh_types.py에서 이러한 사양 스키마의 표준 정의를 참고하세요.

메타데이터 리소스

메타데이터 리소스는 프로젝트 내에 존재하며 여러 데이터 애셋에 적용할 수 있는 공유 항목입니다. 대부분의 사양에는 다음 기준이 적용되는 display_name 필드가 포함되어 있습니다.

• 유니코드 문자, 숫자 (0~9), 밑줄 (_), 대시 (-), 공백 ( )만 포함합니다.
• 공백으로 시작하거나 끝나면 안 됩니다.
• 최대 길이는 200자(영문 기준)입니다.

경우에 따라 display_name이 ID로 사용되기도 하며, 이 경우 추가 요구사항이 적용될 수 있습니다. 이 경우 표준 문서 링크가 포함됩니다.

배포가 서로 다른 소스 및 타겟 프로젝트의 메타데이터 리소스를 참조하는 경우 각 프로젝트에 정의된 사양이 있어야 합니다. 예를 들어 Cortex Salesforce (SFDC)에는 두 개의 레이크 사양이 포함되어 있습니다. 하나는 원시 및 CDC 영역용이고 다른 하나는 보고용입니다.

Dataplex Lakes

Dataplex 레이크, 영역, 애셋은 엔지니어링 관점에서 데이터를 구성하는 데 사용됩니다. 레이크에는 region가 있고 영역에는 location_type가 있으며, 둘 다 Cortex 위치(config.json > location)와 관련이 있습니다. Cortex 위치는 BigQuery 데이터 세트가 저장되는 위치를 정의하며 단일 리전 또는 멀티 리전일 수 있습니다. 이에 따라 location_type 영역은 SINGLE_REGION | MULTI_REGION로 설정해야 합니다. 하지만 레이크 리전은 항상 단일 리전이어야 합니다. Cortex 위치 및 영역 location_type이 멀티 리전인 경우 레이크 리전의 그룹 내에서 단일 리전을 선택합니다.

• 요구사항
  • 레이크 display_name는 lake_id로 사용되며 공식 요구사항을 준수해야 합니다. 영역 및 애셋 display_name도 마찬가지입니다. 영역 ID는 프로젝트의 모든 호수에서 고유해야 합니다.
  • 레이크 사양은 단일 리전과 연결되어야 합니다.
  • asset_name는 BigQuery 데이터 세트의 ID와 일치해야 하지만 display_name는 더 사용자 친화적인 라벨일 수 있습니다.
• 제한사항
  • Dataplex는 개별 테이블이 아닌 BigQuery 데이터 세트를 Dataplex 애셋으로 등록하는 것만 지원합니다.
  • 저작물은 단일 영역에만 등록될 수 있습니다.
  • Dataplex는 특정 위치에서만 지원됩니다. 자세한 내용은 Dataplex 위치를 참고하세요.

lakes.yaml에서 다음 예를 참고하세요.

이러한 리소스는 data_mesh_types.Lakes를 지정하는 YAML 파일에 정의됩니다.

카탈로그 태그 템플릿

Data Catalog 태그 템플릿을 사용하여 BigQuery 테이블 또는 개별 열에 컨텍스트를 추가할 수 있습니다. 이를 통해 Dataplex 검색 도구와 통합된 방식으로 기술적 관점과 비즈니스 관점 모두에서 데이터를 분류하고 이해할 수 있습니다. 데이터에 라벨을 지정하는 데 사용할 수 있는 특정 필드와 각 필드에 보관할 수 있는 정보 유형 (예: 텍스트, 숫자, 날짜)을 정의합니다. 카탈로그 태그는 실제 필드 값이 있는 템플릿의 인스턴스입니다.

템플릿 필드 display_name는 필드 ID로 사용되며 Class TagTemplate에 지정된 TagTemplate.fields 요구사항을 따라야 합니다. 지원되는 필드 유형에 관한 자세한 내용은 데이터 카탈로그 필드 유형을 참고하세요.

Cortex Data Mesh는 모든 태그 템플릿을 공개적으로 읽을 수 있는 형식으로 만듭니다. 또한 태그 템플릿 사양에 태그가 전체 애셋, 애셋 내 개별 필드 또는 둘 다에 적용되어야 하는지 정의하는 level 개념을 추가로 도입합니다. 가능한 값은 ASSET | FIELD | ANY입니다. 현재는 엄격하게 시행되지 않지만 향후 유효성 검사를 통해 배포 중에 태그가 적절한 수준에서 적용될 수 있습니다.

다음 예를 참고하세요.

템플릿은 data_mesh_types.CatalogTagTemplates를 지정하는 YAML 파일에 정의됩니다.

카탈로그 태그는 템플릿의 인스턴스이며 아래의 저작물 주석에서 설명합니다.

태그 템플릿을 사용한 애셋 및 열 수준 액세스 제어

Cortex Framework는 카탈로그 태그 템플릿과 연결된 모든 아티팩트에 애셋 또는 열 수준 액세스 제어를 사용 설정하는 기능을 제공합니다. 예를 들어 사용자가 비즈니스 라인에 따라 애셋에 대한 액세스 권한을 부여하려는 경우 각 비즈니스 도메인에 지정된 서로 다른 사용자를 사용하여 line_of_business 카탈로그 태그 템플릿의 asset_policies를 만들 수 있습니다. 각 정책은 특정 값과 태그를 일치시키는 데 사용할 수 있는 filters를 허용합니다. 이 경우 domain 값을 일치시킬 수 있습니다. 이러한 filters는 등식 일치만 지원하며 다른 연산자는 지원하지 않습니다. 필터가 여러 개 나열된 경우 결과가 모든 필터(예: filter_a AND filter_b)를 충족해야 합니다. 최종 애셋 정책 세트는 주석에 직접 정의된 정책과 템플릿 정책의 정책을 합친 것입니다.

카탈로그 태그를 사용한 열 수준 액세스 제어는 일치하는 필드에 정책 태그를 적용하여 유사하게 작동합니다. 그러나 열에는 정책 태그를 하나만 적용할 수 있으므로 우선순위는 다음과 같습니다.

1. 직접 정책 태그: 정책 태그가 열 주석에 직접 정의된 경우 우선 적용됩니다.
2. 일치 태그 템플릿 정책: 그 외의 경우 연결된 카탈로그 태그 템플릿 내 필드에 정의된 첫 번째 일치 정책에 따라 액세스가 결정됩니다.

이 기능을 사용할 때는 카탈로그 태그 및 액세스 제어 목록 (ACL)의 배포를 함께 사용 설정하거나 사용 중지하는 것이 좋습니다. 이렇게 하면 ACL이 올바르게 배포됩니다.

이 고급 기능의 사양을 알아보려면 data_mesh_types.CatalogTagTemplate에서 asset_policies 및 field_policies 매개변수의 정의를 참고하세요.

카탈로그 용어집

용어집은 데이터 애셋 내 특정 열에서 사용되는 용어의 사전을 제공하는 데 사용할 수 있는 도구로, 이러한 용어는 일반적으로 이해되지 않을 수 있습니다. 사용자는 콘솔에서 직접 용어를 추가할 수 있지만 리소스 사양을 통한 지원은 없습니다.

정책 분류 및 태그

정책 분류 및 태그를 사용하면 민감한 데이터 애셋에 대해 표준화된 방식으로 열 수준 액세스 제어를 적용할 수 있습니다. 예를 들어 특정 비즈니스 라인에서 PII 데이터를 제어하는 태그 분류가 있을 수 있으며, 여기서는 특정 그룹만 마스킹된 데이터 또는 마스킹되지 않은 데이터를 읽을 수 있거나 읽기 액세스 권한이 전혀 없을 수 있습니다.

정책 분류 및 태그에 관한 자세한 내용은 열 데이터 마스킹 소개 문서를 참고하세요. 다음 섹션은 특히 관련이 있습니다.

• 역할 상호작용
• 승인 상속
• 마스킹 규칙 및 계층 구조
• 정책 태그 권장사항

Cortex Framework는 정책 태그가 지정되는 방식과 잠재적 용도를 보여주는 샘플 정책 태그를 제공하지만 액세스 제어에 영향을 미치는 리소스는 기본적으로 데이터 메시 배포에서 사용 설정되지 않습니다.

다음 예를 참고하세요.

정책 분류는 data_mesh_types.PolicyTaxonomies를 지정하는 YAML 파일에 정의됩니다.

애셋 주석

주석은 특정 애셋에 적용할 수 있는 메타데이터를 지정하며 정의된 공유 메타데이터 리소스를 참조할 수 있습니다. 주석에는 다음이 포함됩니다.

• 저작물 설명
• 필드 설명
• 카탈로그 태그
• 저작물, 행, 열 수준 액세스 제어

Cortex Framework 데이터 기반은 다음 워크로드에 대해 사전 구성된 주석(설명)을 제공합니다.

• SAP ECC (원시, CDC, 보고)
• SAP S4 HANA (원시, CDC, 보고)
• SFDC (보고서 전용)
• Oracle EBS (보고 전용)
• CM360 (보고 전용)
• Google Ads (보고 전용)
• 메타 (보고서 전용)
• SFMC (보고서 전용)
• TikTok (보고서 전용)
• YouTube (DV360 포함) (보고 전용)
• Google 애널리틱스 4 (보고 전용)

다음 예를 참고하세요.

주석은 data_mesh_types.BqAssetAnnotation를 지정하는 YAML 파일에 정의됩니다.

카탈로그 태그

카탈로그 태그는 특정 저작물에 적용되는 필드 값이 할당된 정의된 템플릿의 인스턴스입니다. 연결된 템플릿에 선언된 필드 유형과 일치하는 값을 할당해야 합니다.

TIMESTAMP 값은 다음 형식 중 하나여야 합니다.

  "%Y-%m-%d %H:%M:%S%z"
  "%Y-%m-%d %H:%M:%S"
  "%Y-%m-%d"

다음 예를 참고하세요.

data_mesh_types.CatalogTag의 사양 정의를 참고하세요.

액세스 정책 리더 및 주 구성원 지정

액세스 정책을 사용하여 Cortex Framework에서 BigQuery 데이터에 대한 액세스를 제어합니다. 이러한 정책은 특정 데이터 애셋, 애셋 내 행 또는 개별 열에 액세스할 수 있는 사용자 (주 구성원)를 정의합니다. 주 구성원은 IAM 정책 바인딩 구성원에 의해 정의된 특정 형식을 따라야 합니다.

저작물 수준 액세스

다양한 권한으로 전체 BigQuery 애셋에 대한 액세스 권한을 부여할 수 있습니다.

• READER: 저작물에서 데이터를 확인합니다.
• WRITER: 저작물에 데이터를 수정하고 추가합니다.
• OWNER : 액세스 관리를 비롯한 저작물에 대한 전체 관리 권한

이러한 권한은 SQL의 GRANT DCL 문에 상응합니다.

대부분의 리소스 및 주석의 동작과 달리 덮어쓰기 플래그는 OWNERS 역할이 있는 기존 주 구성원을 삭제하지 않습니다. 덮어쓰기가 사용 설정된 새 소유자를 추가하면 기존 소유자에만 추가됩니다. 이는 의도치 않은 액세스 권한 상실을 방지하기 위한 보호 조치입니다. 저작물 소유자를 삭제하려면 콘솔을 사용하세요. 덮어쓰면 READER 또는 WRITER 역할이 있는 기존 주 구성원이 삭제됩니다.

다음 예를 참고하세요.

data_mesh_types.BqAssetPolicy의 사양 정의를 참고하세요.

행 수준 액세스

특정 열 값 필터를 기반으로 행 집합에 대한 액세스 권한을 부여할 수 있습니다. 행 액세스 정책을 지정하면 제공된 필터 문자열이 CREATE DDL statement에 삽입됩니다. overwrite 플래그가 사용 설정된 경우 새 정책을 적용하기 전에 모든 기존 행 액세스 정책을 삭제합니다.

행 수준 액세스에 관해 다음 사항을 고려하세요.

• 행 액세스 정책을 추가하면 해당 정책에 지정되지 않은 사용자는 행을 볼 수 없습니다.
• 행 정책은 뷰가 아닌 테이블에서만 작동합니다.
• 행 액세스 정책 필터에 파티션을 나눈 열을 사용하지 마세요. 애셋 유형 및 파티션된 열에 관한 자세한 내용은 연결된 보고 설정 YAML 파일을 참고하세요.

행 수준 액세스 정책에 대한 자세한 내용은 행 수준 보안 권장사항을 참고하세요.

다음 예를 참고하세요.

data_mesh_types.BqRowPolicy의 사양 정의를 참고하세요.

열 수준 액세스

열 수준 액세스를 사용 설정하려면 정책 태그 이름 및 분류 이름으로 식별되는 정책 태그를 사용하여 개별 필드에 주석을 추가합니다. 액세스 제어를 구성하도록 정책 태그 메타데이터 리소스를 업데이트합니다.

다음 예를 참고하세요.

data_mesh_types.PolicyTagId의 사양 정의를 참고하세요.

데이터 메시 배포

데이터 메시는 데이터 기반 배포의 일부로 배포되거나 단독으로 배포될 수 있습니다. 두 경우 모두 Cortex config.json 파일을 사용하여 BigQuery 데이터 세트 이름 및 배포 옵션과 같은 관련 변수를 결정합니다. 기본적으로 데이터 메시지를 배포해도 의도치 않은 손실을 방지하기 위해 기존 리소스나 주석이 삭제되거나 덮어쓰지 않습니다. 그러나 자체적으로 배포될 때 기존 리소스를 덮어쓸 수도 있습니다.

배포 옵션

다음 배포 옵션은 config.json > DataMesh에서 사용자의 요구사항 및 지출 제약조건에 따라 사용 설정 또는 중지할 수 있습니다.

데이터 기반으로 배포

기본적으로 config.json > deployDataMesh는 각 워크로드 빌드 단계가 끝날 때 데이터 메시 애셋 설명을 배포하도록 설정합니다. 이 기본 구성에는 추가 API 또는 역할을 사용 설정할 필요가 없습니다. 배포 옵션, 필수 API 및 역할을 사용 설정하고 연결된 리소스 사양을 수정하여 데이터 기반과 함께 데이터 메시의 추가 기능을 배포할 수 있습니다.

단독 배포

데이터 메시만 배포하려면 사용자는 common/data_mesh/deploy_data_mesh.py 파일을 사용하면 됩니다. 이 유틸리티는 빌드 프로세스 중에 데이터 메시를 한 번에 하나씩 배포하는 데 사용되지만 직접 호출하면 여러 워크로드를 한 번에 배포하는 데도 사용할 수 있습니다. 배포할 사양의 워크로드는 config.json 파일에서 사용 설정되어야 합니다. 예를 들어 SAP용 데이터 메시지를 배포하는 경우 deploySAP=true여야 합니다.

필요한 패키지와 버전으로 배포하려면 다음 명령어를 사용하여 Cortex 배포 프로세스에 사용된 것과 동일한 이미지에서 유틸리티를 실행하면 됩니다.

  # Run container interactively
  docker container run -it gcr.io/kittycorn-public/deploy-kittycorn:v2.0

  # Clone the repo
  git clone https://github.com/GoogleCloudPlatform/cortex-data-foundation

  # Navigate into the repo
  cd cortex-data-foundation

사용 가능한 매개변수와 사용법에 관한 도움말을 보려면 다음 명령어를 실행하세요.

  python src/common/data_mesh/deploy_data_mesh.py -h

다음은 SAP ECC 호출의 예입니다.

  python src/common/data_mesh/deploy_data_mesh.py \
    --config-file config/config.json \
    --lake-directories \
        src/SAP/SAP_REPORTING/config/ecc/lakes \
    --tag-template-directories \
        src/SAP/SAP_REPORTING/config/ecc/tag_templates \
    --policy-directories \
        src/SAP/SAP_REPORTING/config/ecc/policy_taxonomies \
    --annotation-directories \
        src/SAP/SAP_REPORTING/config/ecc/annotations

디렉터리 위치에 관한 자세한 내용은 데이터 메시 디렉터리 섹션을 참고하세요.

덮어쓰기

기본적으로 데이터 메시지를 배포해도 기존 리소스나 주석은 덮어쓰지 않습니다. 하지만 데이터 메시만 배포할 때 --overwrite 플래그를 사용 설정하여 다음과 같은 방식으로 배포를 변경할 수 있습니다.

호수, 카탈로그 태그 템플릿, 정책 태그와 같은 메타데이터 리소스를 덮어쓰면 동일한 이름을 공유하는 기존 리소스가 삭제되지만 이름이 다른 기존 리소스는 수정되지 않습니다. 즉, 리소스 사양이 YAML 파일에서 완전히 삭제된 후 덮어쓰기가 사용 설정된 상태로 데이터 메시가 재배포되면 이름 충돌이 없으므로 해당 리소스 사양은 삭제되지 않습니다. 이렇게 하면 Cortex Data Mesh 배포가 사용 중일 수 있는 기존 리소스에 영향을 미치지 않습니다.

레이크 및 ZONE과 같은 중첩된 리소스의 경우 리소스를 덮어쓰면 모든 하위 리소스가 삭제됩니다. 예를 들어 레이크를 덮어쓰면 기존 영역 및 애셋 참조도 삭제됩니다. 덮어쓰기된 카탈로그 태그 템플릿 및 정책 태그의 경우 기존의 연결된 주석 참조도 저작물에서 삭제됩니다. 애셋 주석에서 카탈로그 태그를 덮어쓰면 동일한 템플릿을 공유하는 카탈로그 태그의 기존 인스턴스만 덮어쓰게 됩니다.

저작물 및 필드 설명 덮어쓰기는 기존 설명과 충돌하는 유효한 비어 있지 않은 새 설명이 있는 경우에만 적용됩니다.

반면에 ACL은 다르게 동작합니다. ACL을 덮어쓰면 저작물 수준 소유자를 제외한 모든 기존 주 구성원이 삭제됩니다. 이는 액세스 정책에서 생략된 주 구성원이 액세스 권한이 부여된 주 구성원과 동일하게 중요하기 때문입니다.

데이터 메시 살펴보기

데이터 메시를 배포한 후 사용자는 Data Catalog로 데이터 애셋을 검색하고 볼 수 있습니다. 여기에는 적용된 카탈로그 태그 값을 기반으로 애셋을 검색하는 기능이 포함됩니다. 필요한 경우 사용자는 카탈로그 용어집 용어를 직접 만들고 적용할 수도 있습니다.

배포된 액세스 정책은 BigQuery 스키마 페이지에서 확인할 수 있으며 각 수준에서 특정 애셋에 적용된 정책을 확인할 수 있습니다.

데이터 계보

사용자는 BigQuery 애셋 간의 계보를 사용 설정하고 시각화하는 것이 유용할 수 있습니다. API를 통해 프로그래매틱 방식으로 계보에 액세스할 수도 있습니다. 데이터 계보는 확장 소재 수준 계보만 지원합니다. 데이터 계보가 Cortex Data Mesh와 얽혀 있지는 않지만 향후 계보를 활용하는 새로운 기능이 도입될 수 있습니다.

Cortex Data Mesh 또는 Cortex Framework 요청의 경우 지원 섹션으로 이동하세요.