엔터프라이즈 데이터 관리 및 분석 플랫폼 배포

컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

리소스 계층 구조

이 아키텍처는 엔터프라이즈 기반 청사진의 리소스 계층 구조를 사용합니다.

네트워킹

이 아키텍처에는 워크로드 아이덴티티 제휴 및 Tink 라이브러리를 사용하는 데이터 전송 서비스의 예가 포함되어 있습니다.

역할 및 IAM 권한

이 아키텍처에는 세분화된 데이터 생산자 역할, 데이터 소비자 역할, 데이터 거버넌스 역할, 데이터 플랫폼 역할이 포함됩니다.

메타데이터

이 아키텍처는 Data Catalog를 사용하여 데이터 메타데이터를 관리합니다.

중앙 정책 관리

정책을 관리하기 위해 이 아키텍처는 Google Cloud의 CDMC 프레임워크 구현을 사용합니다.

데이터 액세스 관리

데이터 액세스를 제어하기 위해 아키텍처에는 데이터 소비자가 데이터 소유자에게 데이터 애셋에 대한 액세스 권한을 요청해야 하는 독립적인 프로세스가 포함되어 있습니다.

데이터 품질

이 아키텍처는 Cloud Data Quality Engine을 사용하여 지정된 테이블 열에 데이터 품질 규칙을 정의하고 실행하여 정확성 및 완전성과 같은 측정항목을 기반으로 데이터 품질을 측정합니다.

데이터 보안

이 아키텍처는 태그 지정, 암호화, 마스킹, 토큰화, IAM 제어를 사용하여 데이터 보안을 제공합니다.

데이터 환경

이 아키텍처에는 세 가지 환경이 포함됩니다. 두 환경(비프로덕션 및 프로덕션)은 파이프라인에 의해 실행되는 운영 환경입니다. 한 환경 (개발)은 대화형 환경입니다.

데이터 소유자

데이터 소유자는 데이터 애셋을 수집, 처리, 노출하고 액세스 권한을 부여합니다.

데이터 소비자

데이터 소비자가 데이터 애셋에 대한 액세스를 요청합니다.

파이프라인

이 아키텍처는 다음 파이프라인을 사용하여 리소스를 배포합니다.

• 기반 파이프라인
• 인프라 파이프라인
• 아티팩트 파이프라인
• 서비스 카탈로그 파이프라인

저장소

각 파이프라인은 별도의 저장소를 사용하여 책임을 분리합니다.

프로세스 흐름

이 프로세스에서는 프로덕션 환경 변경사항에 제출자와 승인자가 포함되어야 합니다.

데이터 제품 스코어카드

보고서 엔진은 데이터 제품 스코어카드를 생성합니다.

Cloud Logging

이 아키텍처는 엔터프라이즈 기반 청사진의 로깅 인프라를 사용합니다.

Cloud Monitoring

이 아키텍처는 엔터프라이즈 기반 청사진의 모니터링 인프라를 사용합니다.

data-mesh-ops@example.com

데이터 메시의 전체 관리자

roles/owner (데이터 플랫폼)

gcp-dm-governance-admins@example.com

데이터 거버넌스 프로젝트의 관리자

데이터 거버넌스 프로젝트에 대한 roles/owner

gcp-dm-governance-developers@example.com

데이터 거버넌스 구성요소를 빌드하고 유지관리하는 개발자

roles/viewer, BigQuery 역할, Data Catalog 역할을 비롯한 데이터 거버넌스 프로젝트의 여러 역할

gcp-dm-governance-data-readers@example.com

데이터 거버넌스 정보의 독자

roles/viewer

gcp-dm-governance-security-administrator@example.com

거버넌스 프로젝트의 보안 관리자

roles/orgpolicy.policyAdmin and roles/iam.securityReviewer

gcp-dm-governance-tag-template-users@example.com

태그 템플릿을 사용할 권한이 있는 그룹

roles/datacatalog.tagTemplateUser

gcp-dm-governance-tag-users@example.com

태그 템플릿을 사용하고 태그를 추가할 권한이 있는 그룹

roles/datacatalog.tagTemplateUser and roles/datacatalog.tagEditor

gcp-dm-governance-scc-notifications@example.com

Security Command Center 알림을 위한 서비스 계정 그룹

없음 이는 멤버십 그룹이며, 이 이름으로 서비스 계정이 만들어지며 필요한 권한이 있습니다.

gcp-dm-{data_domain_name}-admins@example.com

특정 데이터 도메인의 관리자

데이터 도메인 프로젝트에 대한 roles/owner

gcp-dm-{data_domain_name}-developers@example.com

데이터 도메인 내에서 데이터 제품을 빌드하고 유지보수하는 개발자

roles/viewer, BigQuery 역할, Cloud Storage 역할을 비롯한 데이터 도메인 프로젝트의 여러 역할

gcp-dm-{data_domain_name}-data-readers@example.com

데이터 도메인 정보의 독자

roles/viewer

gcp-dm-{data_domain_name}-metadata-editors@{var.domain}

Data Catalog 항목 편집자

Data Catalog 항목을 수정하는 역할

gcp-dm-{data_domain_name}-data-stewards@example.com

데이터 도메인의 데이터 스튜어드

메타데이터 및 데이터 거버넌스 측면을 관리하는 역할

gcp-dm-consumer-{project_name}-admins@example.com

특정 소비자 프로젝트의 관리자

소비자 프로젝트에 대한 roles/owner 권한

gcp-dm-consumer-{project_name}-developers@example.com

소비자 프로젝트 내에서 작업하는 개발자

roles/viewer 및 BigQuery 역할을 비롯한 소비자 프로젝트의 여러 역할

gcp-dm-consumer-{project_name}-data-readers@example.com

소비자 프로젝트 정보를 읽는 사용자

roles/viewer

common

prj-c-artifact-pipeline

아키텍처의 코드 아티팩트를 빌드하는 데 사용되는 배포 파이프라인을 포함합니다.

prj-c-service-catalog

서비스 카탈로그에서 대화형 환경에 리소스를 배포하는 데 사용되는 인프라가 포함되어 있습니다.

prj-c-datagovernance

Google Cloud의 CDMC 프레임워크 구현에서 사용하는 모든 리소스를 포함합니다.

development

fldr-d-dataplatform

대화형 모드에서 사용 사례를 개발하기 위한 데이터 플랫폼의 프로젝트 및 리소스를 포함합니다.

non-production

fldr-n-dataplatform

운영 환경에 배포하려는 사용 사례를 테스트하기 위한 데이터 플랫폼의 프로젝트 및 리소스를 포함합니다.

production

fldr-p-dataplatform

프로덕션에 배포하기 위한 데이터 플랫폼의 프로젝트와 리소스를 포함합니다.

프로듀서

데이터 도메인을 포함합니다.

소비자

소비자 프로젝트가 포함됩니다.

데이터 전문 분야

특정 도메인과 연결된 프로젝트가 포함됩니다.

수집

처리 프로젝트는 데이터를 데이터 도메인으로 처리합니다. 이 아키텍처는 BigQuery, Cloud Storage, Pub/Sub로 데이터를 스트리밍하는 방법의 예를 제공합니다. 처리 프로젝트에는 처리된 데이터의 변환 및 이동을 조정하는 데 사용할 수 있는 Dataflow 및 Cloud Composer의 예시도 포함되어 있습니다.

비기밀

비기밀 프로젝트에는 익명처리된 데이터가 포함되어 있습니다. 데이터를 마스킹, 컨테이너화, 암호화, 토큰화 또는 난독화할 수 있습니다. 정책 태그를 사용하여 데이터가 표시되는 방식을 제어합니다.

기밀

기밀 프로젝트에는 일반 텍스트 데이터가 포함되어 있습니다. IAM 권한을 통해 액세스를 제어할 수 있습니다.

키 관리

Cloud KMS

민감한 정보를 보호하는 암호화 키를 안전하게 관리하는 서비스입니다.

레코드 관리자

Cloud Run

데이터 처리 활동에 관한 포괄적인 로그와 레코드를 유지하여 조직에서 데이터 사용을 추적하고 감사할 수 있는 애플리케이션입니다.

보관처리 정책

BigQuery

데이터의 저장소 정책이 포함된 BigQuery 테이블입니다.

사용 권한

BigQuery

민감한 정보에 액세스할 수 있는 사용자에 관한 정보를 저장하는 BigQuery 테이블입니다. 이 표를 통해 승인된 사용자만 역할 및 권한에 따라 특정 데이터에 액세스할 수 있습니다.

데이터 손실

Sensitive Data Protection

민감한 정보가 있는지 애셋을 검사하는 데 사용되는 서비스입니다.

DLP 결과

BigQuery

데이터 플랫폼 내에서 데이터 분류를 카탈로그화하는 BigQuery 테이블입니다.

정책

BigQuery

일관된 데이터 거버넌스 관행 (예: 데이터 액세스 유형)이 포함된 BigQuery 테이블입니다.

결제 내보내기

BigQuery

데이터 애셋과 연결된 비용 측정항목을 분석할 수 있도록 Cloud Billing에서 내보낸 비용 정보를 저장하는 테이블입니다.

Cloud Data Quality Engine

Cloud Run

테이블 및 열의 데이터 품질 검사를 실행하는 애플리케이션입니다.

데이터 품질 발견사항

BigQuery

정의된 데이터 품질 규칙과 데이터 애셋의 실제 품질 간에 확인된 불일치를 기록하는 BigQuery 테이블입니다.

스케줄러

Cloud Scheduler

Cloud Data Quality Engine이 실행되는 시점과 민감한 정보 보호 검사가 실행되는 시점을 제어하는 서비스입니다.

보고서 엔진

Cloud Run

CDMC 프레임워크의 규정을 준수하는지 추적하고 측정하는 데 도움이 되는 보고서를 생성하는 애플리케이션입니다.

발견 항목 및 애셋

BigQuery 및 Pub/Sub

누락된 태그, 잘못된 분류, 규정을 준수하지 않는 저장소 위치와 같은 데이터 관리 컨트롤의 불일치 또는 불일치를 보여주는 BigQuery 보고서입니다.

태그 내보내기

BigQuery

Data Catalog에서 추출된 태그 정보가 포함된 BigQuery 테이블입니다.

정책 관리

조직 정책 서비스

데이터를 지리적으로 저장할 수 있는 위치에 대한 제한을 정의하고 적용하는 서비스입니다.

속성 기반 액세스 정책

Access Context Manager

허용된 위치 및 기기의 승인된 사용자만 민감한 정보에 액세스할 수 있도록 세분화된 속성 기반 액세스 정책을 정의하고 시행하는 서비스입니다.

메타데이터

Data Catalog

데이터 메시에 사용 중인 테이블에 관한 메타데이터 정보를 저장하는 서비스입니다.

Tag Engine

Cloud Run

BigQuery 테이블의 데이터에 태그를 추가하는 애플리케이션

CDMC 보고서

Looker Studio

분석가가 CDMC 아키텍처 엔진에서 생성한 보고서를 볼 수 있는 대시보드입니다.

데이터 컨트롤 규정 준수

Report Engine은 정책을 준수하지 않는 데이터 애셋을 감지하고 발견사항을 Pub/Sub 주제에 게시합니다. 이러한 발견사항은 Looker Studio를 사용하여 보고하기 위해 BigQuery에도 로드됩니다.

마이그레이션된 데이터와 클라우드 생성 데이터 모두에 대해 데이터 소유권이 설정됨

Data Catalog는 BigQuery에서 기술 메타데이터를 자동으로 캡처합니다. Tag Engine은 참조 테이블에서 소유자 이름, 민감도 수준과 같은 비즈니스 메타데이터 태그를 적용하므로 모든 민감한 데이터에 규정 준수를 위해 소유자 정보가 태그로 지정됩니다. 이 자동 태그 지정 프로세스는 민감한 정보를 식별하고 적절한 소유자 정보로 라벨을 지정하여 데이터 거버넌스 및 규정 준수를 지원합니다.

데이터 소싱 및 소비가 자동화에 의해 관리되고 지원됨

Data Catalog는 데이터 애셋이 공신력 있는 소스인 경우 is_authoritative 플래그를 태그하여 데이터 애셋을 분류합니다. Data Catalog는 기술 메타데이터와 함께 정보를 데이터 레지스터에 자동으로 저장합니다. Report Engine과 Tag Engine은 Pub/Sub을 사용하여 공신력 있는 출처의 데이터 레지스터를 검증하고 보고할 수 있습니다.

데이터 주권 및 해외 간 데이터 이동 관리

조직 정책 서비스는 데이터 애셋에 허용되는 저장소 리전을 정의하고 Access Context Manager는 사용자 위치를 기반으로 액세스를 제한합니다. Data Catalog는 승인된 스토리지 위치를 메타데이터 태그로 저장합니다. 보고서 엔진은 이러한 태그를 BigQuery의 데이터 애셋 실제 위치와 비교하고 불일치하는 경우 Pub/Sub을 사용하여 결과로 게시합니다. Security Command Center는 정의된 정책 외부에 데이터가 저장되거나 액세스되는 경우 취약점 발견 항목을 생성하여 추가 모니터링 레이어를 제공합니다.

데이터 카탈로그가 구현 및 사용되며 상호 운용이 가능

Data Catalog는 모든 BigQuery 데이터 애셋의 기술 메타데이터를 저장하고 업데이트하여 지속적으로 동기화되는 Data Catalog를 효과적으로 만듭니다. Data Catalog를 사용하면 새 테이블 또는 수정된 테이블과 보기가 즉시 카탈로그에 추가되어 최신 데이터 애셋 인벤토리를 유지할 수 있습니다.

데이터 분류 정의 및 사용

민감한 정보 보호는 BigQuery 데이터를 검사하고 민감한 정보 유형을 식별합니다. 그런 다음 이러한 발견 항목은 분류 참조 표를 기준으로 순위가 매겨지며, 가장 높은 민감도 수준이 열 및 테이블 수준에서 Data Catalog에 태그로 할당됩니다. Tag Engine은 새 데이터 애셋이 추가되거나 기존 데이터 애셋이 수정될 때마다 민감도 태그로 Data Catalog를 업데이트하여 이 프로세스를 관리합니다. 이 프로세스를 통해 민감도에 따라 데이터 분류가 지속적으로 업데이트되며, Pub/Sub 및 통합 보고 도구를 사용하여 이를 모니터링하고 보고할 수 있습니다.

데이터 사용 권한을 관리, 적용, 추적

BigQuery 정책 태그는 열 수준에서 민감한 정보에 대한 액세스를 제어하므로 승인된 사용자만 할당된 정책 태그를 기반으로 특정 데이터에 액세스할 수 있습니다. IAM은 데이터 웨어하우스에 대한 전반적인 액세스를 관리하고 Data Catalog는 민감도 분류를 저장합니다. 모든 민감한 정보에 해당하는 정책 태그가 있는지 정기적으로 확인하며, 불일치가 있는 경우 Pub/Sub을 사용하여 해결합니다.

윤리적인 액세스, 사용, 데이터 결과 관리

제공업체와 소비자 모두의 데이터 공유 계약은 소비 목적을 제어하기 위해 전용 BigQuery 데이터 웨어하우스에 저장됩니다. Data Catalog는 데이터 애셋에 제공업체 계약 정보로 라벨을 지정하고 소비자 계약은 액세스 제어를 위해 IAM 바인딩에 연결됩니다. 쿼리 라벨은 소비 목적을 적용하므로 소비자는 민감한 정보를 쿼리할 때 유효한 목적을 지정해야 하며, 이 목적은 BigQuery의 사용 권한에 대해 유효성 검사를 거칩니다. BigQuery의 감사 추적은 모든 데이터 액세스를 추적하고 데이터 공유 계약을 준수하도록 합니다.

데이터가 보호되고 제어가 입증됨

Google의 기본 저장 데이터 암호화는 디스크에 저장된 데이터를 보호하는 데 도움이 됩니다. Cloud KMS는 향상된 키 관리를 위해 고객 관리 암호화 키 (CMEK)를 지원합니다. BigQuery는 익명처리를 위해 열 수준 동적 데이터 마스킹을 구현하고 데이터 처리 중에 애플리케이션 수준 익명처리를 지원합니다. Data Catalog는 데이터 애셋에 적용되는 암호화 및 익명화 기법의 메타데이터 태그를 저장합니다. 자동화된 검사를 통해 암호화 및 비식별화 방법이 사전 정의된 보안 정책을 준수하는지 확인하고 일치하지 않는 경우 Pub/Sub를 사용하여 발견사항으로 보고합니다.

데이터 개인 정보 보호 프레임워크가 정의되고 운영됨

Data Catalog는 민감한 데이터 애셋에 피험자 위치, 평가 보고서 링크와 같은 영향 평가와 관련된 정보로 태그를 지정합니다. 태그 엔진은 데이터 민감도와 BigQuery의 정책 테이블을 기반으로 이러한 태그를 적용합니다. 이 테이블은 데이터 및 대상자 상주 위치를 기반으로 평가 요구사항을 정의합니다. 이 자동 태그 지정 프로세스를 통해 영향 평가 요구사항 준수 여부를 지속적으로 모니터링하고 보고할 수 있으므로 필요한 경우 데이터 보호 영향 평가(DPIA) 또는 개인 정보 보호 영향 평가 (PIA)를 실시할 수 있습니다.

데이터 수명 주기 계획 및 관리

Data Catalog는 보관 기간 및 만료 작업 (예: 보관처리 또는 삭제)을 지정하는 보관 정책으로 데이터 애셋에 라벨을 지정합니다. Record Manager는 정의된 태그를 기반으로 BigQuery 테이블을 삭제하거나 보관처리하여 이러한 정책의 시행을 자동화합니다. 이러한 시정 조치는 데이터 수명 주기 정책을 준수하고 데이터 보관 요구사항을 준수하도록 유지하며, Pub/Sub을 사용하여 불일치가 감지되고 보고됩니다.

데이터 품질이 관리됨

Cloud Data Quality Engine은 지정된 테이블 열에 데이터 품질 규칙을 정의하고 실행하여 정확성 및 완전성과 같은 측정항목을 기반으로 데이터 품질을 측정합니다. 성공률 및 임곗값을 비롯한 이러한 검사의 결과는 Data Catalog에 태그로 저장됩니다. 이러한 결과를 저장하면 데이터 품질을 지속적으로 모니터링하고 보고할 수 있으며, 문제가 있거나 허용 가능한 기준점과 일치하지 않는 경우 Pub/Sub를 사용하여 발견 항목으로 게시됩니다.

비용 관리 원칙이 수립되고 적용됨

데이터 카탈로그는 Cloud Billing에서 BigQuery로 내보낸 결제 정보를 사용하여 계산된 쿼리 비용, 스토리지 비용, 데이터 이그레스 비용과 같은 데이터 애셋의 비용 관련 측정항목을 저장합니다. 비용 관련 측정항목을 저장하면 포괄적인 비용 추적 및 분석을 통해 비용 정책을 준수하고 리소스를 효율적으로 활용할 수 있으며, Pub/Sub을 사용하여 이상치를 보고할 수 있습니다.

데이터 출처 및 계보 이해

Data Catalog의 기본 제공 데이터 계보 기능은 데이터 애셋의 출처 및 계보를 추적하여 데이터 흐름을 시각적으로 나타냅니다. 또한 데이터 수집 스크립트는 Data Catalog에서 데이터의 원본 소스를 식별하고 태그를 지정하여 데이터의 출처까지의 추적 가능성을 개선합니다.

기반 파이프라인

부트스트랩

• 데이터 플랫폼 폴더 및 하위 폴더
• 공통 프로젝트
• 인프라 파이프라인 서비스 계정
• 인프라 파이프라인의 Cloud Build 트리거
• 공유 VPC
• VPC 서비스 제어 경계

인프라 파이프라인

기반 파이프라인

• 소비자 프로젝트
• 서비스 카탈로그 서비스 계정
• 서비스 카탈로그 파이프라인의 Cloud Build 트리거
• 아티팩트 파이프라인 서비스 계정
• 아티팩트 파이프라인의 Cloud Build 트리거

서비스 카탈로그 파이프라인

인프라 파이프라인

• 서비스 카탈로그 버킷에 배포된 리소스

아티팩트 파이프라인

인프라 파이프라인

아티팩트 파이프라인은 데이터 메시에서 사용하는 코드베이스의 다양한 컨테이너와 기타 구성요소를 생성합니다.

CDMC 프레임워크

Google Cloud CDMC 구현

데이터 애셋을 보호, 관리, 제어하는 데 도움이 되는 거버넌스 프레임워크를 제공합니다. 자세한 내용은 CDMC 키 제어 프레임워크를 참고하세요.

배포

인프라 파이프라인

인프라를 배포하고 컨테이너를 빌드하고 데이터 파이프라인을 만드는 일련의 파이프라인을 제공합니다. 파이프라인을 사용하면 감사 가능성, 추적 가능성, 반복성이 허용됩니다.

아티팩트 파이프라인

인프라 파이프라인에서 배포하지 않은 다양한 구성요소를 배포합니다.

Terraform 템플릿

시스템 인프라를 빌드합니다.

Open Policy Agent

플랫폼이 선택한 정책을 준수하도록 지원합니다.

네트워크

Private Service Connect

API 레이어 및 IP 레이어에서 아키텍처 리소스 주위에 데이터 무단 반출 보호를 제공합니다. 인터넷에 트래픽이 노출되지 않도록 비공개 IP 주소를 사용하여 Google Cloud API와 통신할 수 있습니다.

비공개 IP 주소를 사용하는 VPC 네트워크

인터넷에 노출된 위협을 제거하는 데 도움이 됩니다.

VPC 서비스 제어

민감한 리소스를 데이터 무단 반출로부터 보호하는 데 도움이 됩니다.

방화벽

VPC 네트워크를 무단 액세스로부터 보호하는 데 도움이 됩니다.

액세스 관리

Access Context Manager

누가 어떤 리소스에 액세스할 수 있는지를 제어하고 리소스 무단 사용을 방지합니다.

워크로드 아이덴티티 제휴

온프레미스 환경에서 플랫폼으로 데이터를 전송하는 데 외부 사용자 인증 정보가 필요하지 않습니다.

Data Catalog

사용자가 사용할 수 있는 애셋의 색인을 제공합니다.

IAM

세분화된 액세스를 제공합니다.

암호화

Cloud KMS

암호화 키와 보안 비밀을 관리하고 저장 데이터 암호화 및 전송 중 데이터 암호화를 통해 데이터를 보호할 수 있습니다.

Secret Manager

IAM에서 제어하는 파이프라인의 보안 비밀 저장소를 제공합니다.

저장 데이터 암호화

기본적으로 Google Cloud 는 저장 데이터를 암호화합니다.

전송 중인 데이터 암호화

기본적으로 Google Cloud 는 전송 중인 데이터를 암호화합니다.

탐지

Security Command Center

조직에서 잘못된 구성 및 악의적인 활동을 감지하는 데 도움이 됩니다. Google Cloud

지속적 아키텍처

조직이 정의한 일련의 OPA 정책을 준수하는지 Google Cloud 지속적으로 확인합니다.

IAM 추천자

사용자 권한을 분석하고 최소 권한의 원칙을 적용할 수 있도록 권한 축소를 추천합니다.

방화벽 통계

방화벽 규칙을 분석하고, 과도한 권한이 부여된 방화벽 규칙을 식별하고, 전반적인 보안 상태를 강화하는 데 도움이 되는 보다 제한적인 방화벽을 제안합니다.

Cloud Logging

시스템 활동에 대한 가시성을 제공하고 이상 및 악의적인 활동을 감지할 수 있도록 합니다.

Cloud Monitoring

의심스러운 활동을 식별하는 데 도움이 되는 주요 신호 및 이벤트를 추적합니다.

예방책

조직 정책

조직 내에서 작업을 제어하고 제한할 수 있습니다. Google Cloud