데이터 프로필의 통계를 기반으로 Dataplex 카탈로그 측정기준 추가

이 페이지에서는 Sensitive Data Protection에서 리소스를 프로파일링한 후 데이터에 Dataplex 측면을 자동으로 추가하는 방법을 설명합니다. 또한 이 페이지에서는 특정 측정기준 값이 있는 조직 및 프로젝트에서 데이터를 찾는 데 사용할 수 있는 쿼리 예시를 제공합니다.

이 기능은 Dataplex에서 Sensitive Data Protection 데이터 프로필에서 수집한 통계로 메타데이터를 보강하려는 경우에 유용합니다. 생성된 측정기준에는 다음과 같은 통계가 포함됩니다.

  • 테이블 또는 데이터 세트의 계산된 민감도 수준
  • 테이블 또는 데이터 세트의 계산된 데이터 위험 수준
  • 테이블 또는 데이터 세트에서 감지된 정보 유형 (infoType)

Sensitive Data Protection 데이터 프로필의 통계는 Dataplex를 사용하여 조직에서 민감하고 위험성이 높은 데이터를 찾는 데 도움이 될 수 있습니다. 이러한 통계를 사용하여 데이터를 관리하고 규제하는 방법에 대해 정보에 입각한 결정을 내릴 수 있습니다.

데이터 프로필 정보

Sensitive Data Protection을 구성하여 조직, 폴더 또는 프로젝트 전체에서 데이터에 대한 프로필을 자동으로 생성할 수 있습니다. 데이터 프로필은 데이터에 대한 측정항목과 메타데이터를 포함하며 민감한 정보와 고위험 데이터를 저장할 위치를 결정하는 데 도움이 됩니다. Sensitive Data Protection은 이러한 측정항목을 다양한 세부 수준에서 보고합니다.

Dataplex, Pub/Sub, Security Command Center, Google Security Operations와 같은 다른 Google Cloud 서비스로 데이터 프로필을 전송하여 데이터 거버넌스, 알림, 보안 워크플로를 개선할 수 있습니다.

Dataplex 카탈로그 정보

Dataplex 카탈로그는 Google Cloud 리소스의 통합 인벤토리를 제공하는 Dataplex 기능입니다.

Dataplex 카탈로그를 사용하면 측정기준을 사용하여 데이터에 비즈니스 및 기술 메타데이터를 추가하여 리소스에 관한 컨텍스트와 지식을 캡처할 수 있습니다. 그런 다음 조직 전반에서 데이터를 검색하고 탐색할 수 있으며 데이터 애셋에 대한 데이터 거버넌스를 사용 설정할 수 있습니다. 자세한 내용은 관점을 참고하세요.

지원되는 리소스

민감한 정보 보호는 다음 리소스의 Dataplex 항목에 측정기준을 자동으로 연결할 수 있습니다.

  • BigQuery 테이블
  • Cloud SQL 테이블

  • BigQuery 테이블에서 만든 Vertex AI 데이터 세트

Dataplex 카탈로그는 Cloud Storage 버킷을 처리하지 않으므로 Cloud Storage 데이터를 프로파일링할 때 이 기능을 사용할 수 없습니다.

작동 방식

데이터 프로필을 기반으로 Dataplex 카탈로그 측면을 자동으로 만드는 대략적인 워크플로는 다음과 같습니다.

  1. 지원되는 리소스 유형의 스캔 구성을 만들거나 수정합니다.

  2. 작업 추가 단계에서 Dataplex 카탈로그에 관점으로 전송 작업이 사용 설정되어 있는지 확인합니다.

    스캔 구성을 만드는 경우 이 작업은 기본적으로 사용 설정되어 있습니다.

    스캔 구성을 수정하는 경우 이 작업을 사용 설정합니다.

민감한 정보 보호는 프로파일링하는 각 지원되는 리소스Dataplex 항목에 있는 Sensitive Data Protection profile 측면을 추가하거나 업데이트합니다. 그런 다음 Dataplex Catalog에서 특정 측정기준 값이 있는 조직 또는 프로젝트의 모든 데이터를 검색할 수 있습니다.

Dataplex 카탈로그에 관점으로 전송 작업을 사용 설정하면 Sensitive Data Protection은 이 작업을 새 프로필 및 업데이트된 프로필에만 적용합니다. 업데이트되지 않은 기존 프로필은 Dataplex 카탈로그로 전송되지 않습니다.

최상위 필드

프로파일링된 테이블의 결과 측정항목에는 다음과 같은 최상위 필드가 있을 수 있습니다.

표시 이름 예시 값 설명
Sensitivity MODERATE 테이블의 계산된 민감도 수준
Risk MODERATE 테이블의 계산된 데이터 위험 수준
InfoTypes
  • infoType: CREDIT_CARD_NUMBER
  • infoType: PHONE_NUMBER
  • infoType: US_SOCIAL_SECURITY_NUMBER
예측된 infoType기타 infoType을 포함하여 테이블에서 찾은 모든 infoType의 목록입니다. 이 필드는 테이블에서 infoType이 하나 이상 감지된 경우 포함됩니다.
Column InfoTypes
  • infoType: CREDIT_CARD_NUMBER
  • infoType: PHONE_NUMBER
테이블의 모든 열에서 발견된 모든 예측된 infoType의 목록입니다. 이 필드는 표에서 예측된 infoType이 하나 이상 감지된 경우 포함됩니다.
Project Profile 이 페이지의 프로젝트 프로필 및 조직 프로필을 참고하세요. 리소스가 프로젝트 수준 스캔 구성을 통해 프로파일링된 경우 포함됩니다.
Organization Profile 이 페이지의 프로젝트 프로필 및 조직 프로필을 참고하세요. 조직 수준 또는 폴더 수준 스캔 구성을 통해 리소스가 프로파일링된 경우 포함됩니다.

리소스가 프로젝트 수준과 조직 또는 폴더 수준에서 모두 프로파일링된 경우 민감한 정보 보호는 두 프로필의 값을 집계합니다. 측정기준은 감지된 infoTypes의 합집합을 제공하고 두 프로필의 가장 높은 민감도 및 데이터 위험 등급을 사용합니다.

예를 들어 프로젝트 수준 프로필에서 리소스의 민감도를 MODERATE로 평가하고 조직 수준 프로필에서 민감도를 LOW로 평가한다고 가정해 보겠습니다. 이 경우 측면의 최상위 Sensitivity 필드 값은 MODERATE입니다.

프로젝트 프로필 및 조직 프로필 필드

결과 Sensitive Data Protection profile 측면에는 리소스가 프로파일링된 수준에 따라 다음 최상위 필드 중 하나 또는 둘 다 포함됩니다.

Project Profile
프로젝트 수준 스캔 구성을 통해 리소스가 프로파일링된 경우 측정항목에 포함됨
Organization Profile
조직 수준 또는 폴더 수준 스캔 구성을 통해 리소스가 프로파일링된 경우 측정항목에 포함됨

리소스가 프로젝트 수준과 조직 또는 폴더 수준에서 모두 프로파일링된 경우 결과 측정항목에는 Project Profile 필드와 Organization Profile 필드가 모두 있습니다.

Project Profile 또는 Organization Profile 필드에는 데이터 프로필에 나열된 값이 있는 중첩된 SensitivityRisk 필드가 포함됩니다. 데이터 프로필에 예측된 infoType 및 기타 infoType이 나열된 경우 중첩된 Column InfoTypesInfoTypes 필드로도 사용할 수 있습니다. 또한 각 Project Profile 또는 Organization Profile 필드에는 다음과 같은 중첩 필드가 포함됩니다.

Profile

데이터 프로필의 전체 리소스 이름입니다. 예:

  • 프로젝트 수준 프로필: projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • 조직 수준 또는 폴더 수준 프로필: organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
Profile Link

Google Cloud 콘솔의 프로필 링크입니다. 예:

  • 프로젝트 수준 프로필: https://console.cloud.google.com/security/sensitive-data-protection/projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • 조직 수준 또는 폴더 수준 프로필: https://console.cloud.google.com/security/sensitive-data-protection/organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

Dataplex API 사용 설정

측정기준을 추가하려는 리소스가 포함된 각 프로젝트에서 Dataplex API를 사용 설정해야 합니다. 이 섹션에서는 단일 프로젝트 또는 조직 또는 폴더의 모든 프로젝트에서 Dataplex API를 사용 설정하는 방법을 설명합니다.

단일 프로젝트에서 Dataplex API 사용 설정

  1. Dataplex API를 사용 설정할 프로젝트를 선택합니다.

    프로젝트 선택기로 이동

  2. Enable the Dataplex API.

    Enable the API

조직 또는 폴더의 모든 프로젝트에서 Dataplex API 사용 설정

이 섹션에서는 조직 또는 폴더의 모든 프로젝트를 검색하고 각 프로젝트에서 Dataplex API를 사용 설정하는 스크립트를 제공합니다.

조직 또는 폴더의 모든 프로젝트에서 Dataplex API를 사용 설정하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이러한 사전 정의된 역할에는 조직 또는 폴더의 모든 프로젝트에서 Dataplex API를 사용 설정하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

조직 또는 폴더의 모든 프로젝트에서 Dataplex API를 사용 설정하려면 다음 권한이 필요합니다.

  • 조직 또는 폴더의 모든 프로젝트를 검색하려면 다음 단계를 따르세요. 조직 또는 폴더에서 cloudasset.assets.searchAllResources 클릭합니다.
  • Dataplex API를 사용 설정하려면 다음 단계를 따르세요. serviceusage.services.use Dataplex API를 사용 설정하려는 각 프로젝트에서

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

조직 또는 폴더의 모든 프로젝트에서 Dataplex API를 사용 설정하려면 다음 단계를 따르세요.

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. 다음 스크립트를 실행합니다.

    #!/bin/bash
    
    RESOURCE_ID="RESOURCE_ID"
    
    gcloud asset search-all-resources \
        --scope="RESOURCE_TYPE/$RESOURCE_ID" \
        --asset-types="cloudresourcemanager.googleapis.com/Project" \
        --format="value(name)" |
        while read project_name; do
          project_id=$(echo "$project_name" | sed 's|.*/||')
          gcloud services enable "dataplex.googleapis.com" --project="$project_id"
        done
    

    다음을 바꿉니다.

    • RESOURCE_ID: 프로젝트가 포함된 리소스의 조직 번호 또는 폴더 번호입니다.
    • RESOURCE_TYPE: 프로젝트가 포함된 리소스의 유형(organizations 또는 folders)

측정기준 보기 역할 및 권한

리소스와 연결된 측정항목을 검색하는 데 필요한 권한을 얻으려면 관리자에게 리소스에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이러한 사전 정의된 역할에는 리소스와 연결된 측정항목을 검색하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

리소스와 연결된 측정항목을 검색하려면 다음 권한이 필요합니다.

  • Dataplex 항목 보기:
    • dataplex.entries.list
    • dataplex.entries.get
  • BigQuery 데이터 세트 및 테이블 보기:
    • bigquery.datasets.get
    • bigquery.tables.get
  • Vertex AI 데이터 세트 보기: aiplatform.datasets.get

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

Dataplex를 사용하는 데 필요한 권한에 관한 자세한 내용은 Dataplex IAM 권한을 참고하세요.

지정된 테이블 데이터 프로필에 대해 생성된 측정기준 찾기

  1. Google Cloud 콘솔에서 Dataplex 검색 페이지로 이동합니다.

    검색 페이지로 이동

  2. 조직 또는 프로젝트를 선택합니다.

  3. 검색 플랫폼 선택에서 검색 모드로 Dataplex Catalog를 선택합니다.

  4. 검색 필드에 다음을 입력합니다.

    name:TABLE_ID
    

    TABLE_ID를 프로파일링된 테이블의 ID로 바꿉니다.

  5. 표시되는 목록에서 표 이름을 클릭합니다. BigQuery 테이블의 세부정보가 표시됩니다. 이와 연결된 모든 Sensitive Data Protection profile관점은 선택적 태그 및 관점 섹션에 표시됩니다.

리소스를 검색하는 방법에 관한 자세한 내용은 Dataplex 카탈로그에서 리소스 검색을 참고하세요.

검색어 예

이 섹션에서는 Dataplex에서 특정 측정기준 값이 있는 조직 또는 프로젝트의 데이터를 찾는 데 사용할 수 있는 검색 쿼리 예시를 제공합니다.

액세스 권한이 있는 데이터만 찾을 수 있습니다. 데이터 액세스는 IAM 권한을 통해 제어됩니다. 자세한 내용은 이 페이지의 측정기준 보기 역할 및 권한을 참고하세요.

Dataplex 검색 페이지의 검색 입력란에 이러한 검색어 예시를 입력할 수 있습니다.

검색 페이지로 이동

쿼리를 작성하는 방법에 관한 자세한 내용은 Dataplex 카탈로그 검색 문법을 참고하세요.

민감한 정보 보호 프로필 측면이 있는 모든 리소스 찾기

aspect:sensitive-data-protection-profile

지정된 민감도 점수가 있는 모든 리소스 찾기

aspect:sensitive-data-protection-profile.sensitivity=SENSITIVITY_SCORE

SENSITIVITY_SCOREHIGH, MODERATE, UNKNOWN, LOW로 바꿉니다.

자세한 내용은 민감도 및 데이터 위험 수준을 참고하세요.

지정된 위험 점수가 있는 모든 리소스 찾기

aspect:sensitive-data-protection-profile.risk=DATA_RISK_LEVEL

DATA_RISK_LEVELHIGH, MODERATE, UNKNOWN, LOW로 바꿉니다.

자세한 내용은 민감도 및 데이터 위험 수준을 참고하세요.

프로젝트 수준 프로필이 있는 모든 리소스 찾기

aspect:sensitive-data-protection-profile.projectProfile

조직 수준 프로필이 있는 모든 리소스 찾기

aspect:sensitive-data-protection-profile.organizationProfile