Data Catalog를 사용하여 데이터 애셋 관리

Data Catalog는 Bigtable 리소스에 대해 메타데이터를 자동으로 카탈로그화하는 Dataplex 기능입니다. 이 기능을 사용하면 조직에서 Bigtable 데이터 애셋을 검색하고 관리할 수 있습니다.

메타데이터는 다음 Bigtable 리소스에 대해 Bigtable에서 Data Catalog로 자동으로 동기화됩니다.

  • 인스턴스
  • 클러스터
  • Column family 세부정보를 포함한 테이블

Data Catalog는 Dataplex 내의 완전 관리형 메타데이터 관리 서비스입니다. 기술 및 비즈니스 메타데이터에 대한 통합 뷰 및 태그 지정 메커니즘을 제공합니다. Data Catalog 및 Data Catalog를 사용해야 하는 이유에 관한 자세한 내용은 Data Catalog란 무엇인가요?를 참고하세요.

Bigtable에서 Data Catalog를 사용하는 이점

데이터에 대한 Data Catalog 정보는 분석, 데이터 재사용, 애플리케이션 개발, 데이터 관리를 지원하는 데 도움이 됩니다.

Data Catalog에서 리소스 이름 또는 세부정보를 기준으로 항목을 검색할 수 있습니다. 예를 들어 인스턴스 이름을 검색하여 인스턴스의 항목을 찾거나 열 패밀리를 검색하여 테이블의 항목을 찾을 수 있습니다. 필터를 적용하여 검색 범위를 좁히는 면별 검색을 사용할 수도 있습니다. 자세한 내용은 Data Catalog로 데이터 애셋 검색 및 보기를 참고하세요.

데이터 애셋에 태그를 지정하면 Bigtable 테이블에서 사용할 수 있는 데이터를 이해하고 카탈로그화하여 다른 Data Catalog 사용자들이 더 큰 데이터 자산의 일부로 데이터를 더 쉽게 조회 및 검색할 수 있습니다. 태그를 사용하여 카탈로그화된 메타데이터에 자체 메타데이터를 추가한 후 해당 태그를 사용하여 검색을 수행할 수 있습니다.

Data Catalog 시작하기

Data Catalog를 사용하여 Bigtable 데이터 애셋을 관리하려면 다음 태스크를 완료하세요.

  1. Data Catalog를 처음 사용하는 경우 API를 사용 설정합니다.

  2. Data Catalog의 Bigtable 항목에 액세스해야 하는 사용자에게 IAM 역할을 부여합니다.

  3. Data Catalog로 검색하는 방법을 참조하여 데이터 애셋 검색 방법 알아보기

  4. Data Catalog 검색 구문을 검토하여 메타데이터를 찾는 방법 알아보기

  5. 태그 및 태그 템플릿에서 Data Catalog 항목 태그 지정에 대한 개념 읽기

Bigtable 메타데이터 검색 방법

Data Catalog를 사용하여 동기화된 Bigtable 메타데이터를 검색할 수 있습니다.

표준 한정자 외에도 다음을 사용하여 Bigtable 리소스를 검색할 수 있습니다.

  • 인스턴스

    • Bigtable 인스턴스 이름
    • Bigtable 인스턴스 ID
    • 클러스터 위치
    • 클러스터 ID

  • 테이블

    • 테이블 ID
    • column family 이름
    • Bigtable 인스턴스 이름
    • Bigtable 인스턴스 ID

필요한 역할

Data Catalog에서 Bigtable 리소스 보기, 태그 지정, 검색의 권한 요구사항은 다릅니다. 일반적으로 조직의 주 구성원에게는 작업을 완료하는 데 필요한 최소 역할을 부여합니다.

공개 및 비공개 태그를 볼 수 있는 권한

Bigtable 리소스에서 공개 태그와 비공개 태그를 보는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

이러한 사전 정의된 역할에는 공개 및 비공개 태그를 보는 데 필요한 권한이 포함되어 있습니다. 정확히 다음과 같은 권한이 필요합니다.

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • datacatalog.tagTemplates.getTag

Bigtable 리소스를 검색할 수 있는 권한

Data Catalog에서 Bigtable 리소스를 검색하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

이러한 사전 정의된 역할에는 Bigtable 리소스를 검색하는 데 필요한 권한이 포함되어 있습니다. 정확히 다음과 같은 권한이 필요합니다.

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Bigtable 리소스에 태그를 연결할 수 있는 권한

Data Catalog의 Bigtable 리소스에 태그를 연결하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

이러한 사전 정의된 역할에는 공개 및 비공개 태그를 추가하는 데 필요한 권한이 포함되어 있습니다. 정확히 다음과 같은 권한이 필요합니다.

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • datacatalog.tagTemplates.use
  • datacatalog.entries.updateTag

(선택사항) 맞춤 역할 만들기

프로젝트 또는 조직 전반에서 Data Catalog의 모든 Bigtable 메타데이터에 대한 전체 액세스 권한이 필요한 사용자에게 부여할 커스텀 역할을 만들 수 있습니다. 그런 다음 액세스 권한이 필요한 모든 사용자 또는 서비스 계정을 맞춤 역할의 주 구성원으로 만들 수 있습니다. 맞춤 역할에 대한 자세한 내용은 역할 및 권한을 참고하세요.

Bigtable 데이터 카탈로그 편집자와 같이 의미 있는 역할 이름을 선택한 다음 역할에 액세스해야 하는 주 구성원만 할당합니다. 설정 안내는 커스텀 역할 만들기를 참고하세요.

맞춤 역할에 다음 권한을 부여합니다.

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • datacatalog.tagTemplates.getTag
  • datacatalog.tagTemplates.use

Data Catalog 권한에 관한 자세한 내용은 Google Cloud 리소스를 검색할 수 있는 역할을 참고하세요. Bigtable 권한에 관한 설명은 권한을 참고하세요.

알려진 제약조건

다음 섹션에는 데이터 카탈로그를 사용하여 Bigtable 메타데이터를 관리하기 전에 알아야 하는 몇 가지 제약 조건이 나와 있습니다.

위치 제약조건

조직에서 위치 제약조건을 설정한 경우 Bigtable 리소스의 메타데이터 항목이 Data Catalog에 동기화되지 않을 수 있습니다. Data Catalog에서 위치 제약조건을 적용하기 전에 생성된 모든 항목을 보관합니다.

Data Catalog에서 리소스를 로드하도록 허용하려면 위치 정책에 global 멀티 리전을 추가하는 것이 좋습니다.

Column family 이름 예외

Data Catalog API는 요청의 column family 이름에 마침표(.)가 포함된 요청을 거부합니다. 예를 들어 column family 이름이 personal.info인 경우입니다.

다음 단계