항목 관리 및 커스텀 소스 수집

이 문서에서는 커스텀 데이터 소스를 Dataplex에 통합할 수 있도록 항목 유형, 항목 그룹, 커스텀 항목을 만들고 관리하는 방법을 설명합니다.

항목은 메타데이터를 캡처하는 리소스를 나타냅니다. 항목 그룹은 하나 이상의 항목을 위한 컨테이너로, 액세스 제어 및 리전별 위치를 관리하는 데 사용됩니다. 항목 유형은 항목의 필수 메타데이터를 정의합니다. 항목 유형은 자유로운 흐름의 느슨하게 정의된 항목 리소스에 구조와 규칙을 적용하여 항목을 확장할 수 있도록 합니다.

커스텀 데이터 소스를 Dataplex에 통합하려면 커스텀 항목 그룹에 있는 커스텀 항목 유형을 사용하여 커스텀 항목을 만듭니다. 커스텀 항목을 만들려면 다음과 같은 대략적인 단계를 따라야 합니다.

  1. 항목 그룹을 만듭니다.
  2. 항목 유형을 만듭니다.
  3. 항목 그룹 내에 항목 유형의 커스텀 항목을 만듭니다.

항목

항목은 메타데이터를 캡처하는 데이터 애셋을 나타냅니다. 모든 항목은 항목 유형의 인스턴스입니다. 항목의 각 관점 작업은 항목 유형의 필수 관점을 준수해야 합니다. 예를 들어 항목을 만들 때는 항목 유형에서 정의한 모든 관점 유형의 값을 제공해야 합니다. 항목 유형에서 required로 표시된 항목의 관점은 삭제할 수 없습니다.

항목 카테고리

  • 시스템 항목: Dataplex는 BigQuery 데이터 세트 또는 테이블과 같은 Google Cloud 리소스의 항목을 만듭니다. Dataplex에서 만드는 항목을 시스템 항목이라고 합니다. Dataplex는 지원되는 Google Cloud 시스템의 지속적인 메타데이터 동기화를 통해 시스템 항목을 자동으로 최신 상태로 유지합니다.

    시스템 항목에 자동으로 채워지는 메타데이터(필수 관점이라고 함)는 수정할 수 없습니다. 선택적 관점을 사용해야 시스템 항목의 메타데이터를 추가하고 수정할 수 있습니다. 자세한 내용은 관점 카테고리를 참조하세요.

  • 커스텀 항목: 커스텀 리소스에 대해 만들고 관리할 수 있는 항목을 커스텀 항목이라고 합니다. 커스텀 리소스는 Google Cloud 또는 외부(예: 온프레미스)에서 호스팅되는 Google 이외 서비스의 리소스입니다.

항목 그룹

항목 그룹은 하나 이상의 항목을 위한 컨테이너입니다. 항목 그룹을 사용하여 항목의 액세스 제어 및 리전별 위치를 관리할 수 있습니다. 모든 항목 그룹은 프로젝트에 속합니다.

항목 그룹 카테고리

  • 시스템 항목 그룹: Google Cloud 리소스의 경우 Dataplex는 리소스가 있는 모든 프로젝트 및 위치의 각 시스템에 대한 항목 그룹을 자동으로 만듭니다. 예를 들어 @bigquery는 BigQuery의 시스템 항목 그룹입니다.

  • 커스텀 항목 그룹: 커스텀 리소스를 위해 만드는 항목 그룹입니다.

항목 유형

항목 유형은 필수 관점 유형 세트를 사용하여 이 유형의 항목에 대한 필수 메타데이터를 정의합니다.

필수 관점 유형은 항목의 열이 아닌 항목에만 지정할 수 있습니다. 특정 항목 유형의 항목을 만들 때는 항목 유형에서 지정된 모든 필수 관점 유형의 값을 제공해야 합니다.

항목 유형 내에서 참조되는 필수 관점 유형은 항목 유형과 동일한 프로젝트에 속해야 합니다.

항목 유형 카테고리

  • 커스텀 항목 유형: 사용자가 만들고 관리하는 항목 유형입니다. 이러한 항목 유형을 사용하여 커스텀 항목을 만들 수 있습니다.

  • 시스템 항목 유형: Dataplex는 기본적으로 이러한 항목 유형을 제공합니다. 시스템 항목 유형은 재사용 가능 및 제한됨으로 세부 분류됩니다.

    다음 표에는 시스템 항목 유형의 카테고리와 Dataplex에서 각 카테고리에 제공하는 항목 유형 목록이 나와 있습니다.

    시스템 항목 유형 카테고리 설명 Dataplex에서 제공하는 항목 유형
    재사용 가능 시스템 항목 유형 이 항목 유형을 사용하여 커스텀 항목을 만들 수 있습니다.
    • generic
    제한됨 시스템 항목 유형 Google Cloud 리소스의 항목 만들기 등의 시스템 사용을 위해 예약되어 있습니다.

    이러한 항목 유형을 사용하여 항목을 만들 수는 없지만 이러한 항목 유형의 항목을 수정하여 선택적 관점을 추가할 수 있습니다.
    • bigquery-connection
    • bigquery-dataset
    • bigquery-model
    • bigquery-routine
    • bigquery-table
    • bigquery-view
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-schema
    • cloudsql-table
    • cloudsql-view
    • sql-access
    • storage
    • storage-bucket
    • storage-folder

특정 리전별 위치에 또는 전역 리소스로 커스텀 항목 유형을 만들 수 있습니다. 시스템 항목 유형은 항상 전역입니다. 항목 유형의 위치는 적용 범위에 영향을 미칩니다. 자세한 내용은 프로젝트 및 위치 제약조건을 참조하세요.

시작하기 전에

항목을 관리하고 커스텀 데이터 소스를 수집하기 전에 이 섹션에 설명된 작업을 완료해야 합니다.

필요한 역할

항목을 만들고 관리하는 데 필요한 권한을 얻으려면 관리자에게 리소스에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

자세한 내용은 Dataplex IAM 역할을 참조하세요.

API 사용 설정

Dataplex 프로젝트에서 Dataplex API를 사용 설정합니다.

API 사용 설정

항목 그룹 만들기

콘솔

  1. Google Cloud 콘솔에서 Dataplex 카탈로그 페이지로 이동합니다.

    카탈로그로 이동

  2. 항목 그룹 > 커스텀 탭을 클릭합니다.

  3. 만들기를 클릭합니다.

  4. 항목 그룹 만들기 창에 다음을 입력합니다.

    1. 선택사항: 표시 이름 필드에 항목 그룹의 표시 이름을 입력합니다.
    2. 항목 그룹 ID: 항목 그룹의 고유 ID를 입력합니다.
    3. 선택사항: 설명 필드에 항목 그룹에 대한 설명을 입력합니다.
    4. 위치: 위치를 선택합니다. 항목 그룹을 만든 후에는 위치를 수정할 수 없습니다.

  5. 선택사항: 라벨 섹션에서 리소스에 키-값 쌍으로 임의의 라벨을 추가합니다.

    1. 라벨 추가를 클릭합니다.
    2. 키 필드에 키를 입력합니다.
    3. 값 필드에 키 값을 입력합니다.
    4. 라벨을 추가하려면 라벨 추가를 클릭하고 단계를 반복합니다.

  6. 저장을 클릭합니다.

gcloud

항목 그룹을 만들려면 gcloud dataplex entry-groups create 명령어를 사용합니다.

REST

항목 그룹을 만들려면 entryGroups.Create 메서드를 사용합니다.

항목 유형 만들기

새 소스를 수집하려면 항목 유형을 만들어야 합니다.

콘솔

  1. Google Cloud 콘솔에서 Dataplex 카탈로그 페이지로 이동합니다.

    카탈로그로 이동

  2. 항목 유형 > 커스텀 탭을 클릭합니다.

  3. 만들기를 클릭합니다.

  4. 항목 유형 만들기 창에 다음을 입력합니다.

    1. 선택사항: 표시 이름 필드에 항목 유형의 표시 이름을 입력합니다.
    2. 항목 유형 ID: 항목 유형의 고유 ID를 입력합니다. 항목 유형을 만든 후에는 이를 수정할 수 없습니다.
    3. 선택사항: 설명 필드에 항목 유형에 대한 설명을 입력합니다.
    4. 선택사항: 시스템 필드에 소스 시스템을 입력합니다.
    5. 선택사항: 플랫폼 필드에 이 유형의 항목이 속한 플랫폼을 입력합니다. 예를 들면 Google Cloud입니다.
    6. 위치 필드에서 위치를 선택합니다. 항목 유형을 만든 후에는 위치를 수정할 수 없습니다.

  5. 선택사항: 유형 별칭 섹션에서 항목 유형의 데이터 유형을 정의합니다. 이 데이터 유형을 항목 쿼리에 사용할 수 있습니다.

    1. 유형 별칭 추가를 클릭합니다.
    2. 유형 별칭 필드에서 데이터 유형을 선택합니다. 유형 별칭은 여러 개를 추가할 수 있습니다.

  6. 필수 관점 유형 섹션에서 이 항목 유형에 필수인 관점 유형을 선택합니다. 이 유형을 기반으로 생성된 각 항목에는 이러한 필수 관점 유형이 할당됩니다.

    1. 관점 유형 선택을 클릭합니다.
    2. 관점 유형 선택 창에서 관점 유형을 선택합니다.
    3. 선택을 클릭합니다.

    항목에서 필수 관점은 삭제할 수 없습니다.

  7. 선택사항: 라벨 섹션에서 리소스에 키-값 쌍으로 임의의 라벨을 추가합니다.

    1. 라벨 추가를 클릭합니다.
    2. 키 필드에 키를 입력합니다.
    3. 값 필드에 키 값을 입력합니다.
    4. 라벨을 추가하려면 라벨 추가를 클릭하고 단계를 반복합니다.

  8. 저장을 클릭합니다.

gcloud

항목 유형을 만들려면 gcloud dataplex entry-types create 명령어를 사용합니다.

REST

항목 유형을 만들려면 entryTypes.create 메서드를 사용합니다.

커스텀 항목 만들기

커스텀 항목을 만들기 전에 항목 그룹과 항목 유형을 만들어야 합니다.

콘솔

Google Cloud 콘솔에서는 커스텀 항목을 만들 수 없습니다. 대신 Google Cloud CLI 또는 API를 사용합니다.

gcloud

맞춤 항목을 만들려면 gcloud dataplex entries create 명령어를 사용합니다.

REST

커스텀 항목을 만들려면 entries.create 메서드를 사용합니다.

커스텀 항목을 만든 후 항목에 관점을 추가할 수 있습니다. 자세한 내용은 항목에 관점 추가를 참고하세요.

항목 그룹 관리

이 섹션에서는 사용 가능한 항목 그룹의 목록을 보고, 세부정보를 확인하고, 항목 그룹을 업데이트 및 삭제하는 방법을 설명합니다.

사용 가능한 항목 그룹 목록 보기

콘솔

  1. Google Cloud 콘솔에서 Dataplex 카탈로그 페이지로 이동합니다.

    카탈로그로 이동

  2. 항목 그룹 탭을 클릭합니다.

    커스텀 및 시스템 항목 그룹 목록에 액세스할 수 있습니다. 자세한 내용은 이 문서의 항목 그룹 카테고리 섹션을 참고하세요.

    커스텀 탭에서 서픽스가 (Data Catalog)인 항목 그룹은 Data Catalog에서 가져온 항목 그룹입니다.

  3. 모든 프로젝트의 항목 그룹 목록을 보려면 커스텀 탭을 클릭한 다음 모든 프로젝트에서 표시 전환 버튼을 클릭하여 사용 설정으로 전환합니다.

gcloud

사용 가능한 항목 그룹 목록을 보려면 gcloud dataplex entry-groups list 명령어를 사용합니다.

REST

사용 가능한 항목 그룹 목록을 보려면 entryGroups.list 메서드를 사용합니다.

항목 그룹 세부정보 보기

콘솔

  1. Google Cloud 콘솔에서 Dataplex 카탈로그 페이지로 이동합니다.

    카탈로그로 이동

  2. 항목 그룹 탭을 클릭합니다.

  3. 세부정보를 보려는 항목 그룹을 클릭합니다.

    항목 그룹 세부정보 페이지가 열립니다. 선택한 항목 그룹의 표시 이름, 항목 그룹 ID, 설명, 프로젝트 ID, 위치, 라벨, 생성일, 최종 수정일과 같은 정보에 액세스할 수 있습니다.

  4. 항목 그룹을 Data Catalog에서 가져온 경우((Data Catalog) 서픽스로 표시됨) Data Catalog 및 Dataplex 카탈로그 인터페이스 모두에서 세부정보를 볼 수 있습니다. 이렇게 하려면 항목 그룹 세부정보 페이지에서 Data Catalog 또는 Dataplex 카탈로그를 선택합니다.

  5. 최근에 생성된 관련 항목 10개의 목록을 보려면 샘플 항목 탭을 클릭합니다.

gcloud

항목 그룹의 세부정보를 가져오려면 gcloud dataplex entry-groups describe 명령어를 사용합니다.

REST

항목 그룹의 세부정보를 가져오려면 entryGroups.get 메서드를 사용합니다.

항목 그룹 업데이트

콘솔

  1. Google Cloud 콘솔에서 Dataplex 카탈로그 페이지로 이동합니다.

    카탈로그로 이동

  2. 항목 그룹 > 커스텀 탭을 클릭합니다.

  3. 업데이트할 항목 그룹을 클릭합니다.

  4. 항목 그룹 세부정보 페이지에서 수정을 클릭합니다.

  5. 필요에 따라 표시 이름, 설명, 라벨을 수정합니다.

  6. 저장을 클릭합니다.

gcloud

항목 그룹을 업데이트하려면 gcloud dataplex entry-groups update 명령어를 사용합니다.

REST

항목 그룹을 업데이트하려면 entryGroups.patch 메서드를 사용합니다.

항목 그룹 삭제

콘솔

  1. Google Cloud 콘솔에서 Dataplex 카탈로그 페이지로 이동합니다.

    카탈로그로 이동

  2. 항목 그룹 > 커스텀 탭을 클릭합니다.

  3. 삭제하려는 항목 그룹을 클릭합니다.

  4. 항목 그룹 세부정보 페이지에서 삭제를 클릭합니다. 메시지가 표시되면 확인합니다.

gcloud

항목 그룹을 삭제하려면 gcloud dataplex entry-groups delete 명령어를 사용합니다.

REST

항목 그룹을 삭제하려면 entryGroups.delete 메서드를 사용합니다.

항목 유형 관리

이 섹션에서는 사용 가능한 항목 그룹 목록을 보고, 세부정보를 확인하고, 항목 유형을 업데이트 및 삭제하는 방법을 설명합니다.

사용 가능한 항목 유형 목록 보기

콘솔

  1. Google Cloud 콘솔에서 Dataplex 카탈로그 페이지로 이동합니다.

    카탈로그로 이동

  2. 항목 유형 탭을 클릭합니다.

    커스텀 및 시스템 항목 유형 목록에 액세스할 수 있습니다. 자세한 내용은 이 문서의 항목 유형 카테고리 섹션을 참고하세요.

  3. 모든 프로젝트의 항목 유형 목록을 보려면 커스텀 탭을 클릭하고 모든 프로젝트에서 표시 전환 버튼을 클릭하여 사용 설정으로 전환합니다.

gcloud

사용 가능한 항목 유형 목록을 보려면 gcloud dataplex entry-types list 명령어를 사용합니다.

REST

사용 가능한 항목 유형 목록을 보려면 entryTypes.list 메서드를 사용합니다.

항목 유형 세부정보 보기

콘솔

  1. Google Cloud 콘솔에서 Dataplex 카탈로그 페이지로 이동합니다.

    카탈로그로 이동

  2. 항목 유형 > 커스텀 탭을 클릭합니다.

  3. 세부정보를 보려는 항목 유형을 클릭합니다.

    항목 유형 세부정보 페이지가 열립니다. 선택한 항목 유형의 표시 이름, 항목 유형 ID, 설명, 프로젝트 ID, 위치, 플랫폼, 시스템, 유형 별칭, 라벨, 생성 날짜, 최종 수정 날짜와 같은 정보에 액세스할 수 있습니다.

  4. 최근에 생성된 관련 항목 10개의 목록을 보려면 샘플 항목 탭을 클릭합니다.

gcloud

항목 유형의 세부정보를 가져오려면 gcloud dataplex entry-types describe 명령어를 사용합니다.

REST

항목 유형의 세부정보를 가져오려면 entryTypes.get 메서드를 사용합니다.

항목 유형 업데이트

콘솔

  1. Google Cloud 콘솔에서 Dataplex 카탈로그 페이지로 이동합니다.

    카탈로그로 이동

  2. 항목 유형 > 커스텀 탭을 클릭합니다.

  3. 업데이트할 항목 유형을 클릭합니다.

  4. 항목 유형 세부정보 페이지에서 수정을 클릭합니다.

  5. 필요에 따라 표시 이름, 설명, 시스템, 플랫폼, 유형 별칭, 라벨을 수정합니다.

  6. 저장을 클릭합니다.

gcloud

항목 유형을 업데이트하려면 gcloud dataplex entry-types update 명령어를 사용합니다.

REST

항목 유형을 업데이트하려면 entryTypes.patch 메서드를 사용합니다.

항목 유형 삭제

콘솔

  1. Google Cloud 콘솔에서 Dataplex 카탈로그 페이지로 이동합니다.

    카탈로그로 이동

  2. 항목 유형 > 커스텀 탭을 클릭합니다.

  3. 삭제하려는 항목 유형을 클릭합니다.

  4. 항목 유형 세부정보 페이지에서 삭제를 클릭합니다. 메시지가 표시되면 확인합니다.

gcloud

항목 유형을 삭제하려면 gcloud dataplex entry-types delete 명령어를 사용합니다.

REST

항목 유형을 삭제하려면 entryTypes.delete 메서드를 사용합니다.

다음 단계