커스텀 파이프라인을 사용하여 메타데이터 가져오기

이 문서에서는 메타데이터 가져오기 API 메서드와 자체 파이프라인을 사용하여 서드 파티 시스템에서 Dataplex로 Dataplex 카탈로그 메타데이터를 가져오는 방법을 설명합니다. Dataplex 카탈로그 메타데이터는 항목과 해당 항목의 관점으로 구성됩니다.

대신 Google Cloud 관리 조정 파이프라인을 사용하여 메타데이터를 추출하고 가져오려면 관리형 연결 파이프라인을 사용하는 것이 좋습니다. 관리형 연결 파이프라인을 사용하면 메타데이터를 추출하고 메타데이터 가져오기 API 메서드(메타데이터 가져오기 파일)의 입력으로 사용할 수 있는 형식으로 출력을 생성하는 자체 커넥터를 가져올 수 있습니다. 그런 다음 Workflows를 사용하여 파이프라인 태스크를 조정합니다.

대략적인 단계

메타데이터 가져오기 API를 사용하여 메타데이터를 가져오려면 다음과 같은 대략적인 단계를 따르세요.

작업 범위를 결정합니다.

또한 Dataplex가 항목 및 관점에 대해 비교 논리와 동기화 모드를 적용하는 방법을 파악합니다.
가져올 데이터를 정의하는 메타데이터 가져오기 파일을 하나 이상 만듭니다.
메타데이터 가져오기 파일을 Cloud Storage 버킷에 저장합니다.
메타데이터 가져오기 작업을 실행합니다.

이 페이지의 단계에서는 사용자가 항목 그룹, 항목 유형, 관점 유형을 포함하여 Dataplex Catalog 개념에 익숙하다고 가정합니다. 자세한 내용은 Dataplex Catalog 개요를 참조하세요.

시작하기 전에

메타데이터를 가져오기 전에 이 섹션의 태스크를 수행합니다.

필요한 역할

Dataplex 서비스 계정에 Cloud Storage 버킷 액세스에 필요한 권한이 포함되도록 하려면 관리자에게 Dataplex 서비스 계정에 버킷에 대한 스토리지 객체 뷰어(roles/storage.objectViewer) IAM 역할 및 storage.buckets.get 권한을 부여해 달라고 요청하세요.

메타 데이터 작업을 관리하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

항목 유형 또는 항목 유형이 정의된 프로젝트에 대한 Dataplex 항목 유형 사용자(roles/dataplex.entryTypeUser)
관점 유형 또는 관점 유형이 정의된 프로젝트에 대한 Dataplex 관점 유형 사용자(roles/dataplex.aspectTypeUser)
메타데이터 작업 만들기:
- 프로젝트 또는 리소스에 대한 Dataplex 항목 그룹 가져오기 도구(roles/dataplex.entryGroupImporter)
- 프로젝트 또는 리소스에 대한 Dataplex 항목 소유자(roles/dataplex.entryOwner)
메타데이터 작업 보기: 프로젝트에 대한 Dataplex 메타데이터 작업 뷰어(roles/dataplex.metadataJobViewer)
메타데이터 작업 만들기, 보기, 취소: 프로젝트에 대한 Dataplex 메타데이터 작업 소유자(roles/dataplex.metadataJobOwner)

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

Google Cloud 리소스 만들기

다음 Google Cloud 리소스를 준비합니다.

가져오려는 항목에 대해 항목 그룹을 만듭니다.
가져오려는 관점에 대해 관점 유형을 만듭니다.
가져오려는 항목에 대해 항목 유형을 만듭니다.
메타데이터 가져오기 파일을 저장할 Cloud Storage 버킷을 만듭니다.

메타데이터 작업의 구성요소

메타데이터를 가져올 때 메타데이터 작업의 다음 구성요소를 고려하세요.

작업 범위: 작업에 포함할 항목 그룹, 항목 유형, 관점 유형입니다.
동기화 모드: 작업의 항목 및 관점에서 전체 업데이트 또는 증분 업데이트를 수행할지 여부입니다.
메타데이터 가져오기 파일: 작업의 항목 및 관점에 대해 설정할 값을 정의하는 파일입니다. 동일한 메타데이터 작업에 여러 메타데이터 가져오기 파일을 제공할 수 있습니다. Cloud Storage에 파일을 저장합니다.
비교 논리: Dataplex에서 수정할 항목과 관점을 선택하는 방법입니다.

작업 범위

작업 범위는 항목 그룹과 항목 유형을 정의하고 선택적으로 메타데이터 작업에 포함할 관점 유형을 정의합니다. 메타데이터를 가져올 때는 작업 범위 내에서 리소스에 속하는 항목과 관점을 수정합니다.

작업 범위를 정의하려면 다음 안내를 따르세요.

항목 그룹: 작업에 포함할 단일 항목 그룹을 지정합니다. 작업은 이 항목 그룹에 속하는 항목만 수정합니다. 항목 그룹과 작업은 동일한 리전에 있어야 합니다.
항목 유형: 작업에 포함할 하나 이상의 항목 유형을 지정합니다. 이 작업은 항목 유형에 포함할 항목만 수정합니다. 항목 유형의 위치가 작업의 위치와 일치하거나 항목 유형이 전역적이어야 합니다.
관점 유형: 선택사항. 작업에 포함할 관점 유형을 하나 이상 지정합니다. 관점 유형의 범위를 지정할 때 작업은 이러한 관점 유형에 포함되는 관점만 수정합니다. 관점 유형의 위치가 작업의 위치와 일치하거나 관점 유형이 전역적이어야 합니다.

메타데이터 작업을 만들 때 작업 범위를 지정합니다.

동기화 모드

동기화 모드에 따라 메타데이터 작업의 항목 및 관점에서 전체 업데이트 또는 증분 업데이트를 수행할지 여부가 지정됩니다.

FULL: 항목에 지원됩니다. 작업 범위의 모든 항목이 수정됩니다.

Dataplex에 항목이 있지만 메타데이터 가져오기 파일에 포함되지 않은 경우 메타데이터 작업을 실행할 때 항목이 삭제됩니다.

관점에는 전체 동기화가 지원되지 않습니다.
INCREMENTAL: 관점에 지원됩니다. 관점은 메타데이터 가져오기 파일에 updateMask 파일 및 aspectKeys 필드의 관점에 대한 참조가 포함된 경우에만 수정됩니다. 메타데이터 가져오기 파일에서 이러한 필드에 대한 자세한 내용은 이 문서의 가져오기 항목의 구조 섹션을 참조하세요.

증분 동기화는 항목에 대해 지원되지 않습니다.

메타데이터 작업을 만들 때 동기화 모드를 지정합니다.

메타데이터 가져오기 파일

메타데이터 가져오기 파일은 수정하려는 항목 및 관점의 컬렉션입니다. 이 파일은 이러한 항목 및 관점에 속하는 모든 필드에 대해 설정할 값을 정의합니다. 메타데이터 작업을 실행하기 전 파일을 준비합니다.

다음과 같은 일반 가이드라인이 적용됩니다.

동일한 메타데이터 작업에 여러 메타데이터 가져오기 파일을 제공할 수 있습니다.
파일에 제공하는 항목은 작업 범위 내에 있는 모든 리소스에 대한 모든 기존 항목을 대체합니다. 즉, 추가하거나 업데이트하려는 값뿐만 아니라 작업의 모든 항목에 대한 값을 포함해야 합니다. 프로젝트에서 시작 지점으로 사용할 현재 항목 목록을 가져오려면 entries.list API 메서드를 사용합니다.

주의: Dataplex에 항목이 있지만 메타데이터 가져오기 파일에 포함되지 않은 경우 메타데이터 작업을 실행할 때 항목이 삭제됩니다. 메타데이터 가져오기 파일에 데이터가 없으면 작업 범위에 속하는 모든 항목과 관점이 삭제됩니다.
메타데이터 작업의 일부로 메타데이터 가져오기 파일을 제공해야 합니다. 작업 범위 내에 있는 항목의 기존 데이터를 모두 삭제하려면 빈 메타데이터 가져오기 파일을 제공합니다.
파일에 포함하는 모든 항목과 관점은 작업 범위에 정의하는 항목 그룹, 항목 유형, 관점 유형에 속해야 합니다.

다음 섹션의 세부적인 가이드라인을 사용해서 메타데이터 가져오기 파일을 만듭니다.

파일의 구조

메타데이터 가져오기 파일의 각 줄에는 하나의 가져오기 항목에 해당하는 JSON 객체가 포함되어 있습니다. 가져오기 항목은 항목 및 연결된 관점에 대해 수정할 값을 기술하는 객체입니다.

단일 메타데이터 가져오기 파일에서 여러 가져오기 항목을 제공할 수 있습니다. 하지만 메타데이터 작업에서 동일한 가져오기 항목을 두 번 이상 제공하지 마세요. 각 가져오기 항목을 구분하려면 줄바꿈 문자(0x0a)를 사용합니다.

각 가져오기 항목 사이에 줄바꿈 문자가 사용된 메타데이터 가져오기 파일은 다음 예시와 같이 표시됩니다.

{ "entry": { "name": "entry 1", #Information about entry 1 }
{ "entry": { "name": "entry 2", #Information about entry 2 }

가져오기 항목의 구조

메타데이터 가져오기 파일의 각 가져오기 항목에는 다음 필드가 포함됩니다(ImportItem 참고). 다음 예시는 가독성을 위해 줄바꿈이 사용되었지만, 파일을 저장할 때는 각 가져오기 항목 다음에만 줄바꿈 문자를 사용해야 합니다. 단일 가져오기 항목의 필드 사이에는 줄바꿈을 사용하지 마세요.

{
  "entry": {
    "name": "ENTRY_NAME",
    "entryType": "ENTRY_TYPE",
    "entrySource": {
      "resource": "RESOURCE",
      "system": "SYSTEM",
      "platform": "PLATFORM",
      "displayName": "DISPLAY_NAME",
      "description": "DESCRIPTION",
      "createTime": "ENTRY_CREATE_TIMESTAMP",
      "updateTime": "ENTRY_UPDATE_TIMESTAMP"
    }
    "aspects": {
      "ASPECT": {
        "data": {
          "KEY": "VALUE"
        },
        "aspectSource": {
          "createTime": "ASPECT_CREATE_TIMESTAMP"
          "updateTime": "ASPECT_UPDATE_TIMESTAMP"
        }
      },
      # Additional aspect maps
    },
    "parentEntry": "PARENT_ENTRY",
    "fullyQualifiedName": "FULLY_QUALIFIED_NAME"
  },
  "updateMask": "UPDATE_MASK_FIELDS",
  "aspectKeys": [
    "ASPECT_KEY",
    # Additional aspect keys
  ],
}

다음을 바꿉니다.

ENTRY_NAME: 항목의 상대적 리소스 이름입니다. projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID 형식입니다.
ENTRY_TYPE: 이 항목을 만드는 데 사용된 항목 유형의 상대적 리소스 이름입니다. projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID 형식입니다.
entrySource: 항목으로 표시되는 데이터 리소스에 대한 소스 시스템의 정보입니다.
- RESOURCE: 소스 시스템에서 리소스의 이름입니다.
- SYSTEM: 소스 시스템의 이름입니다.
- PLATFORM: 소스 시스템을 포함하는 플랫폼입니다.
- DISPLAY_NAME: 사용자 친화적인 표시 이름입니다.
- DESCRIPTION: 항목에 대한 설명입니다.
- ENTRY_CREATE_TIMESTAMP: 항목이 소스 시스템에서 생성된 시간입니다.
- ENTRY_UPDATE_TIMESTAMP: 항목이 소스 시스템에서 업데이트된 시간입니다.
aspects: 항목에 연결된 관점입니다. aspect 객체와 해당 데이터를 특정 맵이라고 부릅니다.
- ASPECT: 항목에 연결된 관점입니다. 관점이 항목에 연결된 방식에 따라 다음 형식 중 하나를 사용합니다.
  - 관점이 항목에 직접 연결된 경우 관점 유형의 상대적 리소스 이름을 PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID 형식으로 제공합니다.
  - 관점이 항목의 경로에 연결된 경우 항목 유형의 경로를 PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@PATH 형식으로 제공합니다.
- KEY 및 VALUE: 관점 유형 메타데이터 템플릿에 따른 관점의 콘텐츠입니다. 콘텐츠는 UTF-8로 인코딩되어야 합니다. 필드의 최대 크기는 120KB입니다. data 사전은 비어 있더라도 필요합니다.
- ASPECT_CREATE_TIMESTAMP: 관점이 소스 시스템에서 생성된 시간입니다.
- ASPECT_UPDATE_TIMESTAMP: 관점이 소스 시스템에서 업데이트된 시간입니다.
- PARENT_ENTRY: 상위 항목의 리소스 이름입니다.
- FULLY_QUALIFIED_NAME: 외부 시스템에서 참조될 수 있는 관점의 이름입니다. 정규화된 이름을 참조하세요.
UPDATE_MASK_FIELDS: Entry 리소스에 상대적인 경로에 있는 업데이트할 필드입니다. 각 필드를 쉼표로 구분합니다.

FULL 항목 동기화 모드에서 Dataplex에는 관점을 포함하여 수정 가능한 항목의 모든 필드에 대한 경로가 포함됩니다.

updateMask 필드는 항목이 생성되거나 다시 생성될 때 무시됩니다.
ASPECT_KEY: 수정할 관점입니다. 다음 구문을 지원합니다.
- ASPECT_TYPE_REFERENCE: 항목에 직접 연결된 관점의 관점 유형과 일치합니다.
- ASPECT_TYPE_REFERENCE@PATH: 관점 유형 및 지정된 경로와 일치합니다.
- ASPECT_TYPE_REFERENCE@*: 모든 경로의 관점 유형과 일치합니다.
ASPECT_TYPE_REFERENCE를 PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID 형식의 관점 유형에 대한 참조로 바꿉니다.

이 필드를 비워두면 지정된 항목 내에 있는 관점만 지정됩니다.

FULL 항목 동기화 모드에서 Dataplex는 항목의 모든 필수 관점에 대한 키를 암시적으로 추가합니다.

파일 요구사항

메타데이터 가져오기 파일에는 다음 요구사항이 포함됩니다.

파일은 줄바꿈으로 구분된 JSON 파일인 JSON 줄 파일로 형식이 지정됩니다. 각 가져오기 항목을 구분하려면 줄바꿈 문자(0x0a)를 사용합니다.
파일은 UTF-8 문자 인코딩을 사용해야 합니다.
지원되는 파일 확장자는 .jsonl 및 .json입니다.
각 메타데이터 가져오기 파일의 파일 크기는 1GiB 미만이어야 합니다. 메타데이터 작업의 모든 데이터의 최대 총 크기는 3GB입니다. 여기에는 작업과 연결된 모든 파일과 메타데이터가 포함됩니다.
파일에 지정하는 항목과 관점은 메타데이터 작업 범위에 포함되어야 합니다.
파일을 Cloud Storage 버킷에 업로드해야 합니다. CLOUD_STORAGE_URI/deletions/라는 폴더에 파일을 저장하지 마세요.

비교 논리

Dataplex는 메타데이터 가져오기 파일에 제공하는 값 및 타임스탬프를 프로젝트에 있는 값 및 타임스탬프와 비교하여 수정할 항목 및 관점을 결정합니다.

Dataplex는 상위 수준에서 작업 실행 시 데이터 기간 초과 문제를 일으키지 않고 메타데이터 가져오기 파일에서 하나 이상의 제안된 변경에 따라 프로젝트 상태가 변경될 때 프로젝트의 값을 변경합니다. 제안된 변경은 메타데이터 가져오기 파일의 마스크 업데이트 필드 또는 관점 키 필드에서 참조되어야 합니다.

작업 범위의 일부에 속하는 각 항목에 대해 Dataplex는 다음 중 하나를 수행합니다.

항목 및 연결된 관점을 만듭니다. 메타데이터 가져오기 파일에 프로젝트에 없는 항목이 포함된 경우 Dataplex가 항목 및 연결된 관점을 만듭니다.
항목 및 연결된 관점을 삭제합니다. 프로젝트에 항목이 있지만 메타데이터 가져오기 파일에 항목이 포함되지 않았으면 Dataplex가 프로젝트에서 항목 및 연결된 관점을 삭제합니다.
항목 및 연결된 관점을 업데이트합니다. 메타데이터 가져오기 파일과 프로젝트에 모두 항목이 있으면 Dataplex가 항목 소스 타임스탬프 및 항목과 연결된 관점 소스 타임스탬프를 평가하여 수정할 값을 결정합니다. 그런 후 Dataplex가 다음 중 하나 이상을 수행합니다.
- 항목을 다시 만듭니다. 메타데이터 가져오기 파일의 항목 소스 만들기 타임스탬프가 프로젝트에 있는 해당 타임스탬프보다 최신인 경우 Dataplex가 프로젝트에서 항목을 다시 만듭니다.
- 항목을 업데이트합니다. 메타데이터 가져오기 파일의 항목 소스 업데이트 타임스탬프가 프로젝트에 있는 해당 타임스탬프보다 최신인 경우 Dataplex가 프로젝트에서 항목을 업데이트합니다.
- 관점을 만듭니다. 관점이 프로젝트에 없지만 메타데이터 가져오기 파일의 항목 객체, 업데이트 마스크 필드, 관점 키 필드에 포함된 경우 Dataplex가 관점을 만듭니다.
- 관점을 삭제합니다. 관점이 프로젝트에 있고 메타데이터 가져오기 파일의 업데이트 마스크 필드 및 관점 키 필드에 포함되어 있지만 항목 객체에 포함되지 않은 경우 Dataplex는 관점을 삭제합니다.
- 관점을 업데이트합니다. 관점이 프로젝트에 있고 메타데이터 가져오기 파일의 항목 객체, 업데이트 마스크 필드, 관점 키 필드에 포함되어 있으며 메타데이터 가져오기 파일의 관점 소스 업데이트 타임스탬프가 프로젝트에 있는 해당 타임스탬프보다 최신인 경우 Dataplex는 관점을 업데이트합니다.
  
  메타데이터 가져오기 파일에 관점 소스 업데이트 타임스탬프가 제공되지 않았지만 해당 항목이 업데이트로 표시된 경우 Dataplex는 관점도 업데이트합니다.
  
  하지만 메타데이터 가져오기 파일에서 하나 이상의 관점에 프로젝트에 있는 해당 타임스탬프보다 오래된 타임스탬프가 있으면 Dataplex가 연결된 항목에 대해 업데이트를 수행하지 않습니다.

메타데이터 가져오기 파일 만들기

메타데이터를 가져오려면 먼저 작업에 대해 메타데이터 가져오기 파일을 만듭니다. 다음 단계를 따르세요.

이 문서의 앞에서 설명한 안내에 따라 메타데이터 가져오기 파일을 준비합니다.
Cloud Storage 버킷에 파일을 업로드합니다.

동일한 메타데이터 작업에 여러 메타데이터 가져오기 파일을 제공할 수 있습니다. 여러 파일을 제공하려면 동일한 Cloud Storage 버킷에 파일을 저장합니다. 작업을 실행할 때 특정 파일이 아닌 버킷을 지정합니다. Dataplex는 하위 폴더에 있는 파일을 포함하여 버킷에 저장된 모든 파일에서 메타데이터를 가져옵니다.

메타데이터 가져오기 작업 실행

메타데이터 가져오기 파일을 만든 후 API를 사용해서 메타데이터 가져오기 작업을 실행합니다.

REST

메타데이터를 가져오려면 metadataJobs.create 메서드를 사용합니다.

요청 데이터를 사용하기 전에 다음을 바꿉니다.

PROJECT_NUMBER: Google Cloud 프로젝트 번호 또는 프로젝트 ID입니다.
LOCATION_ID: Google Cloud 위치입니다(예: us-central1).
METADATA_JOB_ID: 선택사항입니다. 메타데이터 작업 ID입니다.
CLOUD_STORAGE_URI: 메타데이터 가져오기 파일을 포함하는 Cloud Storage 버킷 또는 폴더의 URI입니다. 파일 요구사항에 대한 자세한 내용은 메타데이터 가져오기 파일을 참조하세요.
ENTRY_GROUP: 작업 범위 내에 있는 항목 그룹의 상대적 리소스 이름입니다. projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID 형식입니다. 항목 그룹을 하나만 제공합니다. 자세한 내용은 작업 범위를 참조하세요.
ENTRY_TYPE: 작업 범위 내에 있는 항목 유형의 상대적 리소스 이름입니다. projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID 형식입니다. 자세한 내용은 작업 범위를 참조하세요.
ASPECT_TYPE: 선택사항입니다. 작업 범위 내에 있는 관점 유형의 상대적 리소스 이름입니다. projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/aspectTypes/ASPECT_TYPE_ID 형식입니다. 자세한 내용은 작업 범위를 참조하세요.
LOG_LEVEL: 캡처할 로그 수준입니다(예: INFO 또는 DEBUG). 자세한 내용은 작업 로그 보기 및 문제 해결을 참조하세요.

HTTP 메서드 및 URL:

POST https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID

JSON 요청 본문:

{
  "type": IMPORT,
  "import_spec": {
    "source_storage_uri": gs://CLOUD_STORAGE_URI/,
    "scope": {
      "entryGroups": [
        ENTRY_GROUP
      ],
      "entry_types": [
        ENTRY_TYPE
      ],
      "aspect_types": [
        ASPECT_TYPE
      ]
    },
    "entry_sync_mode": FULL,
    "aspect_sync_mode": INCREMENTAL,
    "log_level": LOG_LEVEL
  }
}

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

cURL(Linux, macOS, Cloud Shell)

참고: 다음 명령어는 gcloud init 또는 gcloud auth login을 실행하거나 gcloud CLI에 자동으로 로그인하는 Cloud Shell을 사용하여 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud auth list를 실행하면 현재 활성 계정을 확인할 수 있습니다.

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID"

PowerShell(Windows)

참고: 다음 명령어는 gcloud init 또는 gcloud auth login을 실행하여 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud auth list를 실행하면 현재 활성 계정을 확인할 수 있습니다.

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID" | Select-Object -Expand Content

응답은 장기 실행 작업을 식별합니다.

메타데이터 작업의 세부정보 확인

작업 상태 및 수정된 항목 수와 같은 메타데이터 작업의 정보를 확인하려면 다음 단계를 수행합니다. 실패한 작업의 문제 해결 방법은 이 문서의 작업 로그 보기 및 문제 해결 섹션을 참조하세요.

REST

메타데이터 작업의 정보를 확인하려면 metadataJobs.get 메서드를 사용합니다.

메타데이터 작업 목록 가져오기

최근의 메타데이터 작업 목록을 가져올 수 있습니다. 최종 상태에 도달한 오래된 작업은 시스템에서 주기적으로 삭제됩니다.

REST

최근의 메타데이터 작업 목록을 가져오려면 metadataJobs.list 메서드를 사용합니다.

메타데이터 작업 취소

실행하지 않으려는 메타데이터 작업은 취소할 수 있습니다.

REST

메타데이터 작업을 취소하려면 metadataJobs.cancel 메서드를 사용합니다.

작업 로그 보기 및 문제 해결

Cloud Logging을 사용하여 메타데이터 작업의 로그를 봅니다. 자세한 내용은 Dataplex 로그 모니터링을 참조하세요.

메타데이터 작업을 만들 때 로그 수준을 구성합니다. 다음 로그 수준을 사용할 수 있습니다.

INFO: 전체 작업 수준에서 로그를 제공합니다. 가져오기 항목에 대한 집계 로그를 포함하지만 오류가 있는 가져오기 항목을 지정하지 않습니다.
DEBUG: 각 가져오기 항목에 대한 세부 로그를 제공합니다. 버그 수준 로깅을 사용해서 특정 가져오기 항목의 문제를 해결합니다. 예를 들어 디버그 수준 로깅을 사용하여 작업 범위에서 누락된 리소스, 연결된 항목 유형 또는 관점 유형에 해당하지 않는 항목이나 관점, 메타데이터 가져오기 파일의 기타 잘못된 구성을 식별합니다.

참고: 메타데이터 작업의 크기 및 생성된 로그 수에 따라 디버그 수준 로깅 시 추가 비용이 발생할 수 있습니다. 자세한 내용은 Google Cloud Observability 가격 책정을 참조하세요.

검증 오류

Dataplex는 프로젝트의 현재 메타데이터에 대해 메타데이터 가져오기 파일을 검증합니다. 검증 문제가 있으면 작업 상태가 다음 상태 중 하나를 반환할 수 있습니다.

FAILED: 메타데이터 가져오기 파일에 오류가 있을 때 발생합니다. Dataplex가 메타데이터 가져오기를 수행하지 않고 작업이 실패합니다. 메타데이터 가져오기 파일의 오류 예시에는 다음이 포함됩니다.
- 파일의 항목을 유효한 가져오기 항목으로 파싱할 수 없습니다.
- 파일의 항목 또는 관점이 작업 범위에 속하지 않는 항목 그룹, 항목 유형, 관점 유형에 속합니다.
- 동일한 항목 이름이 작업에서 두 번 이상 지정되었습니다.
- 관점 맵 또는 관점 키에 지정된 관점 유형에 PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@OPTIONAL_PATH 형식이 사용되지 않습니다.
SUCCEEDED_WITH_ERRORS: 메타데이터 가져오기 파일을 성공적으로 파싱할 수 있지만 파일의 항목을 가져올 때 프로젝트의 항목 상태가 일치하지 않는 문제가 있을 때 발생합니다. Dataplex는 이러한 항목을 무시하지만 파일에서 나머지 메타데이터를 가져옵니다.

작업 로그를 사용하여 오류를 문제 해결합니다.