Dataplex 메타데이터

항목 나열

서비스에서 반환하는 항목 목록을 제한하려면 필터 쿼리 매개변수를 list entities 요청 URL에 추가합니다.

항목 가져오기

기본적으로 Get Entity 응답에는 기본 항목 메타데이터가 포함됩니다. 추가 스키마 메타데이터를 검색하려면 요청 URL에 뷰 쿼리 매개변수를 추가합니다.

호환성 세부정보: Dataplex 메타데이터는 메타데이터 API에 중앙 집중식으로 등록되지만 BigQuery 및 Apache Hive Metastore와 호환되는 항목 테이블 메타데이터만 BigQuery 및 Dataproc Metastore에 게시됩니다. Get Entity API는 CompatibilityStatus 메시지를 반환합니다. 이 메시지는 테이블 메타데이터 BigQuery 및 Hive Metastore와 호환되는지 여부와 호환되지 않는 경우 그 이유를 나타냅니다.

항목 업데이트

이 API를 사용하여 개발자 또는 Dataplex에서 항목 메타데이터를 관리할지 여부를 비롯한 항목 메타데이터를 수정합니다.

• 이 API는 모든 변경 가능한 항목 필드를 완전히 대체합니다. 다음 항목 필드는 변경 불가능하며 업데이트 요청에 지정하면 무시됩니다.
  • asset
  • dataPath
  • type
  • system
• 값이 변경되지 않더라도 모든 스키마 필드를 비롯한 모든 변경 가능한 항목 필드의 값을 지정합니다.
• etag 필드를 제공합니다. 먼저 응답에서 항목의 etag를 반환하는 entities.get 요청을 제출하여 etag를 가져올 수 있습니다.
• 스키마 필드 업데이트: Dataplex에서 검색된 테이블 스키마를 업데이트하여 정확성을 향상시킬 수 있습니다.
  • 스키마가 파일 세트인 경우 모든 스키마 필드를 비워 둡니다.
  • 반복 필드를 정의하려면 모드를 REPEATED로 설정합니다. 구조체 필드를 정의하려면 유형을 RECORD로 설정합니다.
  • 스키마의 userManaged 필드를 설정하여 개발자 또는 Dataplex에서 테이블 메타데이터를 관리할지 지정할 수 있습니다. 기본 설정은 Dataplex 관리입니다. userManaged가 true로 설정되면 EntityView가 SCHEMA 또는 FULL로 설정된 경우 이 설정은 entities.get 요청에서 반환되는 정보에 포함됩니다.
• 파티션 필드 업데이트:
  • Hive 외의 스타일로 파티션을 나눈 데이터의 경우 Dataplex 검색에서 파티션 키를 자동으로 생성합니다. 예를 들어 데이터 경로 gs://root/2020/12/31의 경우 파티션 키 p0, p1, p2가 생성됩니다. 쿼리를 보다 직관적으로 만들기 위해 p0, p1, p2를 각각 year, month, day로 업데이트할 수 있습니다.
  • 파티션 스타일을 HIVE 스타일로 업데이트하면 파티션 필드는 변경할 수 없습니다.
• 다른 메타데이터 필드 업데이트: 자동 생성된 mimeType ,CompressionFormat ,CsvOptions, JsonOptions 필드를 업데이트하여 Dataplex 검색을 지원할 수 있습니다. Dataplex 검색은 다음 실행 시 새 값을 사용합니다.

항목 만들기

entities.create API를 사용하여 테이블 또는 파일 세트 메타데이터 항목을 만듭니다. 필수 및 관련 선택 필드를 채우거나 Dataplex 검색 서비스가 선택적 필드를 채우도록 합니다.

항목 삭제

• etag 필드를 제공합니다. 먼저 응답에서 항목의 etag를 반환하는 entities.get 요청을 제출하여 etag를 가져올 수 있습니다.

원시 영역의 테이블 또는 파일 집합에 대한 기본 데이터가 삭제되면 다음 Discovery 스캔 시 테이블 또는 파일 집합 메타데이터가 자동으로 삭제됩니다. 선별된 영역의 테이블에 대한 기본 데이터가 삭제되면 테이블 메타데이터는 삭제되지 않고 누락된 데이터 작업이 보고됩니다. 이 문제를 해결하려면 메타데이터 API를 통해 테이블 메타데이터 항목을 명시적으로 삭제합니다.

파티션 나열

서비스에서 반환하는 파티션 목록을 제한하려면 필터 쿼리 매개변수를 list partitions 요청 URL에 추가합니다.

예:

• ?filter="Country=US AND State=CA AND City=Sunnyvale"
• ?filter="year < 2000 AND month > 12 AND Date > 10"

파티션 가져오기

파티션을 가져오려면 partitions/value1/value2/…./value10으로 읽도록 형식이 지정된 URL 끝에 파티션 키 값을 추가하여 요청 URL을 완성해야 합니다.

예: 파티션에 값 {Country=US, State=CA, City=Sunnyvale}가 있는 경우 가져오기 요청 URL은 /partitions/US/CA/Sunnyvale로 끝나야 합니다.

중요: 추가된 URL 값은 이중 인코딩되어야 합니다. 예를 들어 url_encode(url_encode(value))는 요청 URL이 /partitions/US%253ACA/CA%2523Sunnyvale로 끝나도록 'US:CA/CA#Sunnyvale'을 인코딩하는 데 사용할 수 있습니다. 응답의 이름 필드는 인코딩된 형식을 유지합니다.

파티션 만들기

데이터 소스에 맞춤화된 파티션을 만들려면 partitions.create API를 사용하세요. Cloud Storage 경로로 필수 위치 필드를 지정합니다.

파티션 삭제

partitions/value1/value2/…./value10으로 읽도록 형식이 지정된 요청 URL 끝에 파티션 키 값을 추가하여 요청 URL을 완성합니다.

예: 파티션에 값 {Country=US, State=CA, City=Sunnyvale}가 있는 경우 요청 URL은 /partitions/US/CA/Sunnyvale로 끝나야 합니다.

중요: 추가된 URL 값은 RFC-1034를 준수해야 하며 US:/CA#/Sunnyvale을 US%3A/CA%3A/Sunnyvale과 같이 이중 인코딩되어야 합니다.