이 페이지는 Cloud Translation API를 통해 번역되었습니다.

데이터 준비 관리

이 문서에서는 필요한 Identity and Access Management (IAM) 역할을 부여하고 Dataplex에서 메타데이터를 관리하는 등 BigQuery에서 데이터 준비를 관리하는 방법을 설명합니다.

데이터 준비는 Dataform을 기반으로 하는 BigQuery 리소스입니다.

시작하기 전에

Gemini for Google Cloud API가 사용 설정되어 있는지 확인합니다.
Dataplex에서 데이터 준비 메타데이터를 관리하려면 Google Cloud 프로젝트에서 Dataplex API가 사용 설정되어 있는지 확인합니다.

필요한 역할

데이터를 준비하는 사용자와 작업을 실행하는 Dataform 서비스 계정에는 다음 Identity and Access Management (IAM) 역할에서 부여한 권한이 필요합니다.

데이터 준비를 위한 사용자 액세스 권한 얻기

BigQuery에서 데이터를 준비하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

프로젝트에 대한 BigQuery Studio 사용자 (roles/bigquery.studioUser)
프로젝트에 대한 Google Cloud를 위한 Gemini 사용자 (roles/cloudaicompanion.user)
소스 테이블에 액세스합니다. 테이블, 데이터 세트 또는 프로젝트의 BigQuery 데이터 뷰어 (roles/bigquery.dataViewer)

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

BigQuery의 데이터 세트 IAM에 대한 자세한 내용은 리소스에 대한 액세스 권한 부여를 참고하세요.

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

메타데이터를 관리할 수 있는 액세스 권한 얻기

BigQuery 범용 카탈로그 또는 Dataplex에서 데이터 준비 메타데이터를 관리하는 데 필요한 권한을 얻으려면 필요한 Dataplex 역할과 dataform.repositories.get 권한이 있는지 확인합니다.

Dataform 서비스 계정에 대한 액세스 권한 부여

Dataform 서비스 계정에 BigQuery에서 데이터 준비를 실행하는 데 필요한 권한이 있는지 확인하려면 관리자에게 Dataform 서비스 계정에 다음 IAM 역할을 부여해 달라고 요청하세요.

소스 테이블에 액세스합니다. 테이블, 데이터 세트 또는 프로젝트의 BigQuery 데이터 뷰어 (roles/bigquery.dataViewer)
대상 테이블에 액세스합니다. 테이블, 데이터 세트 또는 프로젝트의 BigQuery 데이터 편집자 (roles/bigquery.dataEditor)

데이터 준비 파이프라인에 따라 Dataform 서비스 계정에 추가 권한이 필요할 수 있습니다. 자세한 내용은 Dataform에 필요한 액세스 권한 부여를 참고하세요.

기존 데이터 준비 보기

기존 데이터 준비 목록을 보려면 다음 단계를 따르세요.

BigQuery 페이지에서 탐색기 창으로 이동합니다.
프로젝트를 펼칩니다.
데이터 준비 목록을 펼칩니다.

데이터를 점진적으로 처리하여 데이터 준비 최적화

준비된 데이터를 대상 테이블에 쓰는 방식을 구성하려면 다음 단계를 따르세요.

Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

BigQuery로 이동
탐색기 창에서 데이터 준비를 선택합니다.
데이터 준비 툴바에서 더보기 > 쓰기 모드를 선택합니다.
옵션 중 하나를 선택합니다. 자세한 내용은 쓰기 모드를 참조하세요.
저장을 클릭합니다.

데이터 준비 버전

저장소 안팎에서 데이터 준비를 만들 수 있습니다. 데이터 준비 버전 관리는 데이터 준비가 있는 위치에 따라 다르게 처리됩니다.

저장소의 데이터 준비 버전 관리

저장소는 BigQuery 또는 서드 파티 제공업체에 있는 Git 저장소입니다. 저장소에서 워크스페이스를 사용하여 데이터 준비에 대한 버전 관리를 실행할 수 있습니다. 자세한 내용은 파일에서 버전 제어 사용을 참고하세요.

저장소 외부에서 데이터 준비 버전 관리

저장소에 없는 BigQuery 데이터 준비는 데이터 준비 버전의 보기, 비교, 복원을 지원하지 않습니다.

데이터 준비 버전 목록을 시간순으로 보려면 다음 단계를 따르세요.

BigQuery 페이지에서 탐색기 창으로 이동합니다.
데이터 준비를 선택합니다.
버전 기록을 클릭합니다.

데이터 준비 다운로드

YAML 파일로 데이터 준비를 다운로드하려면 다음 단계를 따르세요.

Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

BigQuery로 이동
탐색기 창에서 프로젝트와 데이터 준비 폴더를 펼칩니다. 다운로드할 데이터 준비의 이름을 클릭합니다.
다운로드를 클릭합니다. 데이터 준비는 YAML 파일 형식(예: NAME data preparation.dp.yaml)으로 저장됩니다.

데이터 준비 업로드

YAML 파일에서 데이터 준비를 업로드하려면 다음 단계를 따르세요.

Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

BigQuery로 이동
탐색기 창에서 내 프로젝트 ID를 펼칩니다.
데이터 준비 폴더로 이동하여 more_vert 메뉴 > 데이터 준비에 업로드를 클릭합니다.
데이터 준비 업로드 대화상자에서 업로드할 파일을 선택하거나 데이터 준비의 URL을 입력합니다.
데이터 준비의 이름을 입력합니다.
리소스가 관리되고 저장되는 데이터 준비 위치를 선택합니다.
업로드를 클릭합니다.

Dataplex에서 메타데이터 관리

Dataplex를 사용하면 데이터 준비를 위한 메타데이터를 저장하고 관리할 수 있습니다. Dataplex에서는 기본적으로 추가 구성 없이 데이터 준비를 사용할 수 있습니다.

Dataplex를 사용하여 모든 BigQuery 위치의 데이터 준비를 관리할 수 있습니다. Dataplex에서 데이터 준비를 관리하는 경우 Dataplex 할당량 및 한도와 Dataplex 가격 책정이 적용됩니다.

Dataplex는 데이터 준비에서 다음 메타데이터를 자동으로 검색합니다.

데이터 애셋 이름
데이터 애셋 상위 항목
데이터 애셋 위치
데이터 애셋 유형
해당 Google Cloud 프로젝트

Dataplex는 데이터 준비를 다음과 같은 항목 값을 사용해 항목으로 로깅합니다.

시스템 항목 그룹: 데이터 준비의 시스템 항목 그룹은 @dataform입니다. Dataplex에서 데이터 준비 항목의 세부정보를 보려면 dataform 시스템 항목 그룹을 확인해야 합니다. 항목 그룹의 모든 항목 목록을 보는 방법에 관한 안내는 Dataplex 문서의 항목 그룹 세부정보 보기를 참조하세요.
시스템 항목 유형: 데이터 준비의 시스템 항목 유형은 dataform-code-asset입니다. 데이터 준비의 세부정보를 보려면 dataform-code-asset 시스템 항목 유형을 확인하고, 관점 기반 필터로 결과를 필터링하고, dataform-code-asset 관점 내의 type 필드를 DATA_PREPARATION로 설정해야 합니다. 그런 다음 선택한 데이터 준비의 항목을 선택합니다. 선택한 항목 유형의 세부정보를 보는 방법에 관한 안내는 Dataplex 문서의 항목 유형의 세부정보 보기를 참조하세요. 선택한 항목의 세부정보를 보는 방법에 관한 안내는 Dataplex 문서의 항목 세부정보 보기를 참조하세요.
시스템 관점 유형: 데이터 준비의 시스템 관점 유형은 dataform-code-asset입니다. 관점으로 데이터 준비 항목에 주석을 추가하여 Dataplex의 데이터 준비에 추가 컨텍스트를 제공하려면 dataform-code-asset 관점 유형을 확인하고 관점 기반 필터로 결과를 필터링한 다음 dataform-code-asset 관점 내의 type 필드를 DATA_PREPARATION로 설정합니다. 관점으로 항목에 주석을 추가하는 방법에 관한 안내는 Dataplex 문서의 관점 관리 및 메타데이터 보강을 참조하세요.
유형: 데이터 캔버스의 유형은 DATA_PREPARATION입니다. 이 유형을 사용하면 관점 기반 필터에서 aspect:dataplex-types.global.dataform-code-asset.type=DATA_PREPARATION 쿼리를 사용하여 dataform-code-asset 시스템 항목 유형 및 dataform-code-asset 관점 유형의 데이터 준비를 필터링할 수 있습니다.

Dataplex에서 애셋을 검색하는 방법에 관한 안내는 Dataplex 문서의 Dataplex에서 데이터 애셋 검색을 참조하세요.