Dataform 저장소 만들기

이 문서에서는 Dataform에서 저장소를 만들고, 저장소 서비스 계정을 설정 및 수정하고, 저장소를 삭제하는 방법을 설명합니다.

Dataform 저장소를 만들 때 다음 저장소 설정을 지정해야 합니다.

저장소 ID
저장소의 고유 ID입니다. ID에는 숫자, 문자, 하이픈, 밑줄만 포함할 수 있습니다.
지역

저장소 및 콘텐츠를 저장할 Dataform 리전입니다.

이 저장소 리전은 Dataform에서 코드를 처리하고 실행 출력을 저장하는 처리 리전과 다를 수 있습니다. 기본적으로 처리 리전은 기본 BigQuery 데이터 세트 리전으로 설정됩니다. 저장소를 만든 후 워크플로 설정 파일에서 처리 리전을 수정할 수 있습니다. 자세한 내용은 Dataform 설정 구성을 참조하세요.

서비스 계정

저장소와 연결된 서비스 계정입니다. 기본 Dataform 서비스 계정, Google Cloud 프로젝트와 연결된 서비스 계정 또는 다른 서비스 계정을 직접 입력할 수 있습니다. 기본적으로 Dataform은 프로젝트 번호에서 파생된 서비스 계정을 다음과 같은 형식으로 사용합니다.

service-YOUR_PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

Dataform은 모든 저장소 작업에 기본 서비스 계정을 사용합니다. 다른 서비스 계정을 사용하여 저장소에서 워크플로를 실행할 수 있지만 그래도 기본 서비스 계정이 다른 모든 저장소 작업에 사용됩니다.

암호화

저장소의 암호화 방법입니다. 기본 암호화, 고유한 고객 관리 Cloud KMS 암호화 키 또는 기본 Dataform CMEK 키를 사용할 수 있습니다. Dataform에서 고객 관리 암호화 키(CMEK)를 사용하는 방법에 대한 자세한 내용은 고객 관리 암호화 키 사용을 참조하세요.

저장소를 만든 후 GitHub 또는 GitLab에 연결할 수 있습니다.

시작하기 전에

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    8.
  8. 저장소에 CMEK 암호화를 사용하려면 Dataform 저장소의 CMEK 암호화를 사용 설정합니다.

필요한 역할

저장소를 만들고 삭제하는 데 필요한 권한을 얻으려면 관리자에게 저장소의 Dataform 관리자(roles/dataform.admin) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

기본 Dataform 서비스 계정 이외의 서비스 계정을 사용하려면 커스텀 서비스 계정에 액세스 권한을 부여합니다.

Dataform 저장소를 만들면 Dataform에서 해당 저장소에 대한 Dataform 관리자 역할을 자동으로 부여합니다.

저장소 만들기

Dataform 저장소를 만들려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. 저장소 만들기를 클릭합니다.

  3. 저장소 만들기 페이지의 저장소 ID 필드에 고유한 ID를 입력합니다.

    ID에는 숫자, 문자, 하이픈, 밑줄만 포함할 수 있습니다.

  4. 리전 드롭다운 목록에서 저장소 및 콘텐츠를 저장할 Dataform 리전을 선택합니다. 현재 위치에서 가장 가까운 Dataform 리전을 선택하세요.

    이용 가능한 Dataform 리전의 목록은 위치를 참조하세요. 저장소 리전은 BigQuery 데이터 세트의 위치와 일치하지 않아도 됩니다.

    workflow_settings.yaml 파일에서 Dataform이 코드를 처리하고 실행 출력을 저장하는 처리 리전을 설정할 수 있습니다. 처리 리전은 BigQuery 데이터 세트의 위치와 일치해야 하지만 저장소 리전과는 일치하지 않아도 됩니다. 자세한 내용은 Dataform 설정 구성을 참조하세요.

  5. 서비스 계정 드롭다운에서 저장소에 대한 서비스 계정을 선택합니다.

    드롭다운에서 기본 Dataform 서비스 계정 또는 액세스 권한이 있는 Google Cloud 프로젝트와 연결된 서비스 계정을 선택할 수 있습니다. 커스텀 서비스 계정은 워크플로 실행에만 사용된다는 점에 유의하세요. 다른 모든 저장소 작업은 기본 Dataform 서비스 계정으로 계속 수행됩니다.

    1. (선택사항) 드롭다운에 표시되지 않은 서비스 계정을 선택하려면 수동으로 입력을 클릭하고 서비스 계정 ID를 입력합니다.

  6. 저장소에 선택한 암호화 메커니즘을 구성합니다.

    기본 CMEK 키

    Dataform은 기본 KMS 키 사용 체크박스를 표시하고 기본적으로 선택합니다.

    • 기본 Dataform CMEK 키로 저장소를 암호화하려면 기본 KMS 키 사용 체크박스를 선택한 상태로 둡니다.

    고유한 CMEK 키

    고유한 CMEK 키로 저장소를 암호화하려면 다음 단계를 따르세요.

    1. 기본 KMS 키 사용 체크박스가 기본적으로 선택되어 있으면 체크박스를 선택 해제합니다.
    2. 암호화 섹션에서 고객 관리 암호화 키 (CMEK) 옵션을 선택합니다.
    3. 고객 관리 키 선택 드롭다운에서 고유한 CMEK 키를 선택합니다.

    저장 데이터 암호화

    • 기본 암호화를 사용하려면 암호화 섹션에서 Google 관리 암호화 키 옵션을 선택합니다.

  7. 만들기를 클릭한 후 완료를 클릭합니다.

서비스 계정 수정

워크플로 실행을 위해 커스텀 서비스 계정을 Dataform 저장소에 연결할 수 있습니다. 다른 모든 저장소 작업은 기본 Dataform 서비스 계정으로 계속 수행됩니다.

Dataform 저장소의 서비스 계정을 수정하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. 저장소를 선택한 후 설정을 클릭합니다.

  3. 서비스 계정 필드 옆에 있는 서비스 계정 수정을 클릭합니다.

  4. 서비스 계정 드롭다운에서 저장소에 대한 서비스 계정을 선택합니다.

    드롭다운에서 기본 Dataform 서비스 계정 또는 액세스 권한이 있는 Google Cloud 프로젝트와 연결된 서비스 계정을 선택할 수 있습니다.

    1. (선택사항) 드롭다운에 표시되지 않은 서비스 계정을 선택하려면 수동으로 입력을 클릭하고 서비스 계정 ID를 입력합니다.

  5. 저장을 클릭합니다.

저장소 삭제

저장소 및 저장소의 모든 콘텐츠를 삭제하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. 삭제하려는 저장소 옆의 더보기 메뉴를 클릭한 다음 삭제를 선택합니다.

  3. 저장소 삭제 창에서 저장소 이름을 입력하여 삭제를 확인합니다.

  4. 삭제를 클릭합니다.

다음 단계