Dataproc Metastore 서비스 배포

필요한 역할

Dataproc Metastore 및 Dataproc 클러스터를 만드는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

• IAM 권한 설정을 포함하여 모든 Dataproc Metastore 리소스에 대해 전체 액세스 권한을 부여하려면 사용자 계정 또는 서비스 계정에 대한 roles/metastore.admin 역할이 필요합니다.
• Dataproc Metastore 리소스에 대해 전체 제어 권한을 부여하려면 사용자 계정 또는 서비스 계정에 대한 Dataproc Metastore 편집자 역할(roles/metastore.editor)이 필요합니다.
• Dataproc 클러스터를 만들려면 서비스 계정에 대한 roles/dataproc.worker 역할이 필요합니다.

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이러한 사전 정의된 역할에는 Dataproc Metastore 및 Dataproc 클러스터를 만드는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

Dataproc Metastore 서비스 만들기

다음 안내에서는 제공된 기본 설정을 사용하여 기본 Dataproc Metastore 서비스를 만드는 방법을 보여줍니다.

 gcloud metastore services create example-service \
     --location=us-central1 \
     --instance-size=MEDIUM

Dataproc 클러스터를 만들고 Dataproc Metastore에 연결

그런 다음 Dataproc 클러스터를 만들고 클러스터에서 메타스토어에 연결합니다. 그러면 클러스터에서 메타스토어 서비스가 HMS로 사용됩니다. 여기에서 만든 클러스터에는 기본 제공된 설정이 사용됩니다.

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/us-central1/services/example-service \
    --region=us-central1

Dataproc 클러스터로 Apache Hive에 연결

다음 단계에서는 Apache Hive에서 몇 가지 예시 명령어를 실행하여 데이터베이스와 테이블을 만드는 방법을 보여줍니다.

그런 다음 Dataproc 클러스터에서 SSH 세션을 열고 Hive 세션을 실행합니다.

1. Google Cloud 콘솔에서 VM 인스턴스 페이지로 이동합니다.
2. 가상 머신 인스턴스 목록에서 example-cluster 옆에 있는 SSH를 클릭합니다.

노드의 홈 디렉터리에 다음과 비슷한 출력이 표시된 브라우저 창이 열립니다.

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

Hive를 시작하고 데이터베이스 및 테이블을 만들려면 SSH 세션에서 다음 명령어를 실행합니다.

1. Hive를 시작합니다.

   hive
   

2. myDatabase라는 데이터베이스를 만듭니다.

   create database myDatabase;
   

3. 생성한 데이터베이스를 표시합니다.

   show databases;
   

4. 만든 데이터베이스를 사용합니다.

   use myDatabase;
   

5. myTable이라는 테이블을 만듭니다.

   create table myTable(id int,name string);
   

6. myDatabase 아래의 테이블을 나열합니다.

   show tables;
   

7. 자신이 만든 테이블의 스키마를 설명합니다.

   desc MyTable;
   

이 명령어를 실행하면 다음과 유사한 출력이 표시됩니다.

$hive

hive> show databases;
OK
default
hive> create database myDatabase;
OK
hive> use myDatabase;
OK
hive> create table myTable(id int,name string);
OK
hive> show tables;
OK
myTable
hive> desc myTable;
OK
id                      int
name                    string