대화형 세션 및 세션 템플릿 만들기

콘솔

Google Cloud 콘솔을 사용하여 Dataproc 서버리스 세션을 만들려면 다음 단계를 완료하세요.

1. Google Cloud 콘솔에서 대화형 세션 페이지로 이동합니다.

   대화형 세션으로 이동

   1. 만들기를 클릭합니다.

2. 대화형 세션 추가 (미리보기) 페이지에서 세션 구성 설정을 입력하거나 확인합니다. 다음에 유의하세요.

   • 대화형 세션 이름: 필수입니다. 기본 이름을 그대로 사용하거나 세션 이름을 지정합니다.
   • Region: 필수사항입니다. 기본 리전을 수락하거나 세션에 사용 가능한 리전을 지정합니다.
   • 런타임 구성: 선택사항입니다. 선택 가능한 세션 런타임은 사용 가능한 Dataproc Serverless 런타임 버전에 해당합니다. 세션에 사용할 커스텀 컨테이너 이미지를 지정할 수 있습니다.
   • 속성: 선택사항입니다. 각 속성마다 항목 추가를 클릭하여 세션에 설정합니다. 자세한 내용은 Spark 속성을 참고하세요.
   • Spark UI (미리보기): 선택사항입니다. Spark UI를 사용하여 세션 실행 세부정보를 수집하고 모니터링할 수 있습니다.
   • 서비스 계정: 선택사항입니다. 세션에 사용할 서비스 계정입니다. 지정하지 않으면 Compute Engine 기본 서비스 계정이 사용됩니다.
   • 네트워크 구성: 필수사항입니다. 세션 리전에서 서브네트워크를 선택합니다. Dataproc Serverless는 서브넷에 비공개 Google 액세스 (PGA)를 사용 설정합니다. 네트워크 연결 요구사항은 Dataproc Serverless 네트워크 구성을 참고하세요.

3. 제출을 클릭하여 세션을 만듭니다.

gcloud

gcloud beta dataproc sessions create command SESSION_NAME를 사용하여 Dataproc Serverless 대화형 세션을 만들 수 있습니다.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

다음을 바꾸거나 추가합니다.

• SESSION_ID: (필수사항) 세션의 ID입니다.

• REGION: (필수사항) 세션을 찾을 수 있는 사용 가능한 리전

• --version: 선택사항입니다. 지원되는 Spark 런타임 버전 이 플래그를 사용하여 버전을 지정하지 않으면 현재 기본 Spark 런타임 버전이 사용됩니다.

• --container-image: 선택사항입니다. 세션에 사용할 커스텀 컨테이너 이미지

• --property: 선택사항입니다. 세션의 쉼표로 구분된 하나 이상의 Spark 속성

• --service-account: 선택사항입니다. 세션에 사용할 서비스 계정입니다. 지정하지 않으면 Compute Engine 기본 서비스 계정이 사용됩니다.

• --subnet: 선택사항입니다. 세션 리전의 서브넷 이름입니다. 지정하지 않으면 Dataproc Serverless는 세션 리전의 default 서브넷을 사용합니다. Dataproc Serverless는 서브넷에 비공개 Google 액세스 (PGA)를 사용 설정합니다. 네트워크 연결 요구사항은 Dataproc Serverless 네트워크 구성을 참고하세요.

REST

Dataproc sessions.create API를 사용하여 Dataproc Serverless 대화형 세션을 만들 수 있습니다.

참고:

• name: 필수입니다. 세션 이름입니다.

• version: 선택사항입니다. 세션에 지원되는 Spark 런타임 버전 버전을 지정하지 않으면 현재 기본 버전이 사용됩니다.

• containerImage: 선택사항입니다. 세션에 사용할 커스텀 컨테이너 이미지

• properties: 선택사항입니다. 세션 속성 이름과 값의 매핑입니다. Spark 속성을 참고하세요.

• serviceAccount: 선택사항입니다. 세션을 실행하는 데 사용할 서비스 계정입니다. 지정하지 않으면 Compute Engine 기본 서비스 계정이 사용됩니다.

• subnetworkUri: 선택사항입니다. 세션 리전의 서브넷 이름입니다. 지정하지 않으면 Dataproc Serverless는 세션 리전의 default 서브넷을 사용합니다. Dataproc Serverless는 서브넷에 비공개 Google 액세스 (PGA)를 사용 설정합니다. 네트워크 연결 요구사항은 Dataproc Serverless 네트워크 구성을 참고하세요.

콘솔

Google Cloud 콘솔을 사용하여 Dataproc 서버리스 세션 템플릿을 만들려면 다음 단계를 완료합니다.

1. Google Cloud 콘솔에서 세션 템플릿 페이지로 이동합니다.

   세션 템플릿으로 이동

   1. 만들기를 클릭합니다.

2. 세션 템플릿 만들기 페이지에서 템플릿 구성 설정을 입력하거나 확인합니다. 다음에 유의하세요.

   • 템플릿 런타임 ID: 필수 항목입니다. 기본 ID (이름)를 그대로 사용하거나 템플릿 런타임 이름을 지정합니다.
   • Region: 필수사항입니다. 기본 리전을 수락하거나 템플릿 세션에 사용할 수 있는 리전을 지정합니다.
   • 런타임 버전: 선택사항입니다. 선택 가능한 세션 런타임은 Dataproc Serverless 런타임 버전에 해당합니다.
     • BigQuery Studio 노트북 세션 요구사항: BigQuery Studio 노트북 Spark Connect 세션에 사용할 템플릿을 만드는 경우 Spark 런타임 버전 2.3 이상을 사용해야 합니다.
   • 템플릿 구성 유형: 필수사항입니다. 유형을 선택합니다. Jupyter를 선택하면 표시 이름을 지정하고 Jupyter 커널 유형을 선택합니다. Dataproc Serverless에서 Jupyter 노트북을 실행합니다도 참고하세요.
     • BigQuery Studio 노트북 세션 요구사항: BigQuery Studio 노트북 세션은 템플릿 구성 유형으로 Spark Connect를 지정해야 합니다.
   • 서비스 계정: 선택사항입니다. 템플릿 세션을 실행하는 데 사용할 서비스 계정입니다. 지정하지 않으면 Compute Engine 기본 서비스 계정이 사용됩니다.
   • 커스텀 컨테이너 이미지: 선택사항입니다. 템플릿 세션에 사용할 커스텀 컨테이너 이미지입니다.
   • 속성: 선택사항입니다. 각 속성마다 항목 추가를 클릭하여 템플릿 세션에 설정합니다. 자세한 내용은 Spark 속성을 참고하세요.
   • 네트워크 구성: * 필수사항입니다. 세션 리전에서 서브네트워크를 선택합니다. Dataproc Serverless는 지정된 서브넷에서 비공개 Google 액세스 (PGA)를 사용 설정합니다. 네트워크 연결 요구사항은 Dataproc Serverless 네트워크 구성을 참고하세요.

3. 제출을 클릭하여 세션 템플릿을 만듭니다.

gcloud

gcloud CLI를 사용하여 Dataproc 서버리스 세션 템플릿을 직접 만들 수는 없지만 gcloud beta dataproc session-templates import 명령어를 사용하여 기존 세션 템플릿을 가져올 수 있습니다. 가져온 템플릿을 수정한 후 gcloud beta dataproc session-templates export 명령어를 사용하여 내보낼 수 있습니다.

REST

Dataproc sessionTemplates.create API를 사용하여 Dataproc Serverless 세션 템플릿을 만들 수 있습니다.

참고:

• name: 필수입니다. 세션 템플릿 이름입니다.

• version: 선택사항입니다. 템플릿 세션에 지원되는 Spark 런타임 버전 버전을 지정하지 않으면 기본 버전이 사용됩니다.

  • BigQuery Studio 노트북 세션 요구사항: BigQuery Studio 노트북 Spark Connect 세션에 사용할 템플릿을 만드는 경우 Spark 런타임 버전 2.3 이상을 사용해야 합니다.

• sessionConfig: jupyter_session 또는 spark_connect_session를 지정합니다. jupyter_session를 지정하는 경우 JupyterConfig.display_name 및 JupyterConfig.kernel도 지정합니다. Dataproc Serverless에서 Jupyter 노트북을 실행합니다도 참고하세요.

  • BigQuery Studio 노트북 세션 요구사항: BigQuery Studio 노트북 세션은 템플릿 구성 유형으로 Spark Connect를 지정해야 합니다.

• containerImage: 선택사항입니다. 템플릿 세션에 사용할 커스텀 컨테이너 이미지

• properties: 선택사항입니다. 세션 속성 이름과 값의 매핑입니다. Spark 속성을 참고하세요.

• serviceAccount: 선택사항입니다. 템플릿 세션을 실행하는 데 사용할 서비스 계정 지정하지 않으면 Compute Engine 기본 서비스 계정이 사용됩니다.

• subnetworkUri: 선택사항입니다. 세션 리전의 서브넷 이름입니다. 지정하지 않으면 Dataproc Serverless는 세션 리전의 default 서브넷을 사용합니다. Dataproc Serverless는 서브넷에 비공개 Google 액세스 (PGA)를 사용 설정합니다. 네트워크 연결 요구사항은 Dataproc Serverless 네트워크 구성을 참고하세요.