Package google.cloud.dataproc.v1

색인

BatchController

BatchController는 일괄 워크로드를 관리하는 메서드를 제공합니다.

CreateBatch

rpc CreateBatch(CreateBatchRequest) returns (Operation)

비동기식으로 실행되는 일괄 워크로드를 만듭니다.

승인 범위

다음 OAuth 범위가 필요합니다.

  • https://www.googleapis.com/auth/cloud-platform

자세한 내용은 인증 개요를 참조하세요.

DeleteBatch

rpc DeleteBatch(DeleteBatchRequest) returns (Empty)

일괄 워크로드 리소스를 삭제합니다. 일괄 작업이 CANCELLED, SUCCEEDED 또는 FAILED State에 있지 않으면 삭제 작업이 실패하고 응답은 FAILED_PRECONDITION을 반환합니다.

승인 범위

다음 OAuth 범위가 필요합니다.

  • https://www.googleapis.com/auth/cloud-platform

자세한 내용은 인증 개요를 참조하세요.

GetBatch

rpc GetBatch(GetBatchRequest) returns (Batch)

일괄 워크로드 리소스 표현을 가져옵니다.

승인 범위

다음 OAuth 범위가 필요합니다.

  • https://www.googleapis.com/auth/cloud-platform

자세한 내용은 인증 개요를 참조하세요.

ListBatches

rpc ListBatches(ListBatchesRequest) returns (ListBatchesResponse)

일괄 워크로드를 나열합니다.

승인 범위

다음 OAuth 범위가 필요합니다.

  • https://www.googleapis.com/auth/cloud-platform

자세한 내용은 인증 개요를 참조하세요.

SessionController

SessionController는 대화형 세션을 관리하는 메서드를 제공합니다.

CreateSession

rpc CreateSession(CreateSessionRequest) returns (Operation)

대화형 세션을 비동기식으로 만듭니다.

승인 범위

다음 OAuth 범위가 필요합니다.

  • https://www.googleapis.com/auth/cloud-platform

자세한 내용은 인증 개요를 참조하세요.

DeleteSession

rpc DeleteSession(DeleteSessionRequest) returns (Operation)

대화형 세션 리소스를 삭제합니다. 세션이 터미널 상태가 아니면 세션이 종료된 후 삭제됩니다.

승인 범위

다음 OAuth 범위가 필요합니다.

  • https://www.googleapis.com/auth/cloud-platform

자세한 내용은 인증 개요를 참조하세요.

GetSession

rpc GetSession(GetSessionRequest) returns (Session)

대화형 세션의 리소스 표현을 가져옵니다.

승인 범위

다음 OAuth 범위가 필요합니다.

  • https://www.googleapis.com/auth/cloud-platform

자세한 내용은 인증 개요를 참조하세요.

ListSessions

rpc ListSessions(ListSessionsRequest) returns (ListSessionsResponse)

대화형 세션을 표시합니다.

승인 범위

다음 OAuth 범위가 필요합니다.

  • https://www.googleapis.com/auth/cloud-platform

자세한 내용은 인증 개요를 참조하세요.

TerminateSession

rpc TerminateSession(TerminateSessionRequest) returns (Operation)

대화형 세션을 종료합니다.

승인 범위

다음 OAuth 범위가 필요합니다.

  • https://www.googleapis.com/auth/cloud-platform

자세한 내용은 인증 개요를 참조하세요.

SessionTemplateController

SessionTemplateController는 세션 템플릿을 관리하는 메서드를 제공합니다.

CreateSessionTemplate

rpc CreateSessionTemplate(CreateSessionTemplateRequest) returns (SessionTemplate)

세션 템플릿을 동기식으로 만듭니다.

승인 범위

다음 OAuth 범위가 필요합니다.

  • https://www.googleapis.com/auth/cloud-platform

자세한 내용은 인증 개요를 참조하세요.

DeleteSessionTemplate

rpc DeleteSessionTemplate(DeleteSessionTemplateRequest) returns (Empty)

세션 템플릿을 삭제합니다.

승인 범위

다음 OAuth 범위가 필요합니다.

  • https://www.googleapis.com/auth/cloud-platform

자세한 내용은 인증 개요를 참조하세요.

GetSessionTemplate

rpc GetSessionTemplate(GetSessionTemplateRequest) returns (SessionTemplate)

세션 템플릿의 리소스 표현을 가져옵니다.

승인 범위

다음 OAuth 범위가 필요합니다.

  • https://www.googleapis.com/auth/cloud-platform

자세한 내용은 인증 개요를 참조하세요.

ListSessionTemplates

rpc ListSessionTemplates(ListSessionTemplatesRequest) returns (ListSessionTemplatesResponse)

세션 템플릿을 나열합니다.

승인 범위

다음 OAuth 범위가 필요합니다.

  • https://www.googleapis.com/auth/cloud-platform

자세한 내용은 인증 개요를 참조하세요.

UpdateSessionTemplate

rpc UpdateSessionTemplate(UpdateSessionTemplateRequest) returns (SessionTemplate)

세션 템플릿을 동기식으로 업데이트합니다.

승인 범위

다음 OAuth 범위가 필요합니다.

  • https://www.googleapis.com/auth/cloud-platform

자세한 내용은 인증 개요를 참조하세요.

AnalyzeOperationMetadata

분석 작업을 설명하는 메타데이터입니다.

필드
analyzed_workload_name

string

출력 전용입니다. 분석 중인 워크로드의 이름입니다.

analyzed_workload_type

WorkloadType

출력 전용입니다. 분석 중인 워크로드의 유형입니다.

analyzed_workload_uuid

string

출력 전용. 일반적으로 제어 영역에서 생성하는 워크로드의 고유 식별자입니다. 예: 일괄 UUID

create_time

Timestamp

출력 전용입니다. 작업이 생성된 시간입니다.

done_time

Timestamp

출력 전용입니다. 작업이 완료된 시간입니다.

description

string

출력 전용입니다. 작업에 관한 간단한 설명입니다.

labels

map<string, string>

출력 전용입니다. 작업과 연결된 라벨입니다.

warnings[]

string

출력 전용입니다. 작업 실행 중에 경고가 발생했습니다.

WorkloadType

워크로드 유형

열거형
WORKLOAD_TYPE_UNSPECIFIED 정의되지 않은 옵션
BATCH 서버리스 일괄 작업

AutotuningConfig

워크로드의 자동 튜닝 구성

필드
scenarios[]

Scenario

선택사항입니다. 조정이 적용되는 시나리오

시나리오

시나리오는 자동 튜닝이 워크로드를 수정하여 달성하려는 특정 목표를 나타냅니다.

열거형
SCENARIO_UNSPECIFIED 기본값
SCALING initialExecutors와 같은 추천 확장
BROADCAST_HASH_JOIN 잠재적 관계 브로드캐스트에 대한 힌트를 추가했습니다.
MEMORY 워크로드의 메모리 관리

일괄

서비스의 일괄 워크로드를 나타냅니다.

필드
name

string

출력 전용입니다. 일괄 처리의 리소스 이름입니다.

uuid

string

출력 전용입니다. 일괄 UUID (고유 범용 식별자) 서비스는 일괄 처리를 만들 때 이 값을 생성합니다.

create_time

Timestamp

출력 전용입니다. 일괄 처리가 생성된 시간입니다.

runtime_info

RuntimeInfo

출력 전용입니다. 일괄 실행에 관한 런타임 정보입니다.

state

State

출력 전용입니다. 배치의 상태입니다.

state_message

string

출력 전용입니다. 일괄 처리 상태 세부정보(예: 상태가 FAILED인 경우 실패 설명)

state_time

Timestamp

출력 전용입니다. 일괄 처리가 현재 상태로 전환된 시간입니다.

creator

string

출력 전용입니다. 일괄 처리를 만든 사용자의 이메일 주소입니다.

labels

map<string, string>

선택사항입니다. 이 일괄 처리와 연결할 라벨입니다. 라벨 는 1~63자(영문 기준)여야 하며 RFC 1035를 준수해야 합니다. 라벨 은 비어 있을 수 있지만, 있는 경우 1~63자(영문 기준)여야 하며 RFC 1035를 준수해야 합니다. 일괄 처리와 연결할 수 있는 라벨은 32개 미만입니다.

runtime_config

RuntimeConfig

선택사항입니다. 일괄 실행의 런타임 구성입니다.

environment_config

EnvironmentConfig

선택사항입니다. 일괄 실행의 환경 구성입니다.

operation

string

출력 전용입니다. 이 일괄 처리와 연결된 작업의 리소스 이름입니다.

state_history[]

StateHistory

출력 전용입니다. 일괄 처리의 이전 상태 정보입니다.

통합 필드 batch_config. 배치 구성의 애플리케이션/프레임워크별 부분입니다. batch_config은 다음 중 하나여야 합니다.
pyspark_batch

PySparkBatch

선택사항입니다. PySpark 일괄 구성

spark_batch

SparkBatch

선택사항입니다. Spark 일괄 구성

spark_r_batch

SparkRBatch

선택사항입니다. SparkR 일괄 구성

spark_sql_batch

SparkSqlBatch

선택사항입니다. SparkSql 일괄 구성

일괄 처리 상태입니다.

열거형
STATE_UNSPECIFIED 일괄 처리 상태를 알 수 없습니다.
PENDING 일괄 처리는 실행 전에 생성됩니다.
RUNNING 일괄 처리가 실행 중입니다.
CANCELLING 일괄 처리가 취소되고 있습니다.
CANCELLED 일괄 취소가 완료되었습니다.
SUCCEEDED 일괄 처리가 완료되었습니다.
FAILED 오류로 인해 더 이상 일괄 처리가 실행되지 않습니다.

StateHistory

이전 상태 정보입니다.

필드
state

State

출력 전용입니다. 이 시점의 일괄 처리 상태입니다.

state_message

string

출력 전용입니다. 이 시점의 상태에 관한 세부정보입니다.

state_start_time

Timestamp

출력 전용입니다. 일괄 처리가 이전 상태로 전환된 시간입니다.

BatchOperationMetadata

일괄 작업을 설명하는 메타데이터입니다.

필드
batch

string

작업의 일괄 처리 이름입니다.

batch_uuid

string

작업의 일괄 UUID입니다.

create_time

Timestamp

작업이 생성된 시간입니다.

done_time

Timestamp

작업이 완료된 시간입니다.

operation_type

BatchOperationType

작업 유형입니다.

description

string

작업에 관한 간단한 설명입니다.

labels

map<string, string>

작업과 연결된 라벨입니다.

warnings[]

string

작업 실행 중에 경고가 발생했습니다.

BatchOperationType

일괄 리소스의 작업 유형

열거형
BATCH_OPERATION_TYPE_UNSPECIFIED 일괄 작업 유형을 알 수 없습니다.
BATCH 일괄 작업 유형입니다.

CreateBatchRequest

일괄 워크로드를 만들기 위한 요청입니다.

필드
parent

string

필수 입력란입니다. 이 일괄 처리가 생성될 상위 리소스입니다.

승인을 처리하려면 지정된 리소스 parent에 대해 다음과 같은 IAM 권한이 필요합니다.

  • dataproc.batches.create
batch

Batch

필수 입력란입니다. 만들 일괄 처리입니다.

batch_id

string

선택사항입니다. 일괄 처리에 사용할 ID이며, 일괄 처리의 리소스 이름에서 마지막 구성요소가 됩니다.

이 값은 4~63자(영문 기준)여야 합니다. 유효한 문자는 /[a-z][0-9]-/입니다.

request_id

string

선택사항입니다. 요청을 식별하는 데 사용되는 고유 ID입니다. 서비스가 동일한 request_id를 가진 두 개의 CreateBatchRequest를 수신하면 두 번째 요청은 무시되고 백엔드에 생성되고 저장된 첫 번째 배치에 해당하는 작업이 반환됩니다.

권장사항: 이 값을 UUID로 설정합니다.

값은 문자(a~z, A~Z), 숫자(0~9), 밑줄(_), 하이픈(-)만 포함해야 합니다. 최대 길이는 40자(영문 기준)입니다.

CreateSessionRequest

세션 생성 요청입니다.

필드
parent

string

필수 입력란입니다. 이 세션이 생성될 상위 리소스입니다.

승인을 처리하려면 지정된 리소스 parent에 대해 다음과 같은 IAM 권한이 필요합니다.

  • dataproc.sessions.create
session

Session

필수 입력란입니다. 만들 대화형 세션입니다.

session_id

string

필수 입력란입니다. 세션에 사용할 ID이며, 세션의 리소스 이름에서 마지막 구성요소가 됩니다.

이 값은 4~63자(영문 기준)여야 합니다. 유효한 문자는 /[az][0-9]-/입니다.

request_id

string

선택사항입니다. 요청을 식별하는 데 사용되는 고유 ID입니다. 서비스가 동일한 ID를 가진 두 개의 CreateSessionRequests를 수신하면 두 번째 요청은 무시되고 첫 번째 Session가 생성되어 백엔드에 저장됩니다.

권장사항: 이 값을 UUID로 설정합니다.

값은 문자(a~z, A~Z), 숫자(0~9), 밑줄(_), 하이픈(-)만 포함해야 합니다. 최대 길이는 40자(영문 기준)입니다.

CreateSessionTemplateRequest

세션 템플릿 생성 요청입니다.

필드
parent

string

필수 입력란입니다. 이 세션 템플릿이 생성될 상위 리소스입니다.

승인을 처리하려면 지정된 리소스 parent에 대해 다음과 같은 IAM 권한이 필요합니다.

  • dataproc.sessionTemplates.create
session_template

SessionTemplate

필수 입력란입니다. 만들 세션 템플릿입니다.

DeleteBatchRequest

일괄 워크로드 삭제 요청입니다.

필드
name

string

필수 입력란입니다. 검색할 일괄 처리의 정규화된 이름으로 'projects/PROJECT_ID/locations/DATAPROC_REGION/batches/BATCH_ID' 형식입니다.

승인을 처리하려면 지정된 리소스 name에 대해 다음과 같은 IAM 권한이 필요합니다.

  • dataproc.batches.delete

DeleteSessionRequest

세션 삭제 요청입니다.

필드
name

string

필수 입력란입니다. 삭제할 세션 리소스의 이름입니다.

승인을 처리하려면 지정된 리소스 name에 대해 다음과 같은 IAM 권한이 필요합니다.

  • dataproc.sessions.delete
request_id

string

선택사항입니다. 요청을 식별하는 데 사용되는 고유 ID입니다. 서비스가 동일한 ID를 가진 두 개의 DeleteSessionRequest를 수신하면 두 번째 요청은 무시됩니다.

권장사항: 이 값을 UUID로 설정합니다.

값은 문자(a~z, A~Z), 숫자(0~9), 밑줄(_), 하이픈(-)만 포함해야 합니다. 최대 길이는 40자(영문 기준)입니다.

DeleteSessionTemplateRequest

세션 템플릿 삭제 요청입니다.

필드
name

string

필수 입력란입니다. 삭제할 세션 템플릿 리소스의 이름입니다.

승인을 처리하려면 지정된 리소스 name에 대해 다음과 같은 IAM 권한이 필요합니다.

  • dataproc.sessionTemplates.delete

DiagnoseClusterResults

진단 출력의 위치입니다.

필드
output_uri

string

출력 전용입니다. 진단 출력의 Cloud Storage URI입니다. 출력 보고서는 수집된 진단의 요약이 포함된 일반 텍스트 파일입니다.

EnvironmentConfig

워크로드의 환경 구성

필드
execution_config

ExecutionConfig

선택사항입니다. 워크로드의 실행 구성입니다.

peripherals_config

PeripheralsConfig

선택사항입니다. 워크로드에서 액세스할 수 있는 주변기기 구성입니다.

ExecutionConfig

워크로드의 실행 구성입니다.

필드
service_account

string

선택사항입니다. 워크로드를 실행하는 데 사용된 서비스 계정

network_tags[]

string

선택사항입니다. 네트워크 트래픽 제어에 사용되는 태그입니다.

kms_key

string

선택사항입니다. 암호화에 사용할 Cloud KMS 키입니다.

idle_ttl

Duration

선택사항입니다. 세션에만 적용됩니다. 세션이 유휴 상태일 때 세션을 연결 상태로 유지하는 기간입니다. 이 기준을 초과하면 세션이 종료됩니다. 이 필드는 일괄 워크로드에 설정할 수 없습니다. 최솟값은 10분, 최댓값은 14일입니다 (기간의 JSON 표현 참고). 설정하지 않으면 기본값은 1시간입니다. 대화형 세션에 ttlidle_ttl가 모두 지정된 경우 조건은 OR 조건으로 취급됩니다. 워크로드가 idle_ttl 동안 유휴 상태이거나 ttl가 초과된 경우(둘 중 먼저 발생하는 경우) 종료됩니다.

ttl

Duration

선택사항입니다. 워크로드가 종료되는 기간으로, 기간의 JSON 표현으로 지정됩니다. 워크로드가 이 기간을 초과하면 진행 중인 작업이 완료될 때까지 기다리지 않고 무조건 종료됩니다. 일괄 워크로드에 ttl을 지정하지 않으면 워크로드가 자연스럽게 종료될 때까지 실행됩니다 (또는 종료되지 않고 영구 실행). 대화형 세션에 ttl가 지정되지 않은 경우 기본값은 24시간입니다. 2.1 이상 런타임 버전을 사용하는 배치에 ttl를 지정하지 않으면 기본값은 4시간입니다. 최솟값은 10분, 최댓값은 14일입니다. ttlidle_ttl가 모두 지정된 경우(대화형 세션의 경우) 조건은 OR 조건으로 취급됩니다. 워크로드가 idle_ttl 동안 유휴 상태이거나 ttl가 초과된 경우(둘 중 먼저 발생하는 경우) 종료됩니다.

staging_bucket

string

선택사항입니다. 워크로드 종속 항목, 구성 파일을 스테이징하고 워크로드 출력 및 기타 임시 데이터(예: Spark 기록 파일)를 저장하는 데 사용되는 Cloud Storage 버킷입니다. 스테이징 버킷을 지정하지 않으면 Cloud Dataproc은 워크로드가 실행되는 리전에 따라 Cloud Storage 위치를 결정한 후 프로젝트 수준의 위치별 스테이징 및 임시 버킷을 만들고 관리합니다. 이 필드에는 Cloud Storage 버킷의 gs://... URI가 아닌 Cloud Storage 버킷 이름이 필요합니다.

통합 필드 network. 워크로드 실행을 위한 네트워크 구성 network은 다음 중 하나여야 합니다.
network_uri

string

선택사항입니다. 워크로드를 연결할 네트워크 URI입니다.

subnetwork_uri

string

선택사항입니다. 워크로드를 연결할 서브네트워크 URI입니다.

GetBatchRequest

일괄 워크로드의 리소스 표현을 가져오기 위한 요청입니다.

필드
name

string

필수 입력란입니다. 검색할 일괄 처리의 정규화된 이름으로 'projects/PROJECT_ID/locations/DATAPROC_REGION/batches/BATCH_ID' 형식입니다.

승인을 처리하려면 지정된 리소스 name에 대해 다음과 같은 IAM 권한이 필요합니다.

  • dataproc.batches.get

GetSessionRequest

세션의 리소스 표현을 가져오기 위한 요청입니다.

필드
name

string

필수 입력란입니다. 검색할 세션의 이름입니다.

승인을 처리하려면 지정된 리소스 name에 대해 다음과 같은 IAM 권한이 필요합니다.

  • dataproc.sessions.get

GetSessionTemplateRequest

세션 템플릿의 리소스 표현을 가져오기 위한 요청입니다.

필드
name

string

필수 입력란입니다. 검색할 세션 템플릿의 이름입니다.

승인을 처리하려면 지정된 리소스 name에 대해 다음과 같은 IAM 권한이 필요합니다.

  • dataproc.sessionTemplates.get

JupyterConfig

대화형 세션의 Jupyter 구성

필드
kernel

Kernel

선택사항입니다. 커널

display_name

string

선택사항입니다. Jupyter kernelspec 카드에 표시되는 표시 이름입니다.

커널

Jupyter 커널 유형

열거형
KERNEL_UNSPECIFIED 알 수 없는 커널입니다.
PYTHON Python 커널
SCALA Scala 커널

ListBatchesRequest

프로젝트의 일괄 워크로드를 나열하기 위한 요청입니다.

필드
parent

string

필수 입력란입니다. 이 일괄 컬렉션을 소유한 상위 요소입니다.

승인을 처리하려면 지정된 리소스 parent에 대해 다음과 같은 IAM 권한이 필요합니다.

  • dataproc.batches.list
page_size

int32

선택사항입니다. 각 응답에서 반환할 최대 일괄 처리 수입니다. 서비스가 이 값보다 더 적게 반환할 수 있습니다. 기본 페이지 크기는 20이고 최대 페이지 크기는 1,000입니다.

page_token

string

선택사항입니다. 이전 ListBatches 호출에서 받은 페이지 토큰입니다. 후속 페이지를 검색하려면 이 토큰을 입력합니다.

filter

string

선택사항입니다. 응답에 반환할 일괄 처리의 필터입니다.

필터는 각 일괄 처리 리소스의 다양한 필드 값을 제한하는 논리 표현식입니다. 필터는 대소문자를 구분하며 논리 연산자 (AND/OR)와 결합된 여러 절을 포함할 수 있습니다. 지원되는 필드는 batch_id, batch_uuid, state, create_time, labels입니다.

예를 들어 2023년 1월 1일 전에 생성된 RUNNING 상태의 일괄 처리에 관한 state = RUNNING and create_time < "2023-01-01T00:00:00Z" 필터입니다. state = RUNNING and labels.environment=production: 프로덕션 환경 라벨이 있는 RUNNING 상태의 일괄 처리를 필터링합니다.

필터 문법에 관한 자세한 설명과 지원되는 비교 목록은 https://google.aip.dev/assets/misc/ebnf-filtering.txt를 참고하세요.

order_by

string

선택사항입니다. 일괄 처리 목록을 정렬할 필드입니다.

현재 지원되는 정렬 순서는 지정되지 않음 (비어 있음)과 가장 최근에 생성된 일괄 처리를 먼저 정렬하는 create_time desc뿐입니다.

자세한 내용은 https://google.aip.dev/132#ordering을 참조하세요.

ListBatchesResponse

일괄 워크로드 목록입니다.

필드
batches[]

Batch

출력 전용입니다. 지정된 컬렉션의 일괄 처리입니다.

next_page_token

string

다음 페이지를 검색하기 위해 page_token으로 전송할 수 있는 토큰입니다. 이 필드를 생략하면 후속 페이지가 표시되지 않습니다.

unreachable[]

string

출력 전용입니다. 응답에 포함할 수 없는 일괄 처리 목록입니다. 이러한 리소스 중 하나를 가져오려고 하면 목록 응답에 포함되지 않은 이유를 알 수 있습니다.

ListSessionTemplatesRequest

프로젝트의 세션 템플릿을 나열하기 위한 요청입니다.

필드
parent

string

필수 입력란입니다. 이 세션 템플릿 컬렉션을 소유한 상위 항목입니다.

승인을 처리하려면 지정된 리소스 parent에 대해 다음과 같은 IAM 권한이 필요합니다.

  • dataproc.sessionTemplates.list
page_size

int32

선택사항입니다. 각 응답에서 반환할 최대 세션 수입니다. 서비스가 이 값보다 더 적게 반환할 수 있습니다.

page_token

string

선택사항입니다. 이전 ListSessions 호출에서 받은 페이지 토큰입니다. 후속 페이지를 검색하려면 이 토큰을 입력합니다.

filter

string

선택사항입니다. 응답에 반환할 세션 템플릿의 필터입니다. 필터는 대소문자를 구분하며 다음과 같은 문법을 사용합니다.

[필드 = 값] AND [필드 [= 값]] ...

ListSessionTemplatesResponse

세션 템플릿 목록입니다.

필드
session_templates[]

SessionTemplate

출력 전용입니다. 세션 템플릿 목록

next_page_token

string

다음 페이지를 검색하기 위해 page_token으로 전송할 수 있는 토큰입니다. 이 필드를 생략하면 후속 페이지가 표시되지 않습니다.

ListSessionsRequest

프로젝트의 세션을 나열하기 위한 요청입니다.

필드
parent

string

필수 입력란입니다. 이 세션 컬렉션을 소유한 상위 요소입니다.

승인을 처리하려면 지정된 리소스 parent에 대해 다음과 같은 IAM 권한이 필요합니다.

  • dataproc.sessions.list
page_size

int32

선택사항입니다. 각 응답에서 반환할 최대 세션 수입니다. 서비스가 이 값보다 더 적게 반환할 수 있습니다.

page_token

string

선택사항입니다. 이전 ListSessions 호출에서 받은 페이지 토큰입니다. 후속 페이지를 검색하려면 이 토큰을 입력합니다.

filter

string

선택사항입니다. 응답에 반환할 세션의 필터입니다.

필터는 각 세션 리소스의 다양한 필드 값을 제한하는 논리 표현식입니다. 필터는 대소문자를 구분하며 논리 연산자 (AND, OR)와 결합된 여러 절을 포함할 수 있습니다. 지원되는 필드는 session_id, session_uuid, state, create_time, labels입니다.

예: state = ACTIVE and create_time < "2023-01-01T00:00:00Z"는 2023-01-01 이전에 생성된 ACTIVE 상태의 세션에 대한 필터입니다. state = ACTIVE and labels.environment=production는 프로덕션 환경 라벨이 있는 ACTIVE 상태의 세션을 위한 필터입니다.

필터 문법에 관한 자세한 설명과 지원되는 비교 연산자 목록은 https://google.aip.dev/assets/misc/ebnf-filtering.txt를 참고하세요.

ListSessionsResponse

대화형 세션 목록입니다.

필드
sessions[]

Session

출력 전용입니다. 지정된 컬렉션의 세션입니다.

next_page_token

string

다음 페이지를 검색하기 위해 page_token으로 전송할 수 있는 토큰입니다. 이 필드를 생략하면 후속 페이지가 표시되지 않습니다.

PeripheralsConfig

워크로드의 보조 서비스 구성입니다.

필드
metastore_service

string

선택사항입니다. 기존 Dataproc Metastore 서비스의 리소스 이름입니다.

예:

  • projects/[project_id]/locations/[region]/services/[service_id]
spark_history_server_config

SparkHistoryServerConfig

선택사항입니다. 워크로드의 Spark 기록 서버 구성입니다.

PyPiRepositoryConfig

PyPi 저장소 구성

필드
pypi_repository

string

선택사항입니다. PyPi 저장소 주소

PySparkBatch

Apache PySpark 일괄 워크로드를 실행하기 위한 구성입니다.

필드
main_python_file_uri

string

필수 입력란입니다. Spark 드라이버로 사용할 기본 Python 파일의 HCFS URI입니다. .py 파일이어야 합니다.

args[]

string

선택사항입니다. 드라이버에 전달할 인수입니다. 충돌이 발생하여 잘못된 일괄 제출이 발생할 수 있으므로 --conf와 같이 일괄 속성으로 설정할 수 있는 인수를 포함하지 마세요.

python_file_uris[]

string

선택사항입니다. PySpark 프레임워크에 전달할 Python 파일의 HCFS 파일 URI입니다. 지원되는 파일 형식: .py, .egg, .zip

jar_file_uris[]

string

선택사항입니다. Spark 드라이버 및 작업의 클래스 경로에 추가할 jar 파일의 HCFS URI입니다.

file_uris[]

string

선택사항입니다. 각 실행자의 작업 디렉터리에 배치할 파일의 HCFS URI입니다.

archive_uris[]

string

선택사항입니다. 각 실행자의 작업 디렉터리로 추출할 보관 파일의 HCFS URI입니다. 지원되는 파일 형식: .jar, .tar, .tar.gz, .tgz, .zip

RepositoryConfig

종속 항목 저장소 구성

필드
pypi_repository_config

PyPiRepositoryConfig

선택사항입니다. PyPi 저장소 구성

RuntimeConfig

워크로드의 런타임 구성입니다.

필드
version

string

선택사항입니다. 일괄 런타임 버전입니다.

container_image

string

선택사항입니다. 작업 런타임 환경의 커스텀 컨테이너 이미지(선택사항)입니다. 지정하지 않으면 기본 컨테이너 이미지가 사용됩니다.

properties

map<string, string>

선택사항입니다. 워크로드 실행을 구성하는 데 사용되는 속성 이름과 값의 매핑입니다.

repository_config

RepositoryConfig

선택사항입니다. 종속 항목 저장소 구성

autotuning_config

AutotuningConfig

선택사항입니다. 워크로드의 자동 튜닝 구성

cohort

string

선택사항입니다. 동질 집단 식별자 동일한 모양의 워크로드 계열(예: 일일 ETL 작업)을 식별합니다.

RuntimeInfo

워크로드 실행에 관한 런타임 정보입니다.

필드
endpoints

map<string, string>

출력 전용입니다. 원격 액세스 엔드포인트 (예: 웹 인터페이스 및 API)와 URI의 매핑입니다.

output_uri

string

출력 전용입니다. 워크로드의 stdout 및 stderr 위치를 가리키는 URI입니다.

diagnostic_output_uri

string

출력 전용입니다. 진단 tarball의 위치를 가리키는 URI입니다.

approximate_usage

UsageMetrics

출력 전용입니다. 워크로드가 완료될 때 계산되는 대략적인 워크로드 리소스 사용량입니다 (Dataproc Serverless 가격 책정 참고).

참고: 이 측정항목 계산은 향후 워크로드 실행 중에 누적된 워크로드 리소스 소비를 포착하기 위해 변경될 수 있습니다 (공지사항, 변경사항, 수정사항, 기타 Dataproc 개발사항은 Dataproc Serverless 출시 노트 참고).

current_usage

UsageSnapshot

출력 전용입니다. 현재 워크로드 리소스 사용량의 스냅샷입니다.

세션

세션의 표현입니다.

필드
name

string

필수 입력란입니다. 세션의 리소스 이름입니다.

uuid

string

출력 전용입니다. 세션 UUID (고유 범용 식별자)입니다. 서비스는 세션을 만들 때 이 값을 생성합니다.

create_time

Timestamp

출력 전용입니다. 세션이 생성된 시간입니다.

runtime_info

RuntimeInfo

출력 전용입니다. 세션 실행에 관한 런타임 정보입니다.

state

State

출력 전용입니다. 세션의 상태입니다.

state_message

string

출력 전용입니다. 세션 상태 세부정보(예: 상태가 FAILED인 경우 실패 설명)

state_time

Timestamp

출력 전용입니다. 세션이 현재 상태로 전환된 시간입니다.

creator

string

출력 전용입니다. 세션을 만든 사용자의 이메일 주소입니다.

labels

map<string, string>

선택사항입니다. 세션과 연결할 라벨입니다. 라벨 는 1~63자(영문 기준)여야 하며 RFC 1035를 준수해야 합니다. 라벨 은 비어 있을 수 있지만, 있는 경우 1~63자(영문 기준)여야 하며 RFC 1035를 준수해야 합니다. 세션과 연결할 수 있는 라벨은 32개 미만입니다.

runtime_config

RuntimeConfig

선택사항입니다. 세션 실행의 런타임 구성입니다.

environment_config

EnvironmentConfig

선택사항입니다. 세션 실행을 위한 환경 구성입니다.

user

string

선택사항입니다. 세션을 소유한 사용자의 이메일 주소입니다.

state_history[]

SessionStateHistory

출력 전용입니다. 세션의 이전 상태 정보입니다.

session_template

string

선택사항입니다. 세션에서 사용하는 세션 템플릿입니다.

프로젝트 ID 및 위치를 포함한 리소스 이름만 유효합니다.

예: * https://www.googleapis.com/compute/v1/projects/[project_id]/locations/[dataproc_region]/sessionTemplates/[template_id] * projects/[project_id]/locations/[dataproc_region]/sessionTemplates/[template_id]

템플릿은 세션과 동일한 프로젝트 및 Dataproc 리전에 있어야 합니다.

통합 필드 session_config. 세션 구성입니다. session_config은 다음 중 하나여야 합니다.
jupyter_session

JupyterConfig

선택사항입니다. Jupyter 세션 구성

spark_connect_session

SparkConnectConfig

선택사항입니다. Spark Connect 세션 구성

SessionStateHistory

이전 상태 정보입니다.

필드
state

State

출력 전용입니다. 세션 기록의 이 지점에서 세션의 상태입니다.

state_message

string

출력 전용입니다. 세션 기록의 이 시점의 상태에 관한 세부정보입니다.

state_start_time

Timestamp

출력 전용입니다. 세션이 이전 상태로 전환된 시간입니다.

세션 상태입니다.

열거형
STATE_UNSPECIFIED 세션 상태를 알 수 없습니다.
CREATING 세션은 실행 전에 생성됩니다.
ACTIVE 세션이 실행 중입니다.
TERMINATING 세션이 종료됩니다.
TERMINATED 세션이 종료되었습니다.
FAILED 오류로 인해 세션이 더 이상 실행되지 않습니다.

SessionOperationMetadata

세션 작업을 설명하는 메타데이터입니다.

필드
session

string

작업의 세션 이름입니다.

session_uuid

string

작업의 세션 UUID입니다.

create_time

Timestamp

작업이 생성된 시간입니다.

done_time

Timestamp

작업이 완료된 시간입니다.

operation_type

SessionOperationType

작업 유형입니다.

description

string

작업에 관한 간단한 설명입니다.

labels

map<string, string>

작업과 연결된 라벨입니다.

warnings[]

string

작업 실행 중에 경고가 발생했습니다.

SessionOperationType

세션 리소스의 작업 유형

열거형
SESSION_OPERATION_TYPE_UNSPECIFIED 세션 작업 유형을 알 수 없습니다.
CREATE 세션 만들기 작업 유형입니다.
TERMINATE 세션 종료 작업 유형입니다.
DELETE 세션 삭제 작업 유형입니다.

SessionTemplate

세션 템플릿의 표현입니다.

필드
name

string

필수 입력란입니다. 세션 템플릿의 리소스 이름입니다.

description

string

선택사항입니다. 템플릿에 관한 간단한 설명입니다.

create_time

Timestamp

출력 전용입니다. 템플릿이 생성된 시간입니다.

creator

string

출력 전용입니다. 템플릿을 만든 사용자의 이메일 주소입니다.

labels

map<string, string>

선택사항입니다. 이 템플릿을 사용하여 만든 세션과 연결할 라벨입니다. 라벨 는 1~63자(영문 기준)여야 하며 RFC 1035를 준수해야 합니다. 라벨 은 비워 둘 수 있지만, 있는 경우 1~63자(영문 기준)여야 하며 RFC 1035를 준수해야 합니다. 세션과 연결할 수 있는 라벨은 32개 미만입니다.

runtime_config

RuntimeConfig

선택사항입니다. 세션 실행을 위한 런타임 구성입니다.

environment_config

EnvironmentConfig

선택사항입니다. 세션 실행을 위한 환경 구성

update_time

Timestamp

출력 전용입니다. 템플릿이 마지막으로 업데이트된 시간입니다.

uuid

string

출력 전용입니다. 세션 템플릿 UUID (고유 범용 식별자)입니다. 서비스는 세션 템플릿을 만들 때 이 값을 생성합니다.

통합 필드 session_config. 세션 구성입니다. session_config은 다음 중 하나여야 합니다.
jupyter_session

JupyterConfig

선택사항입니다. Jupyter 세션 구성

spark_connect_session

SparkConnectConfig

선택사항입니다. Spark Connect 세션 구성

SparkBatch

Apache Spark 일괄 워크로드를 실행하기 위한 구성입니다.

필드
args[]

string

선택사항입니다. 드라이버에 전달할 인수입니다. 충돌이 발생하여 잘못된 일괄 제출이 발생할 수 있으므로 --conf와 같이 일괄 속성으로 설정할 수 있는 인수를 포함하지 마세요.

jar_file_uris[]

string

선택사항입니다. Spark 드라이버 및 작업의 클래스 경로에 추가할 jar 파일의 HCFS URI입니다.

file_uris[]

string

선택사항입니다. 각 실행자의 작업 디렉터리에 배치할 파일의 HCFS URI입니다.

archive_uris[]

string

선택사항입니다. 각 실행자의 작업 디렉터리로 추출할 보관 파일의 HCFS URI입니다. 지원되는 파일 형식: .jar, .tar, .tar.gz, .tgz, .zip

통합 필드 driver. Spark 워크로드를 실행하기 위해 호출할 기본 메서드의 사양입니다. 기본 클래스가 포함된 jar 파일 또는 기본 클래스 이름을 지정합니다. 기본 jar와 해당 jar의 기본 클래스를 모두 전달하려면 jar를 jar_file_uris에 추가한 다음 main_class에서 기본 클래스 이름을 지정합니다. driver은 다음 중 하나여야 합니다.
main_jar_file_uri

string

선택사항입니다. 기본 클래스가 포함된 jar 파일의 HCFS URI입니다.

main_class

string

선택사항입니다. 드라이버 기본 클래스의 이름입니다. 클래스가 포함된 jar 파일이 클래스 경로에 있거나 jar_file_uris에 지정되어야 합니다.

SparkConnectConfig

이 유형에는 필드가 없습니다.

대화형 세션의 Spark Connect 구성

SparkHistoryServerConfig

워크로드의 Spark 기록 서버 구성

필드
dataproc_cluster

string

선택사항입니다. 워크로드의 Spark 기록 서버 역할을 하는 기존 Dataproc 클러스터의 리소스 이름입니다.

예:

  • projects/[project_id]/regions/[region]/clusters/[cluster_name]

SparkRBatch

Apache SparkR 배치 워크로드를 실행하기 위한 구성입니다.

필드
main_r_file_uri

string

필수 입력란입니다. 드라이버로 사용할 기본 R 파일의 HCFS URI입니다. .R 또는 .r 파일이어야 합니다.

args[]

string

선택사항입니다. Spark 드라이버에 전달할 인수입니다. 충돌이 발생하여 잘못된 일괄 제출이 발생할 수 있으므로 --conf와 같이 일괄 속성으로 설정할 수 있는 인수를 포함하지 마세요.

file_uris[]

string

선택사항입니다. 각 실행자의 작업 디렉터리에 배치할 파일의 HCFS URI입니다.

archive_uris[]

string

선택사항입니다. 각 실행자의 작업 디렉터리로 추출할 보관 파일의 HCFS URI입니다. 지원되는 파일 형식: .jar, .tar, .tar.gz, .tgz, .zip

SparkSqlBatch

Apache Spark SQL 쿼리를 일괄 워크로드로 실행하기 위한 구성입니다.

필드
query_file_uri

string

필수 입력란입니다. 실행할 Spark SQL 쿼리가 포함된 스크립트의 HCFS URI입니다.

query_variables

map<string, string>

선택사항입니다. 쿼리 변수 이름을 값에 매핑합니다 (Spark SQL 명령어 SET name="value";와 동일).

jar_file_uris[]

string

선택사항입니다. Spark CLASSPATH에 추가할 jar 파일의 HCFS URI입니다.

TerminateSessionRequest

대화형 세션 종료 요청입니다.

필드
name

string

필수 입력란입니다. 종료할 세션 리소스의 이름입니다.

승인을 처리하려면 지정된 리소스 name에 대해 다음과 같은 IAM 권한이 필요합니다.

  • dataproc.sessions.terminate
request_id

string

선택사항입니다. 요청을 식별하는 데 사용되는 고유 ID입니다. 서비스가 동일한 ID를 가진 두 개의 TerminateSessionRequest를 수신하면 두 번째 요청은 무시됩니다.

권장사항: 이 값을 UUID로 설정합니다.

값은 문자(a~z, A~Z), 숫자(0~9), 밑줄(_), 하이픈(-)만 포함해야 합니다. 최대 길이는 40자(영문 기준)입니다.

UpdateSessionTemplateRequest

세션 템플릿을 업데이트하기 위한 요청입니다.

필드
session_template

SessionTemplate

필수 입력란입니다. 업데이트된 세션 템플릿

승인을 처리하려면 지정된 리소스 sessionTemplate에 대해 다음과 같은 IAM 권한이 필요합니다.

  • dataproc.sessionTemplates.update

UsageMetrics

사용량 측정항목은 워크로드에서 소비한 총 리소스의 대략적인 양을 나타냅니다.

필드
milli_dcu_seconds

int64

선택사항입니다. DCU (Dataproc 컴퓨팅 단위) 사용량 (milliDCU x seconds) (Dataproc 서버리스 가격 책정 참고)

shuffle_storage_gb_seconds

int64

선택사항입니다. 셔플 스토리지 사용량 (GB x seconds) (Dataproc 서버리스 가격 책정 참고)

milli_accelerator_seconds

int64

선택사항입니다. 가속기 사용량 (milliAccelerator x seconds) (Dataproc 서버리스 가격 책정 참고)

accelerator_type

string

선택사항입니다. 사용 중인 가속기 유형(있는 경우)

UsageSnapshot

사용량 스냅샷은 지정된 시간에 워크로드에서 소비한 리소스를 나타냅니다.

필드
milli_dcu

int64

선택사항입니다. Dataproc 컴퓨팅 단위(DCU)의 1,000분의 1(Dataproc 서버리스 가격 책정 참고).

shuffle_storage_gb

int64

선택사항입니다. 셔플 저장용량 (GB) (Dataproc 서버리스 가격 책정 참고)

milli_dcu_premium

int64

선택사항입니다. 프리미엄 등급에서 청구되는 Dataproc 컴퓨팅 단위 (DCU)의 밀리 (1,000분의 1)입니다 (Dataproc 서버리스 가격 책정 참고).

shuffle_storage_gb_premium

int64

선택사항입니다. 프리미엄 등급에서 청구되는 셔플 스토리지 (GB)입니다. (Dataproc 서버리스 가격 책정 참고)

milli_accelerator

int64

선택사항입니다. 밀리 (1,000분의 1) 가속기 (Dataproc 서버리스 가격 책정 참고)

accelerator_type

string

선택사항입니다. 사용 중인 가속기 유형(있는 경우)

snapshot_time

Timestamp

선택사항입니다. 사용량 스냅샷의 타임스탬프입니다.