색인
BatchController
(인터페이스)SessionController
(인터페이스)SessionTemplateController
(인터페이스)AnalyzeOperationMetadata
(메시지)AnalyzeOperationMetadata.WorkloadType
(열거형)AutotuningConfig
(메시지)AutotuningConfig.Scenario
(열거형)Batch
(메시지)Batch.State
(열거형)Batch.StateHistory
(메시지)BatchOperationMetadata
(메시지)BatchOperationMetadata.BatchOperationType
(열거형)CreateBatchRequest
(메시지)CreateSessionRequest
(메시지)CreateSessionTemplateRequest
(메시지)DeleteBatchRequest
(메시지)DeleteSessionRequest
(메시지)DeleteSessionTemplateRequest
(메시지)DiagnoseClusterResults
(메시지)EnvironmentConfig
(메시지)ExecutionConfig
(메시지)GetBatchRequest
(메시지)GetSessionRequest
(메시지)GetSessionTemplateRequest
(메시지)JupyterConfig
(메시지)JupyterConfig.Kernel
(열거형)ListBatchesRequest
(메시지)ListBatchesResponse
(메시지)ListSessionTemplatesRequest
(메시지)ListSessionTemplatesResponse
(메시지)ListSessionsRequest
(메시지)ListSessionsResponse
(메시지)PeripheralsConfig
(메시지)PyPiRepositoryConfig
(메시지)PySparkBatch
(메시지)RepositoryConfig
(메시지)RuntimeConfig
(메시지)RuntimeInfo
(메시지)Session
(메시지)Session.SessionStateHistory
(메시지)Session.State
(열거형)SessionOperationMetadata
(메시지)SessionOperationMetadata.SessionOperationType
(열거형)SessionTemplate
(메시지)SparkBatch
(메시지)SparkConnectConfig
(메시지)SparkHistoryServerConfig
(메시지)SparkRBatch
(메시지)SparkSqlBatch
(메시지)TerminateSessionRequest
(메시지)UpdateSessionTemplateRequest
(메시지)UsageMetrics
(메시지)UsageSnapshot
(메시지)
BatchController
BatchController는 일괄 워크로드를 관리하는 메서드를 제공합니다.
CreateBatch |
---|
비동기식으로 실행되는 일괄 워크로드를 만듭니다.
|
DeleteBatch |
---|
일괄 워크로드 리소스를 삭제합니다. 일괄 작업이
|
GetBatch |
---|
일괄 워크로드 리소스 표현을 가져옵니다.
|
ListBatches |
---|
일괄 워크로드를 나열합니다.
|
SessionController
SessionController
는 대화형 세션을 관리하는 메서드를 제공합니다.
CreateSession |
---|
대화형 세션을 비동기식으로 만듭니다.
|
DeleteSession |
---|
대화형 세션 리소스를 삭제합니다. 세션이 터미널 상태가 아니면 세션이 종료된 후 삭제됩니다.
|
GetSession |
---|
대화형 세션의 리소스 표현을 가져옵니다.
|
ListSessions |
---|
대화형 세션을 표시합니다.
|
TerminateSession |
---|
대화형 세션을 종료합니다.
|
SessionTemplateController
SessionTemplateController는 세션 템플릿을 관리하는 메서드를 제공합니다.
CreateSessionTemplate |
---|
세션 템플릿을 동기식으로 만듭니다.
|
DeleteSessionTemplate |
---|
세션 템플릿을 삭제합니다.
|
GetSessionTemplate |
---|
세션 템플릿의 리소스 표현을 가져옵니다.
|
ListSessionTemplates |
---|
세션 템플릿을 나열합니다.
|
UpdateSessionTemplate |
---|
세션 템플릿을 동기식으로 업데이트합니다.
|
AnalyzeOperationMetadata
분석 작업을 설명하는 메타데이터입니다.
필드 | |
---|---|
analyzed_ |
출력 전용입니다. 분석 중인 워크로드의 이름입니다. |
analyzed_ |
출력 전용입니다. 분석 중인 워크로드의 유형입니다. |
analyzed_ |
출력 전용. 일반적으로 제어 영역에서 생성하는 워크로드의 고유 식별자입니다. 예: 일괄 UUID |
create_ |
출력 전용입니다. 작업이 생성된 시간입니다. |
done_ |
출력 전용입니다. 작업이 완료된 시간입니다. |
description |
출력 전용입니다. 작업에 관한 간단한 설명입니다. |
labels |
출력 전용입니다. 작업과 연결된 라벨입니다. |
warnings[] |
출력 전용입니다. 작업 실행 중에 경고가 발생했습니다. |
WorkloadType
워크로드 유형
열거형 | |
---|---|
WORKLOAD_TYPE_UNSPECIFIED |
정의되지 않은 옵션 |
BATCH |
서버리스 일괄 작업 |
AutotuningConfig
워크로드의 자동 튜닝 구성
필드 | |
---|---|
scenarios[] |
선택사항입니다. 조정이 적용되는 시나리오 |
시나리오
시나리오는 자동 튜닝이 워크로드를 수정하여 달성하려는 특정 목표를 나타냅니다.
열거형 | |
---|---|
SCENARIO_UNSPECIFIED |
기본값 |
SCALING |
initialExecutors와 같은 추천 확장 |
BROADCAST_HASH_JOIN |
잠재적 관계 브로드캐스트에 대한 힌트를 추가했습니다. |
MEMORY |
워크로드의 메모리 관리 |
일괄
서비스의 일괄 워크로드를 나타냅니다.
필드 | |
---|---|
name |
출력 전용입니다. 일괄 처리의 리소스 이름입니다. |
uuid |
출력 전용입니다. 일괄 UUID (고유 범용 식별자) 서비스는 일괄 처리를 만들 때 이 값을 생성합니다. |
create_ |
출력 전용입니다. 일괄 처리가 생성된 시간입니다. |
runtime_ |
출력 전용입니다. 일괄 실행에 관한 런타임 정보입니다. |
state |
출력 전용입니다. 배치의 상태입니다. |
state_ |
출력 전용입니다. 일괄 처리 상태 세부정보(예: 상태가 |
state_ |
출력 전용입니다. 일괄 처리가 현재 상태로 전환된 시간입니다. |
creator |
출력 전용입니다. 일괄 처리를 만든 사용자의 이메일 주소입니다. |
labels |
선택사항입니다. 이 일괄 처리와 연결할 라벨입니다. 라벨 키는 1~63자(영문 기준)여야 하며 RFC 1035를 준수해야 합니다. 라벨 값은 비어 있을 수 있지만, 있는 경우 1~63자(영문 기준)여야 하며 RFC 1035를 준수해야 합니다. 일괄 처리와 연결할 수 있는 라벨은 32개 미만입니다. |
runtime_ |
선택사항입니다. 일괄 실행의 런타임 구성입니다. |
environment_ |
선택사항입니다. 일괄 실행의 환경 구성입니다. |
operation |
출력 전용입니다. 이 일괄 처리와 연결된 작업의 리소스 이름입니다. |
state_ |
출력 전용입니다. 일괄 처리의 이전 상태 정보입니다. |
통합 필드 batch_config . 배치 구성의 애플리케이션/프레임워크별 부분입니다. batch_config 은 다음 중 하나여야 합니다. |
|
pyspark_ |
선택사항입니다. PySpark 일괄 구성 |
spark_ |
선택사항입니다. Spark 일괄 구성 |
spark_ |
선택사항입니다. SparkR 일괄 구성 |
spark_ |
선택사항입니다. SparkSql 일괄 구성 |
주
일괄 처리 상태입니다.
열거형 | |
---|---|
STATE_UNSPECIFIED |
일괄 처리 상태를 알 수 없습니다. |
PENDING |
일괄 처리는 실행 전에 생성됩니다. |
RUNNING |
일괄 처리가 실행 중입니다. |
CANCELLING |
일괄 처리가 취소되고 있습니다. |
CANCELLED |
일괄 취소가 완료되었습니다. |
SUCCEEDED |
일괄 처리가 완료되었습니다. |
FAILED |
오류로 인해 더 이상 일괄 처리가 실행되지 않습니다. |
StateHistory
이전 상태 정보입니다.
필드 | |
---|---|
state |
출력 전용입니다. 이 시점의 일괄 처리 상태입니다. |
state_ |
출력 전용입니다. 이 시점의 상태에 관한 세부정보입니다. |
state_ |
출력 전용입니다. 일괄 처리가 이전 상태로 전환된 시간입니다. |
BatchOperationMetadata
일괄 작업을 설명하는 메타데이터입니다.
필드 | |
---|---|
batch |
작업의 일괄 처리 이름입니다. |
batch_ |
작업의 일괄 UUID입니다. |
create_ |
작업이 생성된 시간입니다. |
done_ |
작업이 완료된 시간입니다. |
operation_ |
작업 유형입니다. |
description |
작업에 관한 간단한 설명입니다. |
labels |
작업과 연결된 라벨입니다. |
warnings[] |
작업 실행 중에 경고가 발생했습니다. |
BatchOperationType
일괄 리소스의 작업 유형
열거형 | |
---|---|
BATCH_OPERATION_TYPE_UNSPECIFIED |
일괄 작업 유형을 알 수 없습니다. |
BATCH |
일괄 작업 유형입니다. |
CreateBatchRequest
일괄 워크로드를 만들기 위한 요청입니다.
필드 | |
---|---|
parent |
필수 입력란입니다. 이 일괄 처리가 생성될 상위 리소스입니다. 승인을 처리하려면 지정된 리소스
|
batch |
필수 입력란입니다. 만들 일괄 처리입니다. |
batch_ |
선택사항입니다. 일괄 처리에 사용할 ID이며, 일괄 처리의 리소스 이름에서 마지막 구성요소가 됩니다. 이 값은 4~63자(영문 기준)여야 합니다. 유효한 문자는 |
request_ |
선택사항입니다. 요청을 식별하는 데 사용되는 고유 ID입니다. 서비스가 동일한 request_id를 가진 두 개의 CreateBatchRequest를 수신하면 두 번째 요청은 무시되고 백엔드에 생성되고 저장된 첫 번째 배치에 해당하는 작업이 반환됩니다. 권장사항: 이 값을 UUID로 설정합니다. 값은 문자(a~z, A~Z), 숫자(0~9), 밑줄(_), 하이픈(-)만 포함해야 합니다. 최대 길이는 40자(영문 기준)입니다. |
CreateSessionRequest
세션 생성 요청입니다.
필드 | |
---|---|
parent |
필수 입력란입니다. 이 세션이 생성될 상위 리소스입니다. 승인을 처리하려면 지정된 리소스
|
session |
필수 입력란입니다. 만들 대화형 세션입니다. |
session_ |
필수 입력란입니다. 세션에 사용할 ID이며, 세션의 리소스 이름에서 마지막 구성요소가 됩니다. 이 값은 4~63자(영문 기준)여야 합니다. 유효한 문자는 /[az][0-9]-/입니다. |
request_ |
선택사항입니다. 요청을 식별하는 데 사용되는 고유 ID입니다. 서비스가 동일한 ID를 가진 두 개의 CreateSessionRequests를 수신하면 두 번째 요청은 무시되고 첫 번째 권장사항: 이 값을 UUID로 설정합니다. 값은 문자(a~z, A~Z), 숫자(0~9), 밑줄(_), 하이픈(-)만 포함해야 합니다. 최대 길이는 40자(영문 기준)입니다. |
CreateSessionTemplateRequest
세션 템플릿 생성 요청입니다.
필드 | |
---|---|
parent |
필수 입력란입니다. 이 세션 템플릿이 생성될 상위 리소스입니다. 승인을 처리하려면 지정된 리소스
|
session_ |
필수 입력란입니다. 만들 세션 템플릿입니다. |
DeleteBatchRequest
일괄 워크로드 삭제 요청입니다.
필드 | |
---|---|
name |
필수 입력란입니다. 검색할 일괄 처리의 정규화된 이름으로 'projects/PROJECT_ID/locations/DATAPROC_REGION/batches/BATCH_ID' 형식입니다. 승인을 처리하려면 지정된 리소스
|
DeleteSessionRequest
세션 삭제 요청입니다.
필드 | |
---|---|
name |
필수 입력란입니다. 삭제할 세션 리소스의 이름입니다. 승인을 처리하려면 지정된 리소스
|
request_ |
선택사항입니다. 요청을 식별하는 데 사용되는 고유 ID입니다. 서비스가 동일한 ID를 가진 두 개의 DeleteSessionRequest를 수신하면 두 번째 요청은 무시됩니다. 권장사항: 이 값을 UUID로 설정합니다. 값은 문자(a~z, A~Z), 숫자(0~9), 밑줄(_), 하이픈(-)만 포함해야 합니다. 최대 길이는 40자(영문 기준)입니다. |
DeleteSessionTemplateRequest
세션 템플릿 삭제 요청입니다.
필드 | |
---|---|
name |
필수 입력란입니다. 삭제할 세션 템플릿 리소스의 이름입니다. 승인을 처리하려면 지정된 리소스
|
DiagnoseClusterResults
진단 출력의 위치입니다.
필드 | |
---|---|
output_ |
출력 전용입니다. 진단 출력의 Cloud Storage URI입니다. 출력 보고서는 수집된 진단의 요약이 포함된 일반 텍스트 파일입니다. |
EnvironmentConfig
워크로드의 환경 구성
필드 | |
---|---|
execution_ |
선택사항입니다. 워크로드의 실행 구성입니다. |
peripherals_ |
선택사항입니다. 워크로드에서 액세스할 수 있는 주변기기 구성입니다. |
ExecutionConfig
워크로드의 실행 구성입니다.
필드 | |
---|---|
service_ |
선택사항입니다. 워크로드를 실행하는 데 사용된 서비스 계정 |
network_ |
선택사항입니다. 네트워크 트래픽 제어에 사용되는 태그입니다. |
kms_ |
선택사항입니다. 암호화에 사용할 Cloud KMS 키입니다. |
idle_ |
선택사항입니다. 세션에만 적용됩니다. 세션이 유휴 상태일 때 세션을 연결 상태로 유지하는 기간입니다. 이 기준을 초과하면 세션이 종료됩니다. 이 필드는 일괄 워크로드에 설정할 수 없습니다. 최솟값은 10분, 최댓값은 14일입니다 (기간의 JSON 표현 참고). 설정하지 않으면 기본값은 1시간입니다. 대화형 세션에 |
ttl |
선택사항입니다. 워크로드가 종료되는 기간으로, 기간의 JSON 표현으로 지정됩니다. 워크로드가 이 기간을 초과하면 진행 중인 작업이 완료될 때까지 기다리지 않고 무조건 종료됩니다. 일괄 워크로드에 |
staging_ |
선택사항입니다. 워크로드 종속 항목, 구성 파일을 스테이징하고 워크로드 출력 및 기타 임시 데이터(예: Spark 기록 파일)를 저장하는 데 사용되는 Cloud Storage 버킷입니다. 스테이징 버킷을 지정하지 않으면 Cloud Dataproc은 워크로드가 실행되는 리전에 따라 Cloud Storage 위치를 결정한 후 프로젝트 수준의 위치별 스테이징 및 임시 버킷을 만들고 관리합니다. 이 필드에는 Cloud Storage 버킷의 |
통합 필드 network . 워크로드 실행을 위한 네트워크 구성 network 은 다음 중 하나여야 합니다. |
|
network_ |
선택사항입니다. 워크로드를 연결할 네트워크 URI입니다. |
subnetwork_ |
선택사항입니다. 워크로드를 연결할 서브네트워크 URI입니다. |
GetBatchRequest
일괄 워크로드의 리소스 표현을 가져오기 위한 요청입니다.
필드 | |
---|---|
name |
필수 입력란입니다. 검색할 일괄 처리의 정규화된 이름으로 'projects/PROJECT_ID/locations/DATAPROC_REGION/batches/BATCH_ID' 형식입니다. 승인을 처리하려면 지정된 리소스
|
GetSessionRequest
세션의 리소스 표현을 가져오기 위한 요청입니다.
필드 | |
---|---|
name |
필수 입력란입니다. 검색할 세션의 이름입니다. 승인을 처리하려면 지정된 리소스
|
GetSessionTemplateRequest
세션 템플릿의 리소스 표현을 가져오기 위한 요청입니다.
필드 | |
---|---|
name |
필수 입력란입니다. 검색할 세션 템플릿의 이름입니다. 승인을 처리하려면 지정된 리소스
|
JupyterConfig
대화형 세션의 Jupyter 구성
필드 | |
---|---|
kernel |
선택사항입니다. 커널 |
display_ |
선택사항입니다. Jupyter kernelspec 카드에 표시되는 표시 이름입니다. |
커널
Jupyter 커널 유형
열거형 | |
---|---|
KERNEL_UNSPECIFIED |
알 수 없는 커널입니다. |
PYTHON |
Python 커널 |
SCALA |
Scala 커널 |
ListBatchesRequest
프로젝트의 일괄 워크로드를 나열하기 위한 요청입니다.
필드 | |
---|---|
parent |
필수 입력란입니다. 이 일괄 컬렉션을 소유한 상위 요소입니다. 승인을 처리하려면 지정된 리소스
|
page_ |
선택사항입니다. 각 응답에서 반환할 최대 일괄 처리 수입니다. 서비스가 이 값보다 더 적게 반환할 수 있습니다. 기본 페이지 크기는 20이고 최대 페이지 크기는 1,000입니다. |
page_ |
선택사항입니다. 이전 |
filter |
선택사항입니다. 응답에 반환할 일괄 처리의 필터입니다. 필터는 각 일괄 처리 리소스의 다양한 필드 값을 제한하는 논리 표현식입니다. 필터는 대소문자를 구분하며 논리 연산자 (AND/OR)와 결합된 여러 절을 포함할 수 있습니다. 지원되는 필드는 예를 들어 2023년 1월 1일 전에 생성된 RUNNING 상태의 일괄 처리에 관한 필터 문법에 관한 자세한 설명과 지원되는 비교 목록은 https://google.aip.dev/assets/misc/ebnf-filtering.txt를 참고하세요. |
order_ |
선택사항입니다. 일괄 처리 목록을 정렬할 필드입니다. 현재 지원되는 정렬 순서는 지정되지 않음 (비어 있음)과 가장 최근에 생성된 일괄 처리를 먼저 정렬하는 자세한 내용은 https://google.aip.dev/132#ordering을 참조하세요. |
ListBatchesResponse
일괄 워크로드 목록입니다.
필드 | |
---|---|
batches[] |
출력 전용입니다. 지정된 컬렉션의 일괄 처리입니다. |
next_ |
다음 페이지를 검색하기 위해 |
unreachable[] |
출력 전용입니다. 응답에 포함할 수 없는 일괄 처리 목록입니다. 이러한 리소스 중 하나를 가져오려고 하면 목록 응답에 포함되지 않은 이유를 알 수 있습니다. |
ListSessionTemplatesRequest
프로젝트의 세션 템플릿을 나열하기 위한 요청입니다.
필드 | |
---|---|
parent |
필수 입력란입니다. 이 세션 템플릿 컬렉션을 소유한 상위 항목입니다. 승인을 처리하려면 지정된 리소스
|
page_ |
선택사항입니다. 각 응답에서 반환할 최대 세션 수입니다. 서비스가 이 값보다 더 적게 반환할 수 있습니다. |
page_ |
선택사항입니다. 이전 |
filter |
선택사항입니다. 응답에 반환할 세션 템플릿의 필터입니다. 필터는 대소문자를 구분하며 다음과 같은 문법을 사용합니다. [필드 = 값] AND [필드 [= 값]] ... |
ListSessionTemplatesResponse
세션 템플릿 목록입니다.
필드 | |
---|---|
session_ |
출력 전용입니다. 세션 템플릿 목록 |
next_ |
다음 페이지를 검색하기 위해 |
ListSessionsRequest
프로젝트의 세션을 나열하기 위한 요청입니다.
필드 | |
---|---|
parent |
필수 입력란입니다. 이 세션 컬렉션을 소유한 상위 요소입니다. 승인을 처리하려면 지정된 리소스
|
page_ |
선택사항입니다. 각 응답에서 반환할 최대 세션 수입니다. 서비스가 이 값보다 더 적게 반환할 수 있습니다. |
page_ |
선택사항입니다. 이전 |
filter |
선택사항입니다. 응답에 반환할 세션의 필터입니다. 필터는 각 세션 리소스의 다양한 필드 값을 제한하는 논리 표현식입니다. 필터는 대소문자를 구분하며 논리 연산자 (AND, OR)와 결합된 여러 절을 포함할 수 있습니다. 지원되는 필드는 예: 필터 문법에 관한 자세한 설명과 지원되는 비교 연산자 목록은 https://google.aip.dev/assets/misc/ebnf-filtering.txt를 참고하세요. |
ListSessionsResponse
대화형 세션 목록입니다.
필드 | |
---|---|
sessions[] |
출력 전용입니다. 지정된 컬렉션의 세션입니다. |
next_ |
다음 페이지를 검색하기 위해 |
PeripheralsConfig
워크로드의 보조 서비스 구성입니다.
필드 | |
---|---|
metastore_ |
선택사항입니다. 기존 Dataproc Metastore 서비스의 리소스 이름입니다. 예:
|
spark_ |
선택사항입니다. 워크로드의 Spark 기록 서버 구성입니다. |
PyPiRepositoryConfig
PyPi 저장소 구성
필드 | |
---|---|
pypi_ |
선택사항입니다. PyPi 저장소 주소 |
PySparkBatch
Apache PySpark 일괄 워크로드를 실행하기 위한 구성입니다.
필드 | |
---|---|
main_ |
필수 입력란입니다. Spark 드라이버로 사용할 기본 Python 파일의 HCFS URI입니다. .py 파일이어야 합니다. |
args[] |
선택사항입니다. 드라이버에 전달할 인수입니다. 충돌이 발생하여 잘못된 일괄 제출이 발생할 수 있으므로 |
python_ |
선택사항입니다. PySpark 프레임워크에 전달할 Python 파일의 HCFS 파일 URI입니다. 지원되는 파일 형식: |
jar_ |
선택사항입니다. Spark 드라이버 및 작업의 클래스 경로에 추가할 jar 파일의 HCFS URI입니다. |
file_ |
선택사항입니다. 각 실행자의 작업 디렉터리에 배치할 파일의 HCFS URI입니다. |
archive_ |
선택사항입니다. 각 실행자의 작업 디렉터리로 추출할 보관 파일의 HCFS URI입니다. 지원되는 파일 형식: |
RepositoryConfig
종속 항목 저장소 구성
필드 | |
---|---|
pypi_ |
선택사항입니다. PyPi 저장소 구성 |
RuntimeConfig
워크로드의 런타임 구성입니다.
필드 | |
---|---|
version |
선택사항입니다. 일괄 런타임 버전입니다. |
container_ |
선택사항입니다. 작업 런타임 환경의 커스텀 컨테이너 이미지(선택사항)입니다. 지정하지 않으면 기본 컨테이너 이미지가 사용됩니다. |
properties |
선택사항입니다. 워크로드 실행을 구성하는 데 사용되는 속성 이름과 값의 매핑입니다. |
repository_ |
선택사항입니다. 종속 항목 저장소 구성 |
autotuning_ |
선택사항입니다. 워크로드의 자동 튜닝 구성 |
cohort |
선택사항입니다. 동질 집단 식별자 동일한 모양의 워크로드 계열(예: 일일 ETL 작업)을 식별합니다. |
RuntimeInfo
워크로드 실행에 관한 런타임 정보입니다.
필드 | |
---|---|
endpoints |
출력 전용입니다. 원격 액세스 엔드포인트 (예: 웹 인터페이스 및 API)와 URI의 매핑입니다. |
output_ |
출력 전용입니다. 워크로드의 stdout 및 stderr 위치를 가리키는 URI입니다. |
diagnostic_ |
출력 전용입니다. 진단 tarball의 위치를 가리키는 URI입니다. |
approximate_ |
출력 전용입니다. 워크로드가 완료될 때 계산되는 대략적인 워크로드 리소스 사용량입니다 (Dataproc Serverless 가격 책정 참고). 참고: 이 측정항목 계산은 향후 워크로드 실행 중에 누적된 워크로드 리소스 소비를 포착하기 위해 변경될 수 있습니다 (공지사항, 변경사항, 수정사항, 기타 Dataproc 개발사항은 Dataproc Serverless 출시 노트 참고). |
current_ |
출력 전용입니다. 현재 워크로드 리소스 사용량의 스냅샷입니다. |
세션
세션의 표현입니다.
필드 | |
---|---|
name |
필수 입력란입니다. 세션의 리소스 이름입니다. |
uuid |
출력 전용입니다. 세션 UUID (고유 범용 식별자)입니다. 서비스는 세션을 만들 때 이 값을 생성합니다. |
create_ |
출력 전용입니다. 세션이 생성된 시간입니다. |
runtime_ |
출력 전용입니다. 세션 실행에 관한 런타임 정보입니다. |
state |
출력 전용입니다. 세션의 상태입니다. |
state_ |
출력 전용입니다. 세션 상태 세부정보(예: 상태가 |
state_ |
출력 전용입니다. 세션이 현재 상태로 전환된 시간입니다. |
creator |
출력 전용입니다. 세션을 만든 사용자의 이메일 주소입니다. |
labels |
선택사항입니다. 세션과 연결할 라벨입니다. 라벨 키는 1~63자(영문 기준)여야 하며 RFC 1035를 준수해야 합니다. 라벨 값은 비어 있을 수 있지만, 있는 경우 1~63자(영문 기준)여야 하며 RFC 1035를 준수해야 합니다. 세션과 연결할 수 있는 라벨은 32개 미만입니다. |
runtime_ |
선택사항입니다. 세션 실행의 런타임 구성입니다. |
environment_ |
선택사항입니다. 세션 실행을 위한 환경 구성입니다. |
user |
선택사항입니다. 세션을 소유한 사용자의 이메일 주소입니다. |
state_ |
출력 전용입니다. 세션의 이전 상태 정보입니다. |
session_ |
선택사항입니다. 세션에서 사용하는 세션 템플릿입니다. 프로젝트 ID 및 위치를 포함한 리소스 이름만 유효합니다. 예: * 템플릿은 세션과 동일한 프로젝트 및 Dataproc 리전에 있어야 합니다. |
통합 필드 session_config . 세션 구성입니다. session_config 은 다음 중 하나여야 합니다. |
|
jupyter_ |
선택사항입니다. Jupyter 세션 구성 |
spark_ |
선택사항입니다. Spark Connect 세션 구성 |
SessionStateHistory
이전 상태 정보입니다.
필드 | |
---|---|
state |
출력 전용입니다. 세션 기록의 이 지점에서 세션의 상태입니다. |
state_ |
출력 전용입니다. 세션 기록의 이 시점의 상태에 관한 세부정보입니다. |
state_ |
출력 전용입니다. 세션이 이전 상태로 전환된 시간입니다. |
주
세션 상태입니다.
열거형 | |
---|---|
STATE_UNSPECIFIED |
세션 상태를 알 수 없습니다. |
CREATING |
세션은 실행 전에 생성됩니다. |
ACTIVE |
세션이 실행 중입니다. |
TERMINATING |
세션이 종료됩니다. |
TERMINATED |
세션이 종료되었습니다. |
FAILED |
오류로 인해 세션이 더 이상 실행되지 않습니다. |
SessionOperationMetadata
세션 작업을 설명하는 메타데이터입니다.
필드 | |
---|---|
session |
작업의 세션 이름입니다. |
session_ |
작업의 세션 UUID입니다. |
create_ |
작업이 생성된 시간입니다. |
done_ |
작업이 완료된 시간입니다. |
operation_ |
작업 유형입니다. |
description |
작업에 관한 간단한 설명입니다. |
labels |
작업과 연결된 라벨입니다. |
warnings[] |
작업 실행 중에 경고가 발생했습니다. |
SessionOperationType
세션 리소스의 작업 유형
열거형 | |
---|---|
SESSION_OPERATION_TYPE_UNSPECIFIED |
세션 작업 유형을 알 수 없습니다. |
CREATE |
세션 만들기 작업 유형입니다. |
TERMINATE |
세션 종료 작업 유형입니다. |
DELETE |
세션 삭제 작업 유형입니다. |
SessionTemplate
세션 템플릿의 표현입니다.
필드 | |
---|---|
name |
필수 입력란입니다. 세션 템플릿의 리소스 이름입니다. |
description |
선택사항입니다. 템플릿에 관한 간단한 설명입니다. |
create_ |
출력 전용입니다. 템플릿이 생성된 시간입니다. |
creator |
출력 전용입니다. 템플릿을 만든 사용자의 이메일 주소입니다. |
labels |
선택사항입니다. 이 템플릿을 사용하여 만든 세션과 연결할 라벨입니다. 라벨 키는 1~63자(영문 기준)여야 하며 RFC 1035를 준수해야 합니다. 라벨 값은 비워 둘 수 있지만, 있는 경우 1~63자(영문 기준)여야 하며 RFC 1035를 준수해야 합니다. 세션과 연결할 수 있는 라벨은 32개 미만입니다. |
runtime_ |
선택사항입니다. 세션 실행을 위한 런타임 구성입니다. |
environment_ |
선택사항입니다. 세션 실행을 위한 환경 구성 |
update_ |
출력 전용입니다. 템플릿이 마지막으로 업데이트된 시간입니다. |
uuid |
출력 전용입니다. 세션 템플릿 UUID (고유 범용 식별자)입니다. 서비스는 세션 템플릿을 만들 때 이 값을 생성합니다. |
통합 필드 session_config . 세션 구성입니다. session_config 은 다음 중 하나여야 합니다. |
|
jupyter_ |
선택사항입니다. Jupyter 세션 구성 |
spark_ |
선택사항입니다. Spark Connect 세션 구성 |
SparkBatch
Apache Spark 일괄 워크로드를 실행하기 위한 구성입니다.
필드 | |
---|---|
args[] |
선택사항입니다. 드라이버에 전달할 인수입니다. 충돌이 발생하여 잘못된 일괄 제출이 발생할 수 있으므로 |
jar_ |
선택사항입니다. Spark 드라이버 및 작업의 클래스 경로에 추가할 jar 파일의 HCFS URI입니다. |
file_ |
선택사항입니다. 각 실행자의 작업 디렉터리에 배치할 파일의 HCFS URI입니다. |
archive_ |
선택사항입니다. 각 실행자의 작업 디렉터리로 추출할 보관 파일의 HCFS URI입니다. 지원되는 파일 형식: |
통합 필드 driver . Spark 워크로드를 실행하기 위해 호출할 기본 메서드의 사양입니다. 기본 클래스가 포함된 jar 파일 또는 기본 클래스 이름을 지정합니다. 기본 jar와 해당 jar의 기본 클래스를 모두 전달하려면 jar를 jar_file_uris 에 추가한 다음 main_class 에서 기본 클래스 이름을 지정합니다. driver 은 다음 중 하나여야 합니다. |
|
main_ |
선택사항입니다. 기본 클래스가 포함된 jar 파일의 HCFS URI입니다. |
main_ |
선택사항입니다. 드라이버 기본 클래스의 이름입니다. 클래스가 포함된 jar 파일이 클래스 경로에 있거나 |
SparkConnectConfig
이 유형에는 필드가 없습니다.
대화형 세션의 Spark Connect 구성
SparkHistoryServerConfig
워크로드의 Spark 기록 서버 구성
필드 | |
---|---|
dataproc_ |
선택사항입니다. 워크로드의 Spark 기록 서버 역할을 하는 기존 Dataproc 클러스터의 리소스 이름입니다. 예:
|
SparkRBatch
Apache SparkR 배치 워크로드를 실행하기 위한 구성입니다.
필드 | |
---|---|
main_ |
필수 입력란입니다. 드라이버로 사용할 기본 R 파일의 HCFS URI입니다. |
args[] |
선택사항입니다. Spark 드라이버에 전달할 인수입니다. 충돌이 발생하여 잘못된 일괄 제출이 발생할 수 있으므로 |
file_ |
선택사항입니다. 각 실행자의 작업 디렉터리에 배치할 파일의 HCFS URI입니다. |
archive_ |
선택사항입니다. 각 실행자의 작업 디렉터리로 추출할 보관 파일의 HCFS URI입니다. 지원되는 파일 형식: |
SparkSqlBatch
Apache Spark SQL 쿼리를 일괄 워크로드로 실행하기 위한 구성입니다.
필드 | |
---|---|
query_ |
필수 입력란입니다. 실행할 Spark SQL 쿼리가 포함된 스크립트의 HCFS URI입니다. |
query_ |
선택사항입니다. 쿼리 변수 이름을 값에 매핑합니다 (Spark SQL 명령어 |
jar_ |
선택사항입니다. Spark CLASSPATH에 추가할 jar 파일의 HCFS URI입니다. |
TerminateSessionRequest
대화형 세션 종료 요청입니다.
필드 | |
---|---|
name |
필수 입력란입니다. 종료할 세션 리소스의 이름입니다. 승인을 처리하려면 지정된 리소스
|
request_ |
선택사항입니다. 요청을 식별하는 데 사용되는 고유 ID입니다. 서비스가 동일한 ID를 가진 두 개의 TerminateSessionRequest를 수신하면 두 번째 요청은 무시됩니다. 권장사항: 이 값을 UUID로 설정합니다. 값은 문자(a~z, A~Z), 숫자(0~9), 밑줄(_), 하이픈(-)만 포함해야 합니다. 최대 길이는 40자(영문 기준)입니다. |
UpdateSessionTemplateRequest
세션 템플릿을 업데이트하기 위한 요청입니다.
필드 | |
---|---|
session_ |
필수 입력란입니다. 업데이트된 세션 템플릿 승인을 처리하려면 지정된 리소스
|
UsageMetrics
사용량 측정항목은 워크로드에서 소비한 총 리소스의 대략적인 양을 나타냅니다.
필드 | |
---|---|
milli_ |
선택사항입니다. DCU (Dataproc 컴퓨팅 단위) 사용량 ( |
shuffle_ |
선택사항입니다. 셔플 스토리지 사용량 ( |
milli_ |
선택사항입니다. 가속기 사용량 ( |
accelerator_ |
선택사항입니다. 사용 중인 가속기 유형(있는 경우) |
UsageSnapshot
사용량 스냅샷은 지정된 시간에 워크로드에서 소비한 리소스를 나타냅니다.
필드 | |
---|---|
milli_ |
선택사항입니다. Dataproc 컴퓨팅 단위(DCU)의 1,000분의 1(Dataproc 서버리스 가격 책정 참고). |
shuffle_ |
선택사항입니다. 셔플 저장용량 (GB) (Dataproc 서버리스 가격 책정 참고) |
milli_ |
선택사항입니다. 프리미엄 등급에서 청구되는 Dataproc 컴퓨팅 단위 (DCU)의 밀리 (1,000분의 1)입니다 (Dataproc 서버리스 가격 책정 참고). |
shuffle_ |
선택사항입니다. 프리미엄 등급에서 청구되는 셔플 스토리지 (GB)입니다. (Dataproc 서버리스 가격 책정 참고) |
milli_ |
선택사항입니다. 밀리 (1,000분의 1) 가속기 (Dataproc 서버리스 가격 책정 참고) |
accelerator_ |
선택사항입니다. 사용 중인 가속기 유형(있는 경우) |
snapshot_ |
선택사항입니다. 사용량 스냅샷의 타임스탬프입니다. |