Package google.cloud.dataproc.v1

Indice

BatchController

BatchController fornisce metodi per gestire i carichi di lavoro batch.

CreateBatch

rpc CreateBatch(CreateBatchRequest) returns (Operation)

Crea un carico di lavoro batch che viene eseguito in modo asincrono.

Ambiti di autorizzazione

Richiede il seguente ambito OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Per ulteriori informazioni, consulta la Panoramica dell'autenticazione.
DeleteBatch

rpc DeleteBatch(DeleteBatchRequest) returns (Empty)

Elimina la risorsa del carico di lavoro batch. Se il batch non si trova in un CANCELLED, SUCCEEDED o FAILED State, l'operazione di eliminazione non va a buon fine e la risposta restituisce FAILED_PRECONDITION.

Ambiti di autorizzazione

Richiede il seguente ambito OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Per ulteriori informazioni, consulta la Panoramica dell'autenticazione.
GetBatch

rpc GetBatch(GetBatchRequest) returns (Batch)

Recupera la rappresentazione della risorsa del carico di lavoro batch.

Ambiti di autorizzazione

Richiede il seguente ambito OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Per ulteriori informazioni, consulta la Panoramica dell'autenticazione.
ListBatches

rpc ListBatches(ListBatchesRequest) returns (ListBatchesResponse)

Elenca i workload batch.

Ambiti di autorizzazione

Richiede il seguente ambito OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Per ulteriori informazioni, consulta la Panoramica dell'autenticazione.

SessionController

SessionController fornisce metodi per gestire le sessioni interattive.

CreateSession

rpc CreateSession(CreateSessionRequest) returns (Operation)

Crea una sessione interattiva in modo asincrono.

Ambiti di autorizzazione

Richiede il seguente ambito OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Per ulteriori informazioni, consulta la Panoramica dell'autenticazione.
DeleteSession

rpc DeleteSession(DeleteSessionRequest) returns (Operation)

Consente di eliminare la risorsa della sessione interattiva. Se la sessione non è in stato di terminazione, viene terminata ed eliminata.

Ambiti di autorizzazione

Richiede il seguente ambito OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Per ulteriori informazioni, consulta la Panoramica dell'autenticazione.
GetSession

rpc GetSession(GetSessionRequest) returns (Session)

Recupera la rappresentazione della risorsa per una sessione interattiva.

Ambiti di autorizzazione

Richiede il seguente ambito OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Per ulteriori informazioni, consulta la Panoramica dell'autenticazione.
ListSessions

rpc ListSessions(ListSessionsRequest) returns (ListSessionsResponse)

Elenca le sessioni interattive.

Ambiti di autorizzazione

Richiede il seguente ambito OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Per ulteriori informazioni, consulta la Panoramica dell'autenticazione.
TerminateSession

rpc TerminateSession(TerminateSessionRequest) returns (Operation)

Termina la sessione interattiva.

Ambiti di autorizzazione

Richiede il seguente ambito OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Per ulteriori informazioni, consulta la Panoramica dell'autenticazione.

SessionTemplateController

SessionTemplateController fornisce metodi per gestire i modelli di sessione.

CreateSessionTemplate

rpc CreateSessionTemplate(CreateSessionTemplateRequest) returns (SessionTemplate)

Crea un modello di sessione in modo sincrono.

Ambiti di autorizzazione

Richiede il seguente ambito OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Per ulteriori informazioni, consulta la Panoramica dell'autenticazione.
DeleteSessionTemplate

rpc DeleteSessionTemplate(DeleteSessionTemplateRequest) returns (Empty)

Consente di eliminare un modello di sessione.

Ambiti di autorizzazione

Richiede il seguente ambito OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Per ulteriori informazioni, consulta la Panoramica dell'autenticazione.
GetSessionTemplate

rpc GetSessionTemplate(GetSessionTemplateRequest) returns (SessionTemplate)

Recupera la rappresentazione della risorsa per un modello di sessione.

Ambiti di autorizzazione

Richiede il seguente ambito OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Per ulteriori informazioni, consulta la Panoramica dell'autenticazione.
ListSessionTemplates

rpc ListSessionTemplates(ListSessionTemplatesRequest) returns (ListSessionTemplatesResponse)

Elenca i modelli di sessione.

Ambiti di autorizzazione

Richiede il seguente ambito OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Per ulteriori informazioni, consulta la Panoramica dell'autenticazione.
Aggiornamento SessionTemplate

rpc UpdateSessionTemplate(UpdateSessionTemplateRequest) returns (SessionTemplate)

Aggiorna il modello di sessione in modo sincrono.

Ambiti di autorizzazione

Richiede il seguente ambito OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Per ulteriori informazioni, consulta la Panoramica dell'autenticazione.

AnalyzeOperationMetadata

Metadati che descrivono l'operazione Analizza.

Campi
analyzed_workload_name

string

Solo output. Nome del carico di lavoro analizzato.
analyzed_workload_type

WorkloadType

Solo output. Tipo di carico di lavoro analizzato.
analyzed_workload_uuid

string

Solo output. Identificatore univoco del carico di lavoro in genere generato dal piano di controllo. Ad esempio, UUID batch.
create_time

Timestamp

Solo output. L'ora in cui è stata creata l'operazione.
done_time

Timestamp

Solo output. L'ora in cui è terminata l'operazione.
description

string

Solo output. Breve descrizione dell'operazione.
labels

map<string, string>

Solo output. Etichette associate all'operazione.
warnings[]

string

Solo output. Avvisi riscontrati durante l'esecuzione dell'operazione.

WorkloadType

Tipo di workload

Enum
WORKLOAD_TYPE_UNSPECIFIED Opzione non definita
BATCH Job batch serverless

AutotuningConfig

Configurazione dell'ottimizzazione automatica del carico di lavoro.

Campi
scenarios[]

Scenario

Facoltativo. Scenari per i quali vengono applicate le ottimizzazioni.

Scenario

Lo scenario rappresenta un obiettivo specifico che l'ottimizzazione automatica tenterà di raggiungere modificando i carichi di lavoro.

Enum
SCENARIO_UNSPECIFIED Valore predefinito.
SCALING Consigli per la scalabilità, come initialExecutors.
BROADCAST_HASH_JOIN Aggiunta di suggerimenti per le potenziali trasmissioni di relazioni.
MEMORY Gestione della memoria per i carichi di lavoro.

Batch

Una rappresentazione di un carico di lavoro batch nel servizio.

Campi
name

string

Solo output. Il nome della risorsa del batch.
uuid

string

Solo output. Un UUID (Universal Unique Identifier) del batch. Il servizio genera questo valore quando crea il batch.
create_time

Timestamp

Solo output. L'ora in cui è stato creato il batch.
runtime_info

RuntimeInfo

Solo output. Informazioni di runtime sull'esecuzione batch.
state

State

Solo output. Lo stato del batch.
state_message

string

Solo output. Dettagli dello stato del batch, ad esempio una descrizione dell'errore se lo stato è FAILED.
state_time

Timestamp

Solo output. L'ora in cui il batch è passato a uno stato corrente.
creator

string

Solo output. L'indirizzo email dell'utente che ha creato il batch.
labels

map<string, string>

Facoltativo. Le etichette da associare a questo batch. Le chiavi delle etichette devono contenere da 1 a 63 caratteri e devono essere conformi allo standard RFC 1035. I valori delle etichette possono essere vuoti, ma, se presenti, devono contenere da 1 a 63 caratteri e devono essere conformi allo standard RFC 1035. Non è possibile associare più di 32 etichette a un batch.
runtime_config

RuntimeConfig

Facoltativo. Configurazione di runtime per l'esecuzione batch.
environment_config

EnvironmentConfig

Facoltativo. Configurazione dell'ambiente per l'esecuzione batch.
operation

string

Solo output. Il nome della risorsa dell'operazione associata a questo batch.
state_history[]

StateHistory

Solo output. Informazioni sullo stato storico del batch.
Campo unione batch_config. La parte specifica dell'applicazione/del framework della configurazione batch. batch_config può essere solo uno dei seguenti:
pyspark_batch

PySparkBatch

Facoltativo. Configurazione batch di PySpark.
spark_batch

SparkBatch

Facoltativo. Configurazione del batch Spark.
spark_r_batch

SparkRBatch

Facoltativo. Configurazione batch SparkR.
spark_sql_batch

SparkSqlBatch

Facoltativo. Configurazione batch SparkSql.

Stato

Lo stato del batch.

Enum
STATE_UNSPECIFIED Lo stato del batch è sconosciuto.
PENDING Il batch viene creato prima dell'esecuzione.
RUNNING Il batch è in esecuzione.
CANCELLING L'annullamento del batch è in corso.
CANCELLED L'annullamento collettivo è andato a buon fine.
SUCCEEDED Il batch è stato completato correttamente.
FAILED Il batch non è più in esecuzione a causa di un errore.

StateHistory

Informazioni sullo stato storico.

Campi
state

State

Solo output. Lo stato del batch in questo momento della cronologia.
state_message

string

Solo output. Dettagli sullo stato in questo momento della cronologia.
state_start_time

Timestamp

Solo output. L'ora in cui il batch è passato allo stato storico.

BatchOperationMetadata

Metadati che descrivono l'operazione batch.

Campi
batch

string

Nome del batch per l'operazione.
batch_uuid

string

UUID batch per l'operazione.
create_time

Timestamp

L'ora in cui è stata creata l'operazione.
done_time

Timestamp

L'ora in cui è terminata l'operazione.
operation_type

BatchOperationType

Il tipo di operazione.
description

string

Breve descrizione dell'operazione.
labels

map<string, string>

Etichette associate all'operazione.
warnings[]

string

Avvisi riscontrati durante l'esecuzione dell'operazione.

BatchOperationType

Tipo di operazione per le risorse Batch

Enum
BATCH_OPERATION_TYPE_UNSPECIFIED Il tipo di operazione collettiva è sconosciuto.
BATCH Tipo di operazione batch.

CreateBatchRequest

Una richiesta di creazione di un carico di lavoro batch.

Campi
parent

string

Obbligatorio. La risorsa principale in cui verrà creato questo batch.

L'autorizzazione richiede la seguente autorizzazione IAM sulla risorsa specificata parent:

  • dataproc.batches.create
batch

Batch

Obbligatorio. Il batch da creare.
batch_id

string

Facoltativo. L'ID da utilizzare per il batch, che diventerà il componente finale del nome della risorsa del batch.

Questo valore deve contenere da 4 a 63 caratteri. I caratteri validi sono /[a-z][0-9]-/.
request_id

string

Facoltativo. Un ID univoco utilizzato per identificare la richiesta. Se il servizio riceve due richieste CreateBatchRequest con lo stesso request_id, la seconda richiesta viene ignorata e viene restituita l'operazione corrispondente al primo batch creato e archiviato nel backend.

Consiglio: imposta questo valore su un UUID.

Il valore deve contenere solo lettere (a-z, A-Z), numeri (0-9), trattini bassi (_) e trattini (-). La lunghezza massima è 40 caratteri.

CreateSessionRequest

Una richiesta di creazione di una sessione.

Campi
parent

string

Obbligatorio. La risorsa principale in cui verrà creata questa sessione.

L'autorizzazione richiede la seguente autorizzazione IAM sulla risorsa specificata parent:

  • dataproc.sessions.create
session

Session

Obbligatorio. La sessione interattiva da creare.
session_id

string

Obbligatorio. L'ID da utilizzare per la sessione, che diventa il componente finale del nome della risorsa della sessione.

Questo valore deve contenere da 4 a 63 caratteri. I caratteri validi sono /[a-z][0-9]-/.
request_id

string

Facoltativo. Un ID univoco utilizzato per identificare la richiesta. Se il servizio riceve due CreateSessionRequests con lo stesso ID, la seconda richiesta viene ignorata e la prima Session viene creata e archiviata nel backend.

Consiglio: imposta questo valore su un UUID.

Il valore deve contenere solo lettere (a-z, A-Z), numeri (0-9), trattini bassi (_) e trattini (-). La lunghezza massima è 40 caratteri.

CreateSessionTemplateRequest

Una richiesta di creazione di un modello di sessione.

Campi
parent

string

Obbligatorio. La risorsa principale in cui verrà creato questo modello di sessione.

L'autorizzazione richiede la seguente autorizzazione IAM sulla risorsa specificata parent:

  • dataproc.sessionTemplates.create
session_template

SessionTemplate

Obbligatorio. Il modello di sessione da creare.

DeleteBatchRequest

Una richiesta di eliminazione di un carico di lavoro batch.

Campi
name

string

Obbligatorio. Il nome completo del batch da recuperare nel formato "projects/PROJECT_ID/locations/DATAPROC_REGION/batches/BATCH_ID"

L'autorizzazione richiede la seguente autorizzazione IAM sulla risorsa specificata name:

  • dataproc.batches.delete

DeleteSessionRequest

Una richiesta di eliminazione di una sessione.

Campi
name

string

Obbligatorio. Il nome della risorsa sessione da eliminare.

L'autorizzazione richiede la seguente autorizzazione IAM sulla risorsa specificata name:

  • dataproc.sessions.delete
request_id

string

Facoltativo. Un ID univoco utilizzato per identificare la richiesta. Se il servizio riceve due richieste DeleteSessionRequest con lo stesso ID, la seconda richiesta viene ignorata.

Consiglio: imposta questo valore su un UUID.

Il valore deve contenere solo lettere (a-z, A-Z), numeri (0-9), trattini bassi (_) e trattini (-). La lunghezza massima è 40 caratteri.

DeleteSessionTemplateRequest

Una richiesta di eliminazione di un modello di sessione.

Campi
name

string

Obbligatorio. Il nome della risorsa del modello di sessione da eliminare.

L'autorizzazione richiede la seguente autorizzazione IAM sulla risorsa specificata name:

  • dataproc.sessionTemplates.delete

DiagnoseClusterResults

La posizione dell'output diagnostico.

Campi
output_uri

string

Solo output. L'URI Cloud Storage dell'output della diagnostica. Il report di output è un file di testo normale con un riepilogo della diagnostica raccolta.

EnvironmentConfig

Configurazione dell'ambiente per un carico di lavoro.

Campi
execution_config

ExecutionConfig

Facoltativo. Configurazione di esecuzione per un carico di lavoro.
peripherals_config

PeripheralsConfig

Facoltativo. Configurazione delle periferiche a cui ha accesso il carico di lavoro.

ExecutionConfig

Configurazione di esecuzione per un carico di lavoro.

Campi
service_account

string

Facoltativo. Account di servizio utilizzato per eseguire il carico di lavoro.
network_tags[]

string

Facoltativo. Tag utilizzati per il controllo del traffico di rete.
kms_key

string

Facoltativo. La chiave Cloud KMS da utilizzare per la crittografia.
idle_ttl

Duration

Facoltativo. Si applica solo alle sessioni. La durata per mantenere attiva la sessione in stato inattivo. Il superamento di questa soglia comporta l'interruzione della sessione. Questo campo non può essere impostato su un carico di lavoro batch. Il valore minimo è 10 minuti; il valore massimo è 14 giorni (vedi la rappresentazione JSON di Duration). Se non impostato, il valore predefinito è 1 ora. Se per una sessione interattiva sono specificati sia ttl sia idle_ttl, le condizioni vengono trattate come condizioni OR: il carico di lavoro verrà terminato quando sarà inattivo per idle_ttl o quando verrà superato ttl, a seconda del primo evento che si verifica.
ttl

Duration

Facoltativo. La durata dopo la quale il carico di lavoro verrà terminato, specificata come rappresentazione JSON per Duration. Quando il carico di lavoro supera questa durata, verrà interrotto incondizionatamente senza attendere il completamento del lavoro in corso. Se per un carico di lavoro batch non viene specificato ttl, il carico di lavoro potrà essere eseguito fino all'uscita naturale (o per sempre senza uscire). Se per una sessione interattiva non viene specificato ttl, il valore predefinito è 24 ore. Se ttl non è specificato per un batch che utilizza la versione runtime 2.1 o successive, il valore predefinito è 4 ore. Il valore minimo è 10 minuti; il valore massimo è 14 giorni. Se sono specificati sia ttl sia idle_ttl (per una sessione interattiva), le condizioni vengono trattate come condizioni OR: il carico di lavoro verrà terminato quando sarà inattivo per idle_ttl o quando verrà superato ttl, a seconda del caso che si verifica per primo.
staging_bucket

string

Facoltativo. Un bucket Cloud Storage utilizzato per eseguire lo staging delle dipendenze del carico di lavoro, dei file di configurazione e per archiviare l'output del carico di lavoro e altri dati effimeri, come i file di cronologia di Spark. Se non specifichi un bucket di staging, Cloud Dataproc determinerà una posizione Cloud Storage in base alla regione in cui viene eseguito il carico di lavoro, quindi creerà e gestirà bucket temporanei e di staging a livello di progetto e per località. Questo campo richiede il nome di un bucket Cloud Storage, non un URI gs://... a un bucket Cloud Storage.
Campo unione network. Configurazione di rete per l'esecuzione del carico di lavoro. network può essere solo uno dei seguenti:
network_uri

string

Facoltativo. URI della rete a cui connettere il carico di lavoro.
subnetwork_uri

string

Facoltativo. URI della sottorete a cui collegare il carico di lavoro.

GetBatchRequest

Una richiesta per ottenere la rappresentazione della risorsa per un workload batch.

Campi
name

string

Obbligatorio. Il nome completo del batch da recuperare nel formato "projects/PROJECT_ID/locations/DATAPROC_REGION/batches/BATCH_ID"

L'autorizzazione richiede la seguente autorizzazione IAM sulla risorsa specificata name:

  • dataproc.batches.get

GetSessionRequest

Una richiesta per ottenere la rappresentazione della risorsa per una sessione.

Campi
name

string

Obbligatorio. Il nome della sessione da recuperare.

L'autorizzazione richiede la seguente autorizzazione IAM sulla risorsa specificata name:

  • dataproc.sessions.get

GetSessionTemplateRequest

Una richiesta per ottenere la rappresentazione della risorsa per un modello di sessione.

Campi
name

string

Obbligatorio. Il nome del modello di sessione da recuperare.

L'autorizzazione richiede la seguente autorizzazione IAM sulla risorsa specificata name:

  • dataproc.sessionTemplates.get

JupyterConfig

Configurazione di Jupyter per una sessione interattiva.

Campi
kernel

Kernel

Facoltativo. Kernel
display_name

string

Facoltativo. Nome visualizzato, mostrato nella scheda kernelspec di Jupyter.

Kernel

Tipi di kernel Jupyter.

Enum
KERNEL_UNSPECIFIED Il kernel è sconosciuto.
PYTHON Kernel Python.
SCALA Kernel Scala.

ListBatchesRequest

Una richiesta di elenco dei workload batch in un progetto.

Campi
parent

string

Obbligatorio. L'elemento principale, proprietario di questa raccolta di batch.

L'autorizzazione richiede la seguente autorizzazione IAM sulla risorsa specificata parent:

  • dataproc.batches.list
page_size

int32

Facoltativo. Il numero massimo di batch da restituire in ogni risposta. Il servizio potrebbe restituire meno di questo valore. Le dimensioni pagina predefinite sono 20; le dimensioni pagina massime sono 1000.
page_token

string

Facoltativo. Un token di pagina ricevuto da una chiamata ListBatches precedente. Fornisci questo token per recuperare la pagina successiva.
filter

string

Facoltativo. Un filtro per i batch da restituire nella risposta.

Un filtro è un'espressione logica che limita i valori di vari campi in ogni risorsa batch. I filtri sono sensibili alle maiuscole e possono contenere più clausole combinate con operatori logici (AND/OR). I campi supportati sono batch_id, batch_uuid, state, create_time e labels.

ad es. i filtri state = RUNNING and create_time < "2023-01-01T00:00:00Z" per i batch in stato RUNNING creati prima del 01/01/2023. state = RUNNING and labels.environment=production filtra i batch in stato RUNNING con un'etichetta dell'ambiente di produzione.

Visita la pagina https://google.aip.dev/assets/misc/ebnf-filtering.txt per una descrizione dettagliata della sintassi del filtro e un elenco dei confronti supportati.
order_by

string

Facoltativo. I campi in base ai quali ordinare l'elenco di batch.

Al momento, gli unici ordini di ordinamento supportati sono non specificati (vuoto) e create_time desc per ordinare per primi i batch creati più di recente.

Per ulteriori dettagli, visita la pagina https://google.aip.dev/132#ordering.

ListBatchesResponse

Un elenco di workload batch.

Campi
batches[]

Batch

Solo output. I batch della raccolta specificata.
next_page_token

string

Un token che può essere inviato come page_token per recuperare la pagina successiva. Se questo campo viene omesso, non verranno visualizzate altre pagine.
unreachable[]

string

Solo output. Elenco di batch che non è stato possibile includere nella risposta. Il tentativo di ottenere una di queste risorse potrebbe indicare il motivo per cui non è stata inclusa nella risposta dell'elenco.

ListSessionTemplatesRequest

Una richiesta di elenco dei modelli di sessione in un progetto.

Campi
parent

string

Obbligatorio. L'elemento principale proprietario di questa raccolta di modelli di sessione.

L'autorizzazione richiede la seguente autorizzazione IAM sulla risorsa specificata parent:

  • dataproc.sessionTemplates.list
page_size

int32

Facoltativo. Il numero massimo di sessioni da restituire in ogni risposta. Il servizio potrebbe restituire meno di questo valore.
page_token

string

Facoltativo. Un token di pagina ricevuto da una chiamata ListSessions precedente. Fornisci questo token per recuperare la pagina successiva.
filter

string

Facoltativo. Un filtro per i modelli di sessione da restituire nella risposta. I filtri sono sensibili alle maiuscole e hanno la seguente sintassi:

[campo = valore] E [campo [= valore]] ...

ListSessionTemplatesResponse

Un elenco di modelli di sessione.

Campi
session_templates[]

SessionTemplate

Solo output. Elenco dei modelli di sessione
next_page_token

string

Un token che può essere inviato come page_token per recuperare la pagina successiva. Se questo campo viene omesso, non verranno visualizzate altre pagine.

ListSessionsRequest

Una richiesta di elenco delle sessioni in un progetto.

Campi
parent

string

Obbligatorio. L'elemento principale, proprietario di questa raccolta di sessioni.

L'autorizzazione richiede la seguente autorizzazione IAM sulla risorsa specificata parent:

  • dataproc.sessions.list
page_size

int32

Facoltativo. Il numero massimo di sessioni da restituire in ogni risposta. Il servizio potrebbe restituire meno di questo valore.
page_token

string

Facoltativo. Un token di pagina ricevuto da una chiamata ListSessions precedente. Fornisci questo token per recuperare la pagina successiva.
filter

string

Facoltativo. Un filtro per le sessioni da restituire nella risposta.

Un filtro è un'espressione logica che limita i valori di vari campi in ogni risorsa sessione. I filtri sono sensibili alle maiuscole e possono contenere più clausole combinate con operatori logici (AND, OR). I campi supportati sono session_id, session_uuid, state, create_time e labels.

Esempio: state = ACTIVE and create_time < "2023-01-01T00:00:00Z" è un filtro per le sessioni in stato ACTIVE create prima del 01/01/2023. state = ACTIVE and labels.environment=production è un filtro per le sessioni in stato ACTIVE con un'etichetta dell'ambiente di produzione.

Visita la pagina https://google.aip.dev/assets/misc/ebnf-filtering.txt per una descrizione dettagliata della sintassi del filtro e un elenco dei comparatori supportati.

ListSessionsResponse

Un elenco di sessioni interattive.

Campi
sessions[]

Session

Solo output. Le sessioni della raccolta specificata.
next_page_token

string

Un token, che può essere inviato come page_token, per recuperare la pagina successiva. Se questo campo viene omesso, non verranno visualizzate altre pagine.

PeripheralsConfig

Configurazione dei servizi ausiliari per un carico di lavoro.

Campi
metastore_service

string

Facoltativo. Nome della risorsa di un servizio Dataproc Metastore esistente.

Esempio:

  • projects/[project_id]/locations/[region]/services/[service_id]
spark_history_server_config

SparkHistoryServerConfig

Facoltativo. La configurazione del server di cronologia Spark per il workload.

PyPiRepositoryConfig

Configurazione per il repository PyPi

Campi
pypi_repository

string

Facoltativo. Indirizzo del repository PyPi

PySparkBatch

Una configurazione per l'esecuzione di un workload batch Apache PySpark.

Campi
main_python_file_uri

string

Obbligatorio. L'URI HCFS del file Python principale da utilizzare come driver Spark. Deve essere un file .py.
args[]

string

Facoltativo. Gli argomenti da passare al driver. Non includere argomenti che possono essere impostati come proprietà batch, ad esempio --conf, poiché può verificarsi una collisione che causa l'invio di un batch errato.
python_file_uris[]

string

Facoltativo. URI file HCFS dei file Python da passare al framework PySpark. Tipi di file supportati: .py, .egg e .zip.
jar_file_uris[]

string

Facoltativo. URI HCFS dei file JAR da aggiungere al percorso di classe del driver e delle attività Spark.
file_uris[]

string

Facoltativo. URI HCFS dei file da inserire nella directory di lavoro di ciascun esecutore.
archive_uris[]

string

Facoltativo. URI HCFS degli archivi da estrarre nella directory di lavoro di ciascun esecutore. Tipi di file supportati: .jar, .tar, .tar.gz, .tgz e .zip.

RepositoryConfig

Configurazione per i repository delle dipendenze

Campi
pypi_repository_config

PyPiRepositoryConfig

Facoltativo. Configurazione per il repository PyPi.

RuntimeConfig

Configurazione di runtime per un carico di lavoro.

Campi
version

string

Facoltativo. Versione del runtime batch.
container_image

string

Facoltativo. Immagine container personalizzata facoltativa per l'ambiente di runtime del job. Se non specificato, verrà utilizzata un'immagine contenitore predefinita.
properties

map<string, string>

Facoltativo. Una mappatura dei nomi delle proprietà ai valori, utilizzati per configurare l'esecuzione del carico di lavoro.
repository_config

RepositoryConfig

Facoltativo. Configurazione del repository delle dipendenze.
autotuning_config

AutotuningConfig

Facoltativo. Configurazione dell'ottimizzazione automatica del carico di lavoro.
cohort

string

Facoltativo. Identificatore coorte. Identifica le famiglie di carichi di lavoro con la stessa forma, ad esempio i job ETL giornalieri.

RuntimeInfo

Informazioni di runtime sull'esecuzione del workload.

Campi
endpoints

map<string, string>

Solo output. Mappa degli endpoint di accesso remoto (ad esempio interfacce web e API) ai relativi URI.
output_uri

string

Solo output. Un URI che rimanda alla posizione di stdout e stderr del carico di lavoro.
diagnostic_output_uri

string

Solo output. Un URI che rimanda alla posizione del file tarball di diagnostica.
approximate_usage

UsageMetrics

Solo output. Utilizzo approssimativo delle risorse del carico di lavoro, calcolato al termine del carico di lavoro (vedi Prezzi di Dataproc Serverless).

Nota: il calcolo di questa metrica potrebbe cambiare in futuro, ad esempio per acquisire il consumo cumulativo delle risorse del carico di lavoro durante l'esecuzione del carico di lavoro (consulta le note di rilascio di Dataproc Serverless per annunci, modifiche, correzioni e altri sviluppi di Dataproc).
current_usage

UsageSnapshot

Solo output. Istantanea dell'utilizzo delle risorse del carico di lavoro corrente.

Sessione

Una rappresentazione di una sessione.

Campi
name

string

Obbligatorio. Il nome della risorsa della sessione.
uuid

string

Solo output. Un UUID (Universal Unique Identifier) della sessione. Il servizio genera questo valore quando crea la sessione.
create_time

Timestamp

Solo output. L'ora in cui è stata creata la sessione.
runtime_info

RuntimeInfo

Solo output. Informazioni di runtime sull'esecuzione della sessione.
state

State

Solo output. Uno stato della sessione.
state_message

string

Solo output. Dettagli sullo stato della sessione, ad esempio la descrizione dell'errore se lo stato è FAILED.
state_time

Timestamp

Solo output. L'ora in cui la sessione è passata allo stato corrente.
creator

string

Solo output. L'indirizzo email dell'utente che ha creato la sessione.
labels

map<string, string>

Facoltativo. Le etichette da associare alla sessione. Le chiavi delle etichette devono contenere da 1 a 63 caratteri e devono essere conformi allo standard RFC 1035. I valori delle etichette possono essere vuoti, ma, se presenti, devono contenere da 1 a 63 caratteri e devono essere conformi allo standard RFC 1035. Non è possibile associare più di 32 etichette a una sessione.
runtime_config

RuntimeConfig

Facoltativo. Configurazione di runtime per l'esecuzione della sessione.
environment_config

EnvironmentConfig

Facoltativo. Configurazione dell'ambiente per l'esecuzione della sessione.
user

string

Facoltativo. L'indirizzo email dell'utente proprietario della sessione.
state_history[]

SessionStateHistory

Solo output. Informazioni sullo stato storico della sessione.
session_template

string

Facoltativo. Il modello di sessione utilizzato dalla sessione.

Sono validi solo i nomi delle risorse, inclusi l'ID progetto e la località.

Esempio: * https://www.googleapis.com/compute/v1/projects/[project_id]/locations/[dataproc_region]/sessionTemplates/[template_id] * projects/[project_id]/locations/[dataproc_region]/sessionTemplates/[template_id]

Il modello deve trovarsi nello stesso progetto e nella stessa regione Dataproc della sessione.
Campo unione session_config. La configurazione della sessione. session_config può essere solo uno dei seguenti:
jupyter_session

JupyterConfig

Facoltativo. Configurazione della sessione Jupyter.
spark_connect_session

SparkConnectConfig

Facoltativo. Configurazione della sessione di connessione Spark.

SessionStateHistory

Informazioni sullo stato storico.

Campi
state

State

Solo output. Lo stato della sessione in questo punto della cronologia della sessione.
state_message

string

Solo output. Dettagli sullo stato in questo punto della cronologia della sessione.
state_start_time

Timestamp

Solo output. L'ora in cui la sessione è passata allo stato storico.

Stato

Lo stato della sessione.

Enum
STATE_UNSPECIFIED Lo stato della sessione è sconosciuto.
CREATING La sessione viene creata prima dell'esecuzione.
ACTIVE La sessione è in esecuzione.
TERMINATING La sessione sta per terminare.
TERMINATED La sessione è stata terminata correttamente.
FAILED La sessione non è più in esecuzione a causa di un errore.

SessionOperationMetadata

Metadati che descrivono l'operazione Session.

Campi
session

string

Nome della sessione per l'operazione.
session_uuid

string

UUID della sessione per l'operazione.
create_time

Timestamp

L'ora in cui è stata creata l'operazione.
done_time

Timestamp

L'ora di completamento dell'operazione.
operation_type

SessionOperationType

Il tipo di operazione.
description

string

Breve descrizione dell'operazione.
labels

map<string, string>

Etichette associate all'operazione.
warnings[]

string

Avvisi riscontrati durante l'esecuzione dell'operazione.

SessionOperationType

Tipo di operazione per le risorse Session

Enum
SESSION_OPERATION_TYPE_UNSPECIFIED Il tipo di operazione della sessione è sconosciuto.
CREATE Crea il tipo di operazione della sessione.
TERMINATE Tipo di operazione Termina sessione.
DELETE Tipo di operazione di eliminazione della sessione.

SessionTemplate

Una rappresentazione di un modello di sessione.

Campi
name

string

Obbligatorio. Il nome della risorsa del modello di sessione.
description

string

Facoltativo. Breve descrizione del modello.
create_time

Timestamp

Solo output. L'ora in cui è stato creato il modello.
creator

string

Solo output. L'indirizzo email dell'utente che ha creato il modello.
labels

map<string, string>

Facoltativo. Etichette da associare alle sessioni create utilizzando questo modello. Le chiavi delle etichette devono contenere da 1 a 63 caratteri e devono essere conformi allo standard RFC 1035. I valori delle etichette possono essere vuoti, ma, se presenti, devono contenere da 1 a 63 caratteri e essere conformi allo standard RFC 1035. Non è possibile associare più di 32 etichette a una sessione.
runtime_config

RuntimeConfig

Facoltativo. Configurazione di runtime per l'esecuzione della sessione.
environment_config

EnvironmentConfig

Facoltativo. Configurazione dell'ambiente per l'esecuzione della sessione.
update_time

Timestamp

Solo output. L'ora dell'ultimo aggiornamento del modello.
uuid

string

Solo output. Un UUID (Universally Unique Identifier) del modello di sessione. Il servizio genera questo valore quando crea il modello di sessione.
Campo unione session_config. La configurazione della sessione. session_config può essere solo uno dei seguenti:
jupyter_session

JupyterConfig

Facoltativo. Configurazione della sessione Jupyter.
spark_connect_session

SparkConnectConfig

Facoltativo. Configurazione della sessione di connessione Spark.

SparkBatch

Una configurazione per l'esecuzione di un workload batch Apache Spark.

Campi
args[]

string

Facoltativo. Gli argomenti da passare al driver. Non includere argomenti che possono essere impostati come proprietà batch, ad esempio --conf, poiché può verificarsi una collisione che causa l'invio di un batch errato.
jar_file_uris[]

string

Facoltativo. URI HCFS dei file JAR da aggiungere al percorso di classe del driver e delle attività Spark.
file_uris[]

string

Facoltativo. URI HCFS dei file da inserire nella directory di lavoro di ciascun esecutore.
archive_uris[]

string

Facoltativo. URI HCFS degli archivi da estrarre nella directory di lavoro di ciascun esecutore. Tipi di file supportati: .jar, .tar, .tar.gz, .tgz e .zip.
Campo unione driver. La specifica del metodo principale da chiamare per gestire il workload Spark. Specifica il file jar contenente la classe principale o il nome della classe principale. Per passare sia un jar principale che una classe principale in quel jar, aggiungi il jar a jar_file_uris e specifica il nome della classe principale in main_class. driver può essere solo uno dei seguenti:
main_jar_file_uri

string

Facoltativo. L'URI HCFS del file jar contenente la classe principale.
main_class

string

Facoltativo. Il nome della classe principale del driver. Il file jar che contiene la classe deve trovarsi nel percorso di classe o essere specificato in jar_file_uris.

SparkConnectConfig

Questo tipo non contiene campi.

Configurazione di Spark Connect per una sessione interattiva.

SparkHistoryServerConfig

Configurazione del server di cronologia Spark per il workload.

Campi
dataproc_cluster

string

Facoltativo. Nome della risorsa di un cluster Dataproc esistente da utilizzare come server di cronologia Spark per il workload.

Esempio:

  • projects/[project_id]/regions/[region]/clusters/[cluster_name]

SparkRBatch

Una configurazione per l'esecuzione di un workload batch Apache SparkR.

Campi
main_r_file_uri

string

Obbligatorio. L'URI HCFS del file R principale da utilizzare come driver. Deve essere un file .R o .r.
args[]

string

Facoltativo. Gli argomenti da passare al driver Spark. Non includere argomenti che possono essere impostati come proprietà batch, ad esempio --conf, poiché può verificarsi una collisione che causa l'invio di un batch errato.
file_uris[]

string

Facoltativo. URI HCFS dei file da inserire nella directory di lavoro di ciascun esecutore.
archive_uris[]

string

Facoltativo. URI HCFS degli archivi da estrarre nella directory di lavoro di ciascun esecutore. Tipi di file supportati: .jar, .tar, .tar.gz, .tgz e .zip.

SparkSqlBatch

Una configurazione per l'esecuzione di query Apache Spark SQL come workload batch.

Campi
query_file_uri

string

Obbligatorio. L'URI HCFS dello script contenente le query Spark SQL da eseguire.
query_variables

map<string, string>

Facoltativo. Mappatura dei nomi delle variabili di query ai valori (equivalente al comando Spark SQL: SET name="value";).
jar_file_uris[]

string

Facoltativo. URI HCFS dei file jar da aggiungere al CLASSPATH di Spark.

TerminateSessionRequest

Una richiesta di terminazione di una sessione interattiva.

Campi
name

string

Obbligatorio. Il nome della risorsa della sessione da terminare.

L'autorizzazione richiede la seguente autorizzazione IAM sulla risorsa specificata name:

  • dataproc.sessions.terminate
request_id

string

Facoltativo. Un ID univoco utilizzato per identificare la richiesta. Se il servizio riceve due richieste TerminateSessionRequest con lo stesso ID, la seconda richiesta viene ignorata.

Consiglio: imposta questo valore su un UUID.

Il valore deve contenere solo lettere (a-z, A-Z), numeri (0-9), trattini bassi (_) e trattini (-). La lunghezza massima è 40 caratteri.

UpdateSessionTemplateRequest

Una richiesta di aggiornamento di un modello di sessione.

Campi
session_template

SessionTemplate

Obbligatorio. Il modello di sessione aggiornato.

L'autorizzazione richiede la seguente autorizzazione IAM sulla risorsa specificata sessionTemplate:

  • dataproc.sessionTemplates.update

UsageMetrics

Le metriche di utilizzo rappresentano le risorse totali approssimative consumate da un carico di lavoro.

Campi
milli_dcu_seconds

int64

Facoltativo. Utilizzo delle unità di calcolo Dataproc (DCU) in (milliDCU x seconds) (vedi Prezzi di Dataproc Serverless).
shuffle_storage_gb_seconds

int64

Facoltativo. Utilizzo dello spazio di archiviazione per l'ordinamento casuale in (GB x seconds) (consulta Prezzi di Dataproc Serverless).
milli_accelerator_seconds

int64

Facoltativo. Utilizzo dell'acceleratore in (milliAccelerator x seconds) (vedi Prezzi di Dataproc Serverless).
accelerator_type

string

Facoltativo. Tipo di acceleratore utilizzato, se presente

UsageSnapshot

Lo snapshot dell'utilizzo rappresenta le risorse consumate da un carico di lavoro in un momento specificato.

Campi
milli_dcu

int64

Facoltativo. Mili (un millesimo) di unità di calcolo Dataproc (DCU) (vedi Prezzi di Dataproc Serverless).
shuffle_storage_gb

int64

Facoltativo. Spazio di archiviazione di Shuffle in gigabyte (GB). (consulta i prezzi di Dataproc Serverless).
milli_dcu_premium

int64

Facoltativo. Mili (un millesimo) di unità di calcolo Dataproc (DCU) addebitate al livello premium (vedi Prezzi di Dataproc Serverless).
shuffle_storage_gb_premium

int64

Facoltativo. Spazio di archiviazione di Shuffle in gigabyte (GB) addebitato al livello premium. (consulta i prezzi di Dataproc Serverless).
milli_accelerator

int64

Facoltativo. Acceleratore in millesimi. (consulta i prezzi di Dataproc Serverless).
accelerator_type

string

Facoltativo. Tipo di acceleratore utilizzato, se presente
snapshot_time

Timestamp

Facoltativo. Il timestamp dello snapshot dell'utilizzo.