Índice
BatchController(interfaz)SessionController(interfaz)SessionTemplateController(interfaz)AnalyzeOperationMetadata(mensaje)AnalyzeOperationMetadata.WorkloadType(enum)AutotuningConfig(mensaje)AutotuningConfig.Scenario(enum)Batch(mensaje)Batch.State(enum)Batch.StateHistory(mensaje)BatchOperationMetadata(mensaje)BatchOperationMetadata.BatchOperationType(enum)CreateBatchRequest(mensaje)CreateSessionRequest(mensaje)CreateSessionTemplateRequest(mensaje)DeleteBatchRequest(mensaje)DeleteSessionRequest(mensaje)DeleteSessionTemplateRequest(mensaje)DiagnoseClusterResults(mensaje)EnvironmentConfig(mensaje)ExecutionConfig(mensaje)GetBatchRequest(mensaje)GetSessionRequest(mensaje)GetSessionTemplateRequest(mensaje)JupyterConfig(mensaje)JupyterConfig.Kernel(enum)ListBatchesRequest(mensaje)ListBatchesResponse(mensaje)ListSessionTemplatesRequest(mensaje)ListSessionTemplatesResponse(mensaje)ListSessionsRequest(mensaje)ListSessionsResponse(mensaje)PeripheralsConfig(mensaje)PyPiRepositoryConfig(mensaje)PySparkBatch(mensaje)RepositoryConfig(mensaje)RuntimeConfig(mensaje)RuntimeInfo(mensaje)Session(mensaje)Session.SessionStateHistory(mensaje)Session.State(enum)SessionOperationMetadata(mensaje)SessionOperationMetadata.SessionOperationType(enum)SessionTemplate(mensaje)SparkBatch(mensaje)SparkConnectConfig(mensaje)SparkHistoryServerConfig(mensaje)SparkRBatch(mensaje)SparkSqlBatch(mensaje)TerminateSessionRequest(mensaje)UpdateSessionTemplateRequest(mensaje)UsageMetrics(mensaje)UsageSnapshot(mensaje)
BatchController
BatchController proporciona métodos para administrar cargas de trabajo por lotes.
| CreateBatch |
|---|
|
Crea una carga de trabajo por lotes que se ejecuta de forma asíncrona.
|
| DeleteBatch |
|---|
|
Borra el recurso de carga de trabajo por lotes. Si el lote no está en un
|
| GetBatch |
|---|
|
Obtiene la representación del recurso de la carga de trabajo por lotes.
|
| ListBatches |
|---|
|
Muestra una lista de cargas de trabajo por lotes.
|
SessionController
SessionController proporciona métodos para administrar sesiones interactivas.
| CreateSession |
|---|
|
Crea una sesión interactiva de forma asíncrona.
|
| DeleteSession |
|---|
|
Borra el recurso de sesión interactiva. Si la sesión no está en estado terminal, se finalizará y, luego, se borrará.
|
| GetSession |
|---|
|
Obtiene la representación de recursos para una sesión interactiva.
|
| ListSessions |
|---|
|
Muestra una lista de las sesiones interactivas.
|
| TerminateSession |
|---|
|
Finaliza la sesión interactiva.
|
SessionTemplateController
SessionTemplateController proporciona métodos para administrar plantillas de sesión.
| CreateSessionTemplate |
|---|
|
Crea una plantilla de sesión de forma síncrona.
|
| DeleteSessionTemplate |
|---|
|
Borra una plantilla de sesión.
|
| GetSessionTemplate |
|---|
|
Obtiene la representación de recursos de una plantilla de sesión.
|
| ListSessionTemplates |
|---|
|
Muestra una lista de plantillas de sesión.
|
| UpdateSessionTemplate |
|---|
|
Actualiza la plantilla de sesión de forma síncrona.
|
AnalyzeOperationMetadata
Metadatos que describen la operación de análisis
| Campos | |
|---|---|
analyzed_ |
Solo salida. Es el nombre de la carga de trabajo que se analiza. |
analyzed_ |
Solo salida. Es el tipo de carga de trabajo que se analiza. |
analyzed_ |
Solo salida. Es el identificador único de la carga de trabajo que suele generar el plano de control. P.ej., UUID del lote. |
create_ |
Solo salida. Es la hora en la que se creó la operación. |
done_ |
Solo salida. Es la hora en la que finalizó la operación. |
description |
Solo salida. Es una descripción breve de la operación. |
labels |
Solo salida. Etiquetas asociadas con la operación. |
warnings[] |
Solo salida. Se encontraron advertencias durante la ejecución de la operación. |
WorkloadType
Tipo de carga de trabajo
| Enums | |
|---|---|
WORKLOAD_TYPE_UNSPECIFIED |
Opción no definida |
BATCH |
Trabajo por lotes sin servidores |
AutotuningConfig
Configuración de ajuste automático de la carga de trabajo
| Campos | |
|---|---|
scenarios[] |
Opcional. Situaciones para las que se aplican los ajustes. |
Situación
La situación representa un objetivo específico que el ajuste automático intentará alcanzar modificando las cargas de trabajo.
| Enums | |
|---|---|
SCENARIO_UNSPECIFIED |
Valor predeterminado |
SCALING |
Recomendaciones de escalamiento, como initialExecutors. |
BROADCAST_HASH_JOIN |
Se agregaron sugerencias para posibles transmisiones de relaciones. |
MEMORY |
Administración de memoria para cargas de trabajo |
Lote
Es una representación de una carga de trabajo por lotes en el servicio.
| Campos | |
|---|---|
name |
Solo salida. Es el nombre del recurso del lote. |
uuid |
Solo salida. Un UUID por lotes (identificador único universal). El servicio genera este valor cuando crea el lote. |
create_ |
Solo salida. Es la hora en la que se creó el lote. |
runtime_ |
Solo salida. Información del entorno de ejecución sobre la ejecución por lotes |
state |
Solo salida. Es el estado del lote. |
state_ |
Solo salida. Detalles del estado del lote, como una descripción de la falla si el estado es |
state_ |
Solo salida. La hora en que el lote entró en un estado actual. |
creator |
Solo salida. La dirección de correo electrónico del usuario que creó el lote |
labels |
Opcional. Las etiquetas que se asociarán con este lote. Las claves de etiqueta deben contener entre 1 y 63 caracteres y cumplir con la RFC 1035. Los valores de la etiqueta pueden estar vacíos, pero, si están presentes, deben contener entre 1 y 63 caracteres y cumplir con la RFC 1035. No se pueden asociar más de 32 etiquetas a un lote. |
runtime_ |
Opcional. Configuración del entorno de ejecución para la ejecución por lotes. |
environment_ |
Opcional. Configuración del entorno para la ejecución por lotes |
operation |
Solo salida. El nombre del recurso de la operación asociada con este lote. |
state_ |
Solo salida. Información histórica del estado del lote. |
Campo de unión batch_config. Es la parte específica de la aplicación o el framework de la configuración por lotes. batch_config puede ser solo uno de los siguientes: |
|
pyspark_ |
Opcional. Configuración por lotes de PySpark |
spark_ |
Opcional. Configuración por lotes de Spark |
spark_ |
Opcional. Configuración por lotes de SparkR |
spark_ |
Opcional. Configuración por lotes de SparkSql. |
Estado
El estado del lote.
| Enums | |
|---|---|
STATE_UNSPECIFIED |
Se desconoce el estado del lote. |
PENDING |
El lote se crea antes de ejecutarse. |
RUNNING |
El lote se está ejecutando. |
CANCELLING |
Se cancela el lote. |
CANCELLED |
La cancelación masiva se realizó correctamente. |
SUCCEEDED |
El lote se completó correctamente. |
FAILED |
El lote ya no se ejecuta debido a un error. |
StateHistory
Información histórica del estado.
| Campos | |
|---|---|
state |
Solo salida. Es el estado del lote en este punto del historial. |
state_ |
Solo salida. Detalles sobre el estado en este momento de la historia. |
state_ |
Solo salida. Es la hora en la que el lote entró en el estado histórico. |
BatchOperationMetadata
Metadatos que describen la operación por lotes
| Campos | |
|---|---|
batch |
Es el nombre del lote de la operación. |
batch_ |
UUID del lote para la operación. |
create_ |
Es la hora en la que se creó la operación. |
done_ |
Es la hora en la que finalizó la operación. |
operation_ |
El tipo de operación. |
description |
Es una descripción breve de la operación. |
labels |
Etiquetas asociadas con la operación. |
warnings[] |
Se encontraron advertencias durante la ejecución de la operación. |
BatchOperationType
Tipo de operación para recursos de Batch
| Enums | |
|---|---|
BATCH_OPERATION_TYPE_UNSPECIFIED |
El tipo de operación por lotes es desconocido. |
BATCH |
Tipo de operación por lotes. |
CreateBatchRequest
Una solicitud para crear una carga de trabajo por lotes.
| Campos | |
|---|---|
parent |
Obligatorio. Es el recurso superior en el que se creará este lote. La autorización requiere el siguiente permiso IAM en el recurso especificado
|
batch |
Obligatorio. El lote que se creará. |
batch_ |
Opcional. Es el ID que se usará para el lote, que se convertirá en el componente final del nombre del recurso del lote. Este valor debe tener entre 4 y 63 caracteres. Los caracteres válidos son |
request_ |
Opcional. Un ID único que se usa para identificar la solicitud. Si el servicio recibe dos CreateBatchRequest con el mismo request_id, se ignora la segunda solicitud y se muestra la operación que corresponde al primer lote creado y almacenado en el backend. Recomendación: Establece este valor en un UUID. El valor debe contener solo letras (a-z, A-Z), números (0-9), guiones bajos (_) y guiones (-). La longitud máxima es de 40 caracteres. |
CreateSessionRequest
Es una solicitud para crear una sesión.
| Campos | |
|---|---|
parent |
Obligatorio. Es el recurso superior en el que se creará esta sesión. La autorización requiere el siguiente permiso IAM en el recurso especificado
|
session |
Obligatorio. La sesión interactiva que se creará. |
session_ |
Obligatorio. Es el ID que se usará para la sesión, que se convierte en el componente final del nombre del recurso de la sesión. Este valor debe tener entre 4 y 63 caracteres. Los caracteres válidos son /[a-z][0-9]-/. |
request_ |
Opcional. Un ID único que se usa para identificar la solicitud. Si el servicio recibe dos CreateSessionRequests con el mismo ID, se ignora la segunda solicitud y se crea y almacena el primer Recomendación: Establece este valor en un UUID. El valor debe contener solo letras (a-z, A-Z), números (0-9), guiones bajos (_) y guiones (-). La longitud máxima es de 40 caracteres. |
CreateSessionTemplateRequest
Es una solicitud para crear una plantilla de sesión.
| Campos | |
|---|---|
parent |
Obligatorio. Es el recurso superior en el que se creará esta plantilla de sesión. La autorización requiere el siguiente permiso IAM en el recurso especificado
|
session_ |
Obligatorio. Es la plantilla de sesión que se creará. |
DeleteBatchRequest
Una solicitud para borrar una carga de trabajo por lotes.
| Campos | |
|---|---|
name |
Obligatorio. El nombre totalmente calificado del lote que se recuperará en el formato "projects/PROJECT_ID/locations/DATAPROC_REGION/batches/BATCH_ID" La autorización requiere el siguiente permiso IAM en el recurso especificado
|
DeleteSessionRequest
Es una solicitud para borrar una sesión.
| Campos | |
|---|---|
name |
Obligatorio. Es el nombre del recurso de sesión que se borrará. La autorización requiere el siguiente permiso IAM en el recurso especificado
|
request_ |
Opcional. Un ID único que se usa para identificar la solicitud. Si el servicio recibe dos DeleteSessionRequest con el mismo ID, se ignora la segunda solicitud. Recomendación: Establece este valor en un UUID. El valor debe contener solo letras (a-z, A-Z), números (0-9), guiones bajos (_) y guiones (-). La longitud máxima es de 40 caracteres. |
DeleteSessionTemplateRequest
Una solicitud para borrar una plantilla de sesión.
| Campos | |
|---|---|
name |
Obligatorio. Es el nombre del recurso de plantilla de sesión que se borrará. La autorización requiere el siguiente permiso IAM en el recurso especificado
|
DiagnoseClusterResults
La ubicación del resultado del diagnóstico.
| Campos | |
|---|---|
output_ |
Solo salida. Es el URI de Cloud Storage del resultado del diagnóstico. El informe de salida es un archivo de texto sin formato con un resumen de los diagnósticos recopilados. |
EnvironmentConfig
Configuración del entorno para una carga de trabajo.
| Campos | |
|---|---|
execution_ |
Opcional. Configuración de ejecución para una carga de trabajo. |
peripherals_ |
Opcional. Configuración de los periféricos a los que tiene acceso la carga de trabajo |
ExecutionConfig
Configuración de ejecución para una carga de trabajo.
| Campos | |
|---|---|
service_ |
Opcional. Cuenta de servicio que se usaba para ejecutar la carga de trabajo |
network_ |
Opcional. Son etiquetas que se usan para controlar el tráfico de red. |
kms_ |
Opcional. La clave de Cloud KMS que se usará para la encriptación. |
idle_ |
Opcional. Solo se aplica a las sesiones. Es la duración para mantener la sesión activa mientras está inactiva. Si se supera este umbral, se finalizará la sesión. Este campo no se puede establecer en una carga de trabajo por lotes. El valor mínimo es de 10 minutos y el máximo es de 14 días (consulta la representación JSON de Duración). Si la opción no está configurada, se establece en 1 hora de forma predeterminada. Si se especifican |
ttl |
Opcional. Es la duración después de la cual se finalizará la carga de trabajo, especificada como la representación JSON de Duration. Cuando la carga de trabajo supere esta duración, se finalizará sin condiciones sin esperar a que finalice el trabajo en curso. Si no se especifica |
staging_ |
Opcional. Es un bucket de Cloud Storage que se usa para almacenar en etapa intermedia las dependencias de cargas de trabajo, los archivos de configuración y los resultados de las cargas de trabajo, así como otros datos efímeros, como los archivos de historial de Spark. Si no especificas un bucket de etapa de pruebas, Cloud Dataproc determinará una ubicación de Cloud Storage según la región en la que se ejecuta tu carga de trabajo y, luego, creará y administrará buckets temporales y de etapa de pruebas por ubicación y a nivel del proyecto. Este campo requiere un nombre de bucket de Cloud Storage, no un URI |
Campo de unión network. Configuración de red para la ejecución de cargas de trabajo network puede ser solo uno de los siguientes: |
|
network_ |
Opcional. Es el URI de red al que se conectará la carga de trabajo. |
subnetwork_ |
Opcional. Es el URI de la subred al que se conectará la carga de trabajo. |
GetBatchRequest
Una solicitud para obtener la representación de recursos de una carga de trabajo por lotes.
| Campos | |
|---|---|
name |
Obligatorio. El nombre totalmente calificado del lote que se recuperará en el formato "projects/PROJECT_ID/locations/DATAPROC_REGION/batches/BATCH_ID" La autorización requiere el siguiente permiso IAM en el recurso especificado
|
GetSessionRequest
Una solicitud para obtener la representación del recurso de una sesión.
| Campos | |
|---|---|
name |
Obligatorio. Es el nombre de la sesión que se recuperará. La autorización requiere el siguiente permiso IAM en el recurso especificado
|
GetSessionTemplateRequest
Una solicitud para obtener la representación de recursos de una plantilla de sesión.
| Campos | |
|---|---|
name |
Obligatorio. Es el nombre de la plantilla de sesión que se recuperará. La autorización requiere el siguiente permiso IAM en el recurso especificado
|
JupyterConfig
Configuración de Jupyter para una sesión interactiva.
| Campos | |
|---|---|
kernel |
Opcional. Kernel |
display_ |
Opcional. Es el nombre visible que se muestra en la tarjeta de kernelspec de Jupyter. |
Kernel
Tipos de kernel de Jupyter.
| Enums | |
|---|---|
KERNEL_UNSPECIFIED |
El kernel es desconocido. |
PYTHON |
Kernel de Python |
SCALA |
Kernel de Scala |
ListBatchesRequest
Una solicitud para enumerar las cargas de trabajo por lotes en un proyecto.
| Campos | |
|---|---|
parent |
Obligatorio. El elemento superior, que es propietario de esta colección de lotes. La autorización requiere el siguiente permiso IAM en el recurso especificado
|
page_ |
Opcional. Es la cantidad máxima de lotes que se mostrarán en cada respuesta. El servicio puede mostrar menos que este valor. El tamaño de página predeterminado es 20 y el máximo es 1,000. |
page_ |
Opcional. Es un token de página recibido de una llamada a |
filter |
Opcional. Es un filtro para que los lotes se muestren en la respuesta. Un filtro es una expresión lógica que restringe los valores de varios campos en cada recurso por lotes. Los filtros distinguen mayúsculas de minúsculas y pueden contener varias cláusulas combinadas con operadores lógicos (Y/O). Los campos admitidos son p.ej., Consulta https://google.aip.dev/assets/misc/ebnf-filtering.txt para obtener una descripción detallada de la sintaxis del filtro y una lista de las comparaciones admitidas. |
order_ |
Opcional. Son los campos en los que se ordenará la lista de lotes. Actualmente, los únicos órdenes de clasificación admitidos son no especificados (vacíos) y Consulta https://google.aip.dev/132#ordering para obtener más detalles. |
ListBatchesResponse
Una lista de cargas de trabajo por lotes.
| Campos | |
|---|---|
batches[] |
Solo salida. Los lotes de la colección especificada. |
next_ |
Un token, que se puede enviar como |
unreachable[] |
Solo salida. Es la lista de lotes que no se pudieron incluir en la respuesta. Intentar obtener uno de estos recursos puede indicar por qué no se incluyó en la respuesta de la lista. |
ListSessionTemplatesRequest
Una solicitud para enumerar las plantillas de sesión de un proyecto.
| Campos | |
|---|---|
parent |
Obligatorio. El elemento superior que es propietario de esta colección de plantillas de sesión. La autorización requiere el siguiente permiso IAM en el recurso especificado
|
page_ |
Opcional. Es la cantidad máxima de sesiones que se mostrarán en cada respuesta. El servicio puede mostrar menos que este valor. |
page_ |
Opcional. Es un token de página recibido de una llamada a |
filter |
Opcional. Es un filtro para que las plantillas de sesión se muestren en la respuesta. Los filtros distinguen mayúsculas de minúsculas y tienen la siguiente sintaxis: [campo = valor] Y [campo [= valor]] ... |
ListSessionTemplatesResponse
Una lista de plantillas de sesión.
| Campos | |
|---|---|
session_ |
Solo salida. Lista de plantillas de sesión |
next_ |
Un token, que se puede enviar como |
ListSessionsRequest
Una solicitud para enumerar sesiones en un proyecto.
| Campos | |
|---|---|
parent |
Obligatorio. El elemento superior, que es propietario de esta colección de sesiones. La autorización requiere el siguiente permiso IAM en el recurso especificado
|
page_ |
Opcional. Es la cantidad máxima de sesiones que se mostrarán en cada respuesta. El servicio puede mostrar menos que este valor. |
page_ |
Opcional. Es un token de página recibido de una llamada a |
filter |
Opcional. Es un filtro para que las sesiones se muestren en la respuesta. Un filtro es una expresión lógica que restringe los valores de varios campos en cada recurso de sesión. Los filtros distinguen mayúsculas de minúsculas y pueden contener varias cláusulas combinadas con operadores lógicos (Y, O). Los campos admitidos son Ejemplo: Consulta https://google.aip.dev/assets/misc/ebnf-filtering.txt para obtener una descripción detallada de la sintaxis del filtro y una lista de los comparadores admitidos. |
ListSessionsResponse
Una lista de sesiones interactivas.
| Campos | |
|---|---|
sessions[] |
Solo salida. Las sesiones de la colección especificada. |
next_ |
Es un token, que se puede enviar como |
PeripheralsConfig
Configuración de servicios auxiliares para una carga de trabajo.
| Campos | |
|---|---|
metastore_ |
Opcional. Es el nombre del recurso de un servicio de Dataproc Metastore existente. Ejemplo:
|
spark_ |
Opcional. La configuración del servidor de historial de Spark para la carga de trabajo |
PyPiRepositoryConfig
Configuración del repositorio de PyPi
| Campos | |
|---|---|
pypi_ |
Opcional. Dirección del repositorio de PyPI |
PySparkBatch
Una configuración para ejecutar una carga de trabajo por lotes de Apache PySpark
| Campos | |
|---|---|
main_ |
Obligatorio. Es el URI de HCFS del archivo principal de Python que se usará como controlador de Spark. Debe ser un archivo .py. |
args[] |
Opcional. Los argumentos que se pasarán al controlador. No incluyas argumentos que se puedan establecer como propiedades de lotes, como |
python_ |
Opcional. URIs de archivos HCFS de archivos de Python para pasar al framework de PySpark Tipos de archivos compatibles: |
jar_ |
Opcional. URIs de HCFS de archivos JAR para agregar a la ruta de acceso de clases del controlador y las tareas de Spark. |
file_ |
Opcional. Los URIs de HCFS de los archivos que se colocarán en el directorio de trabajo de cada ejecutor. |
archive_ |
Opcional. Los URIs de HCFS de los archivos que se extraerán en el directorio de trabajo de cada ejecutor. Tipos de archivos compatibles: |
RepositoryConfig
Configuración de repositorios de dependencias
| Campos | |
|---|---|
pypi_ |
Opcional. Configuración del repositorio de PyPi. |
RuntimeConfig
Configuración del entorno de ejecución para una carga de trabajo.
| Campos | |
|---|---|
version |
Opcional. Es la versión del entorno de ejecución por lotes. |
container_ |
Opcional. Imagen de contenedor personalizada opcional para el entorno de ejecución del trabajo. Si no se especifica, se usará una imagen de contenedor predeterminada. |
properties |
Opcional. Es una asignación de nombres de propiedades a valores, que se usan para configurar la ejecución de cargas de trabajo. |
repository_ |
Opcional. Configuración del repositorio de dependencias |
autotuning_ |
Opcional. Configuración de ajuste automático de la carga de trabajo |
cohort |
Opcional. Es el identificador de cohorte. Identifica familias de cargas de trabajo que tienen la misma forma, p.ej., trabajos de ETL diarios. |
RuntimeInfo
Información del entorno de ejecución sobre la ejecución de la carga de trabajo.
| Campos | |
|---|---|
endpoints |
Solo salida. Mapa de extremos de acceso remoto (como interfaces web y APIs) a sus URIs. |
output_ |
Solo salida. Es un URI que apunta a la ubicación de stdout y stderr de la carga de trabajo. |
diagnostic_ |
Solo salida. Es un URI que apunta a la ubicación del archivo comprimido de diagnóstico. |
approximate_ |
Solo salida. Es el uso aproximado de recursos de la carga de trabajo, que se calcula cuando esta se completa (consulta Precios de Dataproc sin servidores). Nota: Es posible que este cálculo de métricas cambie en el futuro, por ejemplo, para capturar el consumo de recursos de la carga de trabajo acumulada durante su ejecución (consulta las notas de la versión de Dataproc sin servidores para ver anuncios, cambios, correcciones y otros desarrollos de Dataproc). |
current_ |
Solo salida. Es una instantánea del uso de recursos de la carga de trabajo actual. |
Sesión
Es una representación de una sesión.
| Campos | |
|---|---|
name |
Obligatorio. Es el nombre del recurso de la sesión. |
uuid |
Solo salida. Un UUID de sesión (identificador único universal). El servicio genera este valor cuando crea la sesión. |
create_ |
Solo salida. Es la hora en la que se creó la sesión. |
runtime_ |
Solo salida. Información del entorno de ejecución sobre la ejecución de la sesión. |
state |
Solo salida. Un estado de la sesión. |
state_ |
Solo salida. Detalles del estado de la sesión, como la descripción de la falla si el estado es |
state_ |
Solo salida. Es la hora en que la sesión entró en el estado actual. |
creator |
Solo salida. Es la dirección de correo electrónico del usuario que creó la sesión. |
labels |
Opcional. Las etiquetas que se asociarán con la sesión. Las claves de etiqueta deben contener entre 1 y 63 caracteres y cumplir con la RFC 1035. Los valores de la etiqueta pueden estar vacíos, pero, si están presentes, deben contener entre 1 y 63 caracteres y cumplir con la RFC 1035. No se pueden asociar más de 32 etiquetas a una sesión. |
runtime_ |
Opcional. Configuración del entorno de ejecución para la ejecución de la sesión. |
environment_ |
Opcional. Configuración del entorno para la ejecución de la sesión. |
user |
Opcional. Es la dirección de correo electrónico del usuario propietario de la sesión. |
state_ |
Solo salida. Información histórica del estado de la sesión. |
session_ |
Opcional. Es la plantilla de sesión que usa la sesión. Solo son válidos los nombres de los recursos, incluidos el ID y la ubicación del proyecto. Ejemplo: * La plantilla debe estar en el mismo proyecto y la misma región de Dataproc que la sesión. |
Campo de unión session_config. La configuración de la sesión. session_config puede ser solo uno de los siguientes: |
|
jupyter_ |
Opcional. Configuración de la sesión de Jupyter |
spark_ |
Opcional. Configuración de la sesión de Spark Connect. |
SessionStateHistory
Información histórica del estado.
| Campos | |
|---|---|
state |
Solo salida. Es el estado de la sesión en este punto del historial de la sesión. |
state_ |
Solo salida. Detalles sobre el estado en este punto del historial de la sesión. |
state_ |
Solo salida. Es la hora en la que la sesión entró en el estado histórico. |
Estado
El estado de la sesión.
| Enums | |
|---|---|
STATE_UNSPECIFIED |
Se desconoce el estado de la sesión. |
CREATING |
La sesión se crea antes de ejecutarse. |
ACTIVE |
La sesión se está ejecutando. |
TERMINATING |
La sesión finalizará. |
TERMINATED |
La sesión finaliza correctamente. |
FAILED |
La sesión ya no se está ejecutando debido a un error. |
SessionOperationMetadata
Metadatos que describen la operación de sesión
| Campos | |
|---|---|
session |
Es el nombre de la sesión de la operación. |
session_ |
UUID de la sesión para la operación. |
create_ |
Es la hora en la que se creó la operación. |
done_ |
Es la hora en la que finalizó la operación. |
operation_ |
El tipo de operación. |
description |
Es una descripción breve de la operación. |
labels |
Etiquetas asociadas con la operación. |
warnings[] |
Se encontraron advertencias durante la ejecución de la operación. |
SessionOperationType
Tipo de operación para recursos de sesión
| Enums | |
|---|---|
SESSION_OPERATION_TYPE_UNSPECIFIED |
El tipo de operación de la sesión es desconocido. |
CREATE |
Crea el tipo de operación de sesión. |
TERMINATE |
Tipo de operación de finalización de sesión. |
DELETE |
Borra el tipo de operación de sesión. |
SessionTemplate
Representación de una plantilla de sesión.
| Campos | |
|---|---|
name |
Obligatorio. Es el nombre del recurso de la plantilla de sesión. |
description |
Opcional. Es una descripción breve de la plantilla. |
create_ |
Solo salida. Es la hora en la que se creó la plantilla. |
creator |
Solo salida. La dirección de correo electrónico del usuario que creó la plantilla |
labels |
Opcional. Etiquetas para asociar con las sesiones creadas con esta plantilla. Las claves de etiqueta deben contener entre 1 y 63 caracteres y cumplir con la RFC 1035. Los valores de las etiquetas pueden estar vacíos, pero, si están presentes, deben contener entre 1 y 63 caracteres y cumplir con el estándar RFC 1035. No se pueden asociar más de 32 etiquetas a una sesión. |
runtime_ |
Opcional. Configuración del entorno de ejecución para la ejecución de la sesión. |
environment_ |
Opcional. Configuración del entorno para la ejecución de la sesión. |
update_ |
Solo salida. Es la hora en la que se actualizó la plantilla por última vez. |
uuid |
Solo salida. Un UUID (identificador único universal) de plantilla de sesión El servicio genera este valor cuando crea la plantilla de sesión. |
Campo de unión session_config. La configuración de la sesión. session_config puede ser solo uno de los siguientes: |
|
jupyter_ |
Opcional. Configuración de la sesión de Jupyter |
spark_ |
Opcional. Configuración de la sesión de Spark Connect. |
SparkBatch
Una configuración para ejecutar una carga de trabajo por lotes de Apache Spark
| Campos | |
|---|---|
args[] |
Opcional. Los argumentos que se pasarán al controlador. No incluyas argumentos que se puedan establecer como propiedades de lotes, como |
jar_ |
Opcional. URIs de HCFS de archivos JAR para agregar a la ruta de acceso de clases del controlador y las tareas de Spark. |
file_ |
Opcional. Los URIs de HCFS de los archivos que se colocarán en el directorio de trabajo de cada ejecutor. |
archive_ |
Opcional. Los URIs de HCFS de los archivos que se extraerán en el directorio de trabajo de cada ejecutor. Tipos de archivos compatibles: |
Campo de unión driver. La especificación del método principal al que se debe llamar para dirigir la carga de trabajo de Spark. Especifica el archivo jar que contiene la clase principal o el nombre de la clase principal. Para pasar un jar principal y una clase principal en ese jar, agrega el jar a jar_file_uris y, luego, especifica el nombre de la clase principal en main_class. driver solo puede ser una de las siguientes opciones: |
|
main_ |
Opcional. El URI de HCFS del archivo JAR que contiene la clase principal. |
main_ |
Opcional. Es el nombre de la clase principal del controlador. El archivo jar que contiene la clase debe estar en el classpath o especificarse en |
SparkConnectConfig
Este tipo no tiene campos.
Configuración de Spark Connect para una sesión interactiva.
SparkHistoryServerConfig
Configuración del servidor de historial de Spark para la carga de trabajo
| Campos | |
|---|---|
dataproc_ |
Opcional. Es el nombre de recurso de un clúster de Dataproc existente que actuará como servidor de historial de Spark para la carga de trabajo. Ejemplo:
|
SparkRBatch
Una configuración para ejecutar una carga de trabajo por lotes de Apache SparkR
| Campos | |
|---|---|
main_ |
Obligatorio. Es el URI de HCFS del archivo R principal que se usará como controlador. Debe ser un archivo |
args[] |
Opcional. Los argumentos que se pasarán al controlador de Spark. No incluyas argumentos que se puedan establecer como propiedades de lotes, como |
file_ |
Opcional. Los URIs de HCFS de los archivos que se colocarán en el directorio de trabajo de cada ejecutor. |
archive_ |
Opcional. Los URIs de HCFS de los archivos que se extraerán en el directorio de trabajo de cada ejecutor. Tipos de archivos compatibles: |
SparkSqlBatch
Es una configuración para ejecutar consultas de Apache Spark SQL como una carga de trabajo por lotes.
| Campos | |
|---|---|
query_ |
Obligatorio. Es el URI de HCFS de la secuencia de comandos que contiene las consultas de Spark SQL que se ejecutarán. |
query_ |
Opcional. Asignación de nombres de variables de consulta a valores (equivalente al comando Spark SQL: |
jar_ |
Opcional. URIs de HCFS de los archivos JAR que se agregarán al CLASSPATH de Spark. |
TerminateSessionRequest
Es una solicitud para finalizar una sesión interactiva.
| Campos | |
|---|---|
name |
Obligatorio. Es el nombre del recurso de sesión que se finalizará. La autorización requiere el siguiente permiso IAM en el recurso especificado
|
request_ |
Opcional. Un ID único que se usa para identificar la solicitud. Si el servicio recibe dos TerminateSessionRequest con el mismo ID, se ignora la segunda solicitud. Recomendación: Establece este valor en un UUID. El valor debe contener solo letras (a-z, A-Z), números (0-9), guiones bajos (_) y guiones (-). La longitud máxima es de 40 caracteres. |
UpdateSessionTemplateRequest
Una solicitud para actualizar una plantilla de sesión.
| Campos | |
|---|---|
session_ |
Obligatorio. La plantilla de sesión actualizada. La autorización requiere el siguiente permiso IAM en el recurso especificado
|
UsageMetrics
Las métricas de uso representan los recursos totales aproximados que consume una carga de trabajo.
| Campos | |
|---|---|
milli_ |
Opcional. Uso de DCU (unidades de procesamiento de Dataproc) en ( |
shuffle_ |
Opcional. Uso de almacenamiento de Shuffle en ( |
milli_ |
Opcional. Uso del acelerador en ( |
accelerator_ |
Opcional. Tipo de acelerador que se usa, si corresponde |
UsageSnapshot
La instantánea de uso representa los recursos que consume una carga de trabajo en un momento determinado.
| Campos | |
|---|---|
milli_ |
Opcional. Unidades de procesamiento (DCU) de Dataproc (consulta los precios de Dataproc sin servidores). |
shuffle_ |
Opcional. Almacenamiento de Shuffle en gigabytes (GB). (consulta Precios de Dataproc Serverless). |
milli_ |
Opcional. Mil (una milésima) de unidades de procesamiento de datos (DCU) de Dataproc que se cobran en el nivel premium (consulta Precios de Dataproc sin servidores). |
shuffle_ |
Opcional. Almacenamiento de Shuffle en gigabytes (GB) cobrado en el nivel premium (consulta Precios de Dataproc Serverless). |
milli_ |
Opcional. Acelerador de mili (milésima). (consulta Precios de Dataproc Serverless). |
accelerator_ |
Opcional. Tipo de acelerador que se usa, si corresponde |
snapshot_ |
Opcional. La marca de tiempo de la instantánea de uso. |