EnvironmentConfig

Configuração do ambiente para uma carga de trabalho.

Representação JSON
{
  "executionConfig": {
    object (ExecutionConfig)
  },
  "peripheralsConfig": {
    object (PeripheralsConfig)
  }
}
Campos
executionConfig

object (ExecutionConfig)

Opcional. Configuração de execução de uma carga de trabalho.

peripheralsConfig

object (PeripheralsConfig)

Opcional. Configuração de periféricos a que a carga de trabalho tem acesso.

ExecutionConfig

Configuração de execução de uma carga de trabalho.

Representação JSON
{
  "serviceAccount": string,
  "networkTags": [
    string
  ],
  "kmsKey": string,
  "idleTtl": string,
  "ttl": string,
  "stagingBucket": string,

  // Union field network can be only one of the following:
  "networkUri": string,
  "subnetworkUri": string
  // End of list of possible types for union field network.
}
Campos
serviceAccount

string

Opcional. Conta de serviço usada para executar a carga de trabalho.

networkTags[]

string

Opcional. Tags usadas para controlar o tráfego de rede.

kmsKey

string

Opcional. A chave do Cloud KMS a ser usada para criptografia.

idleTtl

string (Duration format)

Opcional. Aplicável apenas a sessões. A duração para manter a sessão ativa enquanto ela está inativa. O limite é excedido quando a sessão é encerrada. Não é possível definir esse campo em uma carga de trabalho em lote. O valor mínimo é 10 minutos, e o máximo é 14 dias (consulte a representação em JSON de Duração). O padrão é 1 hora, se não estiver definido. Se ttl e idleTtl forem especificados para uma sessão interativa, as condições serão tratadas como OR: a carga de trabalho será encerrada quando estiver inativa por idleTtl ou quando ttl for excedido, o que ocorrer primeiro.

ttl

string (Duration format)

Opcional. A duração após a qual a carga de trabalho será encerrada, especificada como a representação JSON de Duração. Quando a carga de trabalho exceder essa duração, ela será encerrada incondicionalmente sem esperar que o trabalho em andamento seja concluído. Se ttl não for especificado para uma carga de trabalho em lote, ela poderá ser executada até sair naturalmente (ou ser executada para sempre sem sair). Se ttl não for especificado para uma sessão interativa, o padrão será 24 horas. Se ttl não for especificado para um lote que usa a versão 2.1 ou mais recente do ambiente de execução, o padrão será 4 horas. O valor mínimo é 10 minutos, e o máximo é 14 dias. Se ttl e idleTtl forem especificados (para uma sessão interativa), as condições serão tratadas como OR: a carga de trabalho será encerrada quando estiver inativa por idleTtl ou quando ttl for excedido, o que ocorrer primeiro.

stagingBucket

string

Opcional. Um bucket do Cloud Storage usado para preparar dependências de carga de trabalho, arquivos de configuração e armazenar a saída da carga de trabalho e outros dados temporários, como arquivos de histórico do Spark. Se você não especificar um bucket de preparo, o Cloud Dataproc vai determinar um local do Cloud Storage de acordo com a região em que a carga de trabalho está em execução e, em seguida, criar e gerenciar buckets temporários e de preparo por local no nível do projeto. Este campo exige um nome de bucket do Cloud Storage, não um URI gs://... para um bucket do Cloud Storage.

Campo de união network. Configuração de rede para a execução da carga de trabalho. network pode ser apenas de um dos tipos a seguir:
networkUri

string

Opcional. URI de rede para conectar a carga de trabalho.

subnetworkUri

string

Opcional. URI da sub-rede para conectar a carga de trabalho.

PeripheralsConfig

Configuração de serviços auxiliares para uma carga de trabalho.

Representação JSON
{
  "metastoreService": string,
  "sparkHistoryServerConfig": {
    object (SparkHistoryServerConfig)
  }
}
Campos
metastoreService

string

Opcional. Nome do recurso de um serviço do metastore do Dataproc.

Exemplo:

  • projects/[projectId]/locations/[region]/services/[service_id]
sparkHistoryServerConfig

object (SparkHistoryServerConfig)

Opcional. A configuração do servidor de histórico do Spark para a carga de trabalho.

SparkHistoryServerConfig

Configuração do servidor de histórico do Spark para a carga de trabalho.

Representação JSON
{
  "dataprocCluster": string
}
Campos
dataprocCluster

string

Opcional. Nome de recurso de um cluster do Dataproc para atuar como um servidor de histórico do Spark para a carga de trabalho.

Exemplo:

  • projects/[projectId]/regions/[region]/clusters/[clusterName]