EnvironmentConfig

工作负载的环境配置。

JSON 表示法
{
  "executionConfig": {
    object (ExecutionConfig)
  },
  "peripheralsConfig": {
    object (PeripheralsConfig)
  }
}
字段
executionConfig

object (ExecutionConfig)

可选。工作负载的执行配置。

peripheralsConfig

object (PeripheralsConfig)

可选。工作负载有权访问的外围设备配置。

ExecutionConfig

工作负载的执行配置。

JSON 表示法
{
  "serviceAccount": string,
  "networkTags": [
    string
  ],
  "kmsKey": string,
  "idleTtl": string,
  "ttl": string,
  "stagingBucket": string,

  // Union field network can be only one of the following:
  "networkUri": string,
  "subnetworkUri": string
  // End of list of possible types for union field network.
}
字段
serviceAccount

string

可选。用于执行工作负载的服务账号。

networkTags[]

string

可选。用于控制网络流量的标记。

kmsKey

string

可选。用于加密的 Cloud KMS 密钥。

idleTtl

string (Duration format)

可选。仅适用于会话。在空闲时将会话保持活跃状态的时长。超出此阈值会导致会话终止。此字段无法在批处理工作负载上设置。最小值为 10 分钟;最大值为 14 天(请参阅时长的 JSON 表示法)。如果未设置,则默认为 1 小时。如果为 Interactive 会话同时指定了 ttlidleTtl,系统会将这些条件视为 OR 条件:当工作负载处于闲置状态的时间达到 idleTtl 或超出 ttl(以先到者为准)时,系统会终止该工作负载。

ttl

string (Duration format)

可选。工作负载终止之前需要经历的时长,以 Duration 的 JSON 表示法指定。如果工作负载超出此时长,系统会无条件终止该工作负载,而不会等待正在进行的工作完成。如果未为批处理工作负载指定 ttl,系统将允许该工作负载运行,直到其自然退出(或无限期运行而不退出)。如果未为 Interactive 会话指定 ttl,则默认为 24 小时。如果未为使用 2.1 及更高版本的运行时的批处理指定 ttl,则默认为 4 小时。最小值为 10 分钟;最大值为 14 天。如果同时指定了 ttlidleTtl(对于 Interactive 会话),系统会将这些条件视为 OR 条件:当工作负载处于空闲状态的时间达到 idleTtl 或超出 ttl 时(以先到者为准),系统会终止该工作负载。

stagingBucket

string

可选。Cloud Storage 存储分区,用于暂存工作负载依赖项、配置文件,以及存储工作负载输出和其他临时数据(例如 Spark 历史记录文件)。如果您未指定暂存桶,Cloud Dataproc 会根据工作负载运行的区域确定 Cloud Storage 位置,然后创建和管理这些基于位置的项目级暂存桶和临时桶。此字段需要输入 Cloud Storage 存储分区名称,而不是 Cloud Storage 存储分区的 gs://... URI。

联合字段 network。工作负载执行的网络配置。network 只能是下列其中一项:
networkUri

string

可选。要连接到的工作负载的网络 URI。

subnetworkUri

string

可选。要连接到的工作负载的子网 URI。

PeripheralsConfig

工作负载的辅助服务配置。

JSON 表示法
{
  "metastoreService": string,
  "sparkHistoryServerConfig": {
    object (SparkHistoryServerConfig)
  }
}
字段
metastoreService

string

可选。现有 Dataproc Metastore 服务的资源名称。

示例:

  • projects/[projectId]/locations/[region]/services/[service_id]
sparkHistoryServerConfig

object (SparkHistoryServerConfig)

可选。工作负载的 Spark 历史记录服务器配置。

SparkHistoryServerConfig

工作负载的 Spark 历史记录服务器配置。

JSON 表示法
{
  "dataprocCluster": string
}
字段
dataprocCluster

string

可选。要用作工作负载的 Spark 历史记录服务器的现有 Dataproc 集群的资源名称。

示例:

  • projects/[projectId]/regions/[region]/clusters/[clusterName]