REST Resource: projects.locations.batches

Ressource: Batch

Représentation d'une charge de travail par lot dans le service.

Représentation JSON 
{
  "name": string,
  "uuid": string,
  "createTime": string,
  "runtimeInfo": {
    object (RuntimeInfo)
  },
  "state": enum (State),
  "stateMessage": string,
  "stateTime": string,
  "creator": string,
  "labels": {
    string: string,
    ...
  },
  "runtimeConfig": {
    object (RuntimeConfig)
  },
  "environmentConfig": {
    object (EnvironmentConfig)
  },
  "operation": string,
  "stateHistory": [
    {
      object (StateHistory)
    }
  ],

  // Union field batch_config can be only one of the following:
  "pysparkBatch": {
    object (PySparkBatch)
  },
  "sparkBatch": {
    object (SparkBatch)
  },
  "sparkRBatch": {
    object (SparkRBatch)
  },
  "sparkSqlBatch": {
    object (SparkSqlBatch)
  }
  // End of list of possible types for union field batch_config.
}
Champs
name

string

Uniquement en sortie. Nom de la ressource du lot.
uuid

string

Uniquement en sortie. Un UUID (identifiant unique universel) de lot. Le service génère cette valeur lorsqu'il crée le lot.
createTime

string (Timestamp format)

Uniquement en sortie. Heure de création du lot.

Horodatage au format RFC3339 UTC "Zulu", avec une résolution de l'ordre de la nanoseconde et jusqu'à neuf chiffres décimaux. Exemples : "2014-10-02T15:01:23Z" et "2014-10-02T15:01:23.045123456Z".
runtimeInfo

object (RuntimeInfo)

Uniquement en sortie. Informations d'exécution sur l'exécution par lot.
state

enum (State)

Uniquement en sortie. État du lot.
stateMessage

string

Uniquement en sortie. Informations sur l'état du lot, telles qu'une description de l'échec si l'état est FAILED.
stateTime

string (Timestamp format)

Uniquement en sortie. Heure à laquelle le lot est passé à l'état actuel.

Horodatage au format RFC3339 UTC "Zulu", avec une résolution de l'ordre de la nanoseconde et jusqu'à neuf chiffres décimaux. Exemples : "2014-10-02T15:01:23Z" et "2014-10-02T15:01:23.045123456Z".
creator

string

Uniquement en sortie. Adresse e-mail de l'utilisateur qui a créé le lot.
labels

map (key: string, value: string)

Facultatif. Libellés à associer à ce lot. Les clés d'étiquette doivent contenir entre 1 et 63 caractères et être conformes à la RFC 1035. Les valeurs des libellés peuvent être vides, mais, si elles sont présentes, elles doivent comporter entre 1 et 63 caractères et être conformes à la norme RFC 1035. Vous ne pouvez pas associer plus de 32 libellés à un lot.

Objet contenant une liste de paires "key": value. Exemple : { "name": "wrench", "mass": "1.3kg", "count": "3" }.
runtimeConfig

object (RuntimeConfig)

Facultatif. Configuration d'exécution pour l'exécution par lot.
environmentConfig

object (EnvironmentConfig)

Facultatif. Configuration de l'environnement pour l'exécution par lot.
operation

string

Uniquement en sortie. Nom de la ressource de l'opération associée à ce lot.
stateHistory[]

object (StateHistory)

Uniquement en sortie. Informations sur l'historique de l'état du lot.
Champ d'union batch_config. Partie de la configuration par lot spécifique à l'application/au framework. batch_config ne peut être qu'un des éléments suivants :
pysparkBatch

object (PySparkBatch)

Facultatif. Configuration de lot PySpark.
sparkBatch

object (SparkBatch)

Facultatif. Configuration du lot Spark.
sparkRBatch

object (SparkRBatch)

Facultatif. Configuration du lot SparkR.
sparkSqlBatch

object (SparkSqlBatch)

Facultatif. Configuration de lot SparkSql.

PySparkBatch

Configuration permettant d'exécuter une charge de travail par lot Apache PySpark.

Représentation JSON 
{
  "mainPythonFileUri": string,
  "args": [
    string
  ],
  "pythonFileUris": [
    string
  ],
  "jarFileUris": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ]
}
Champs
mainPythonFileUri

string

Obligatoire. URI HCFS du fichier Python principal à utiliser comme pilote Spark. Il doit s'agir d'un fichier .py.
args[]

string

Facultatif. Arguments à transmettre au pilote. N'incluez pas d'arguments pouvant être définis comme des propriétés de lot, tels que --conf, car une collision peut se produire, ce qui entraîne une soumission de lot incorrecte.
pythonFileUris[]

string

Facultatif. URI de fichier HCFS des fichiers Python à transmettre au framework PySpark. Types de fichiers compatibles: .py, .egg et .zip
jarFileUris[]

string

Facultatif. URI HCFS des fichiers JAR à ajouter au classpath du pilote et des tâches Spark.
fileUris[]

string

Facultatif. URI HCFS des fichiers à placer dans le répertoire de travail de chaque exécuteur.
archiveUris[]

string

Facultatif. URI HCFS des archives à extraire dans le répertoire de travail de chaque exécuteur. Types de fichiers compatibles: .jar, .tar, .tar.gz, .tgz et .zip

SparkBatch

Configuration permettant d'exécuter une charge de travail par lot Apache Spark.

Représentation JSON 
{
  "args": [
    string
  ],
  "jarFileUris": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ],

  // Union field driver can be only one of the following:
  "mainJarFileUri": string,
  "mainClass": string
  // End of list of possible types for union field driver.
}
Champs
args[]

string

Facultatif. Arguments à transmettre au pilote. N'incluez pas d'arguments pouvant être définis comme des propriétés de lot, tels que --conf, car une collision peut se produire, ce qui entraîne une soumission de lot incorrecte.
jarFileUris[]

string

Facultatif. URI HCFS des fichiers JAR à ajouter au classpath du pilote et des tâches Spark.
fileUris[]

string

Facultatif. URI HCFS des fichiers à placer dans le répertoire de travail de chaque exécuteur.
archiveUris[]

string

Facultatif. URI HCFS des archives à extraire dans le répertoire de travail de chaque exécuteur. Types de fichiers compatibles: .jar, .tar, .tar.gz, .tgz et .zip
Champ d'union driver. Spécification de la méthode principale à appeler pour piloter la charge de travail Spark. Spécifiez le fichier JAR contenant la classe principale ou le nom de la classe principale. Pour transmettre à la fois un fichier JAR principal et une classe principale dans ce fichier JAR, ajoutez le fichier JAR à jar_file_uris, puis spécifiez le nom de la classe principale dans main_class. driver ne peut être qu'un des éléments suivants:
mainJarFileUri

string

Facultatif. URI HCFS du fichier JAR contenant la classe principale.
mainClass

string

Facultatif. Nom de la classe principale du pilote. Le fichier JAR contenant la classe doit se trouver dans le chemin d'accès aux classes ou être spécifié dans jarFileUris.

SparkRBatch

Configuration permettant d'exécuter une charge de travail par lot Apache SparkR.

Représentation JSON 
{
  "mainRFileUri": string,
  "args": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ]
}
Champs
mainRFileUri

string

Obligatoire. URI HCFS du fichier R principal à utiliser comme pilote. Doit être un fichier .R ou .r.
args[]

string

Facultatif. Arguments à transmettre au pilote Spark. N'incluez pas d'arguments pouvant être définis comme des propriétés de lot, tels que --conf, car une collision peut se produire, ce qui entraîne une soumission de lot incorrecte.
fileUris[]

string

Facultatif. URI HCFS des fichiers à placer dans le répertoire de travail de chaque exécuteur.
archiveUris[]

string

Facultatif. URI HCFS des archives à extraire dans le répertoire de travail de chaque exécuteur. Types de fichiers compatibles: .jar, .tar, .tar.gz, .tgz et .zip

SparkSqlBatch

Configuration permettant d'exécuter des requêtes Apache Spark SQL en tant que charge de travail par lot.

Représentation JSON 
{
  "queryFileUri": string,
  "queryVariables": {
    string: string,
    ...
  },
  "jarFileUris": [
    string
  ]
}
Champs
queryFileUri

string

Obligatoire. URI HCFS du script contenant les requêtes SQL Spark à exécuter.
queryVariables

map (key: string, value: string)

Facultatif. Mappage des noms de variables de requête sur des valeurs (équivalent à la commande Spark SQL: SET name="value";).

Objet contenant une liste de paires "key": value. Exemple : { "name": "wrench", "mass": "1.3kg", "count": "3" }.
jarFileUris[]

string

Facultatif. URI HCFS des fichiers JAR à ajouter au CLASSPATH Spark.

État

État du lot.

Enums
STATE_UNSPECIFIED L'état du lot est inconnu.
PENDING Le lot est créé avant d'être exécuté.
RUNNING Le lot est en cours d'exécution.
CANCELLING Le lot est en cours d'annulation.
CANCELLED La résiliation par lot a bien été effectuée.
SUCCEEDED Le lot a bien été exécuté.
FAILED Le lot n'est plus en cours d'exécution en raison d'une erreur.

StateHistory

Informations sur l'état historique.

Représentation JSON 
{
  "state": enum (State),
  "stateMessage": string,
  "stateStartTime": string
}
Champs
state

enum (State)

Uniquement en sortie. État du lot à ce stade de l'historique.
stateMessage

string

Uniquement en sortie. Informations sur l'état à ce stade de l'historique.
stateStartTime

string (Timestamp format)

Uniquement en sortie. Heure à laquelle le lot est passé à l'état "Historique".

Horodatage au format RFC3339 UTC "Zulu", avec une résolution de l'ordre de la nanoseconde et jusqu'à neuf chiffres décimaux. Exemples : "2014-10-02T15:01:23Z" et "2014-10-02T15:01:23.045123456Z".

Méthodes

create

 Crée une charge de travail par lots qui s'exécute de manière asynchrone.

delete

 Supprime la ressource de charge de travail par lot.

get

 Récupère la représentation de la ressource de charge de travail par lot.

list

 Répertorie les charges de travail par lot.