REST Resource: projects.locations.batches

Resource: Batch

Representasi beban kerja batch di layanan.

Representasi JSON 
{
  "name": string,
  "uuid": string,
  "createTime": string,
  "runtimeInfo": {
    object (RuntimeInfo)
  },
  "state": enum (State),
  "stateMessage": string,
  "stateTime": string,
  "creator": string,
  "labels": {
    string: string,
    ...
  },
  "runtimeConfig": {
    object (RuntimeConfig)
  },
  "environmentConfig": {
    object (EnvironmentConfig)
  },
  "operation": string,
  "stateHistory": [
    {
      object (StateHistory)
    }
  ],

  // Union field batch_config can be only one of the following:
  "pysparkBatch": {
    object (PySparkBatch)
  },
  "sparkBatch": {
    object (SparkBatch)
  },
  "sparkRBatch": {
    object (SparkRBatch)
  },
  "sparkSqlBatch": {
    object (SparkSqlBatch)
  }
  // End of list of possible types for union field batch_config.
}
Kolom
name

string

Hanya output. Nama resource batch.
uuid

string

Hanya output. UUID batch (ID Unik Universal). Layanan menghasilkan nilai ini saat membuat batch.
createTime

string (Timestamp format)

Hanya output. Waktu saat batch dibuat.

Stempel waktu dalam format RFC3339 UTC "Zulu", dengan resolusi nanodetik dan hingga sembilan digit pecahan. Contoh: "2014-10-02T15:01:23Z" dan "2014-10-02T15:01:23.045123456Z".
runtimeInfo

object (RuntimeInfo)

Hanya output. Informasi runtime tentang eksekusi batch.
state

enum (State)

Hanya output. Status batch.
stateMessage

string

Hanya output. Detail status batch, seperti deskripsi kegagalan jika statusnya FAILED.
stateTime

string (Timestamp format)

Hanya output. Waktu saat batch memasuki status saat ini.

Stempel waktu dalam format RFC3339 UTC "Zulu", dengan resolusi nanodetik dan hingga sembilan digit pecahan. Contoh: "2014-10-02T15:01:23Z" dan "2014-10-02T15:01:23.045123456Z".
creator

string

Hanya output. Alamat email pengguna yang membuat batch.
labels

map (key: string, value: string)

Opsional. Label yang akan dikaitkan dengan batch ini. Kunci label harus berisi 1 hingga 63 karakter, dan harus sesuai dengan RFC 1035. Nilai label dapat kosong, tetapi jika ada, harus berisi 1 hingga 63 karakter, dan harus sesuai dengan RFC 1035. Tidak lebih dari 32 label yang dapat dikaitkan dengan batch.

Objek yang berisi daftar pasangan "key": value. Contoh: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
runtimeConfig

object (RuntimeConfig)

Opsional. Konfigurasi runtime untuk eksekusi batch.
environmentConfig

object (EnvironmentConfig)

Opsional. Konfigurasi lingkungan untuk eksekusi batch.
operation

string

Hanya output. Nama resource operasi yang terkait dengan batch ini.
stateHistory[]

object (StateHistory)

Hanya output. Informasi status historis untuk batch.
Kolom union batch_config. Bagian konfigurasi batch khusus aplikasi/framework. batch_config hanya ada berupa salah satu diantara berikut:
pysparkBatch

object (PySparkBatch)

Opsional. Konfigurasi batch PySpark.
sparkBatch

object (SparkBatch)

Opsional. Konfigurasi batch Spark.
sparkRBatch

object (SparkRBatch)

Opsional. Konfigurasi batch SparkR.
sparkSqlBatch

object (SparkSqlBatch)

Opsional. Konfigurasi batch SparkSql.

PySparkBatch

Konfigurasi untuk menjalankan beban kerja batch Apache PySpark.

Representasi JSON 
{
  "mainPythonFileUri": string,
  "args": [
    string
  ],
  "pythonFileUris": [
    string
  ],
  "jarFileUris": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ]
}
Kolom
mainPythonFileUri

string

Wajib. URI HCFS dari file Python utama yang akan digunakan sebagai driver Spark. Harus berupa file .py.
args[]

string

Opsional. Argumen yang akan diteruskan ke driver. Jangan sertakan argumen yang dapat ditetapkan sebagai properti batch, seperti --conf, karena dapat terjadi tabrakan yang menyebabkan pengiriman batch salah.
pythonFileUris[]

string

Opsional. URI file HCFS dari file Python yang akan diteruskan ke framework PySpark. Jenis file yang didukung: .py, .egg, dan .zip.
jarFileUris[]

string

Opsional. URI HCFS file jar yang akan ditambahkan ke classpath driver dan tugas Spark.
fileUris[]

string

Opsional. URI HCFS file yang akan ditempatkan di direktori kerja setiap eksekutor.
archiveUris[]

string

Opsional. URI HCFS arsip yang akan diekstrak ke direktori kerja setiap eksekutor. Jenis file yang didukung: .jar, .tar, .tar.gz, .tgz, dan .zip.

SparkBatch

Konfigurasi untuk menjalankan beban kerja batch Apache Spark.

Representasi JSON 
{
  "args": [
    string
  ],
  "jarFileUris": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ],

  // Union field driver can be only one of the following:
  "mainJarFileUri": string,
  "mainClass": string
  // End of list of possible types for union field driver.
}
Kolom
args[]

string

Opsional. Argumen yang akan diteruskan ke driver. Jangan sertakan argumen yang dapat ditetapkan sebagai properti batch, seperti --conf, karena dapat terjadi tabrakan yang menyebabkan pengiriman batch salah.
jarFileUris[]

string

Opsional. URI HCFS file jar yang akan ditambahkan ke classpath driver dan tugas Spark.
fileUris[]

string

Opsional. URI HCFS file yang akan ditempatkan di direktori kerja setiap eksekutor.
archiveUris[]

string

Opsional. URI HCFS arsip yang akan diekstrak ke direktori kerja setiap eksekutor. Jenis file yang didukung: .jar, .tar, .tar.gz, .tgz, dan .zip.
Kolom union driver. Spesifikasi metode utama yang akan dipanggil untuk mendorong beban kerja Spark. Tentukan file jar yang berisi class utama atau nama class utama. Untuk meneruskan jar utama dan class utama dalam jar tersebut, tambahkan jar ke jar_file_uris, lalu tentukan nama class utama di main_class. driver hanya dapat berupa salah satu dari hal berikut:
mainJarFileUri

string

Opsional. URI HCFS file jar yang berisi class utama.
mainClass

string

Opsional. Nama class utama driver. File jar yang berisi class harus berada di classpath atau ditentukan di jarFileUris.

SparkRBatch

Konfigurasi untuk menjalankan beban kerja batch Apache SparkR.

Representasi JSON 
{
  "mainRFileUri": string,
  "args": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ]
}
Kolom
mainRFileUri

string

Wajib. URI HCFS file R utama yang akan digunakan sebagai driver. Harus berupa file .R atau .r.
args[]

string

Opsional. Argumen yang akan diteruskan ke driver Spark. Jangan sertakan argumen yang dapat ditetapkan sebagai properti batch, seperti --conf, karena dapat terjadi tabrakan yang menyebabkan pengiriman batch salah.
fileUris[]

string

Opsional. URI HCFS file yang akan ditempatkan di direktori kerja setiap eksekutor.
archiveUris[]

string

Opsional. URI HCFS arsip yang akan diekstrak ke direktori kerja setiap eksekutor. Jenis file yang didukung: .jar, .tar, .tar.gz, .tgz, dan .zip.

SparkSqlBatch

Konfigurasi untuk menjalankan kueri Apache Spark SQL sebagai beban kerja batch.

Representasi JSON 
{
  "queryFileUri": string,
  "queryVariables": {
    string: string,
    ...
  },
  "jarFileUris": [
    string
  ]
}
Kolom
queryFileUri

string

Wajib. URI HCFS skrip yang berisi kueri Spark SQL yang akan dieksekusi.
queryVariables

map (key: string, value: string)

Opsional. Pemetaan nama variabel kueri ke nilai (setara dengan perintah Spark SQL: SET name="value";).

Objek yang berisi daftar pasangan "key": value. Contoh: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
jarFileUris[]

string

Opsional. URI HCFS file jar yang akan ditambahkan ke CLASSPATH Spark.

Negara bagian/Provinsi

Status batch.

Enum
STATE_UNSPECIFIED Status batch tidak diketahui.
PENDING Batch dibuat sebelum dijalankan.
RUNNING Batch sedang berjalan.
CANCELLING Batch dibatalkan.
CANCELLED Pembatalan batch berhasil.
SUCCEEDED Batch berhasil diselesaikan.
FAILED Batch tidak lagi berjalan karena error.

StateHistory

Informasi status historis.

Representasi JSON 
{
  "state": enum (State),
  "stateMessage": string,
  "stateStartTime": string
}
Kolom
state

enum (State)

Hanya output. Status batch pada titik ini dalam histori.
stateMessage

string

Hanya output. Detail tentang status pada titik ini dalam histori.
stateStartTime

string (Timestamp format)

Hanya output. Waktu saat batch memasuki status historis.

Stempel waktu dalam format RFC3339 UTC "Zulu", dengan resolusi nanodetik dan hingga sembilan digit pecahan. Contoh: "2014-10-02T15:01:23Z" dan "2014-10-02T15:01:23.045123456Z".

Metode

create

 Membuat workload batch yang dieksekusi secara asinkron.

delete

 Menghapus resource workload batch.

get

 Mendapatkan representasi resource workload batch.

list

 Mencantumkan workload batch.