Menjalankan workload batch Apache Spark

Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Konsol

1. Di konsol Google Cloud, buka Dataproc Batches.

2. Klik Buat.

3. Kirimkan workload batch Spark yang menghitung perkiraan nilai pi dengan memilih dan mengisi kolom berikut:

   • Info Batch:
     • ID Batch: Tentukan ID untuk workload batch Anda. Nilai ini harus berupa 4-63 karakter huruf kecil. Karakter yang valid adalah /[a-z][0-9]-/.
     • Region: Pilih region tempat beban kerja Anda akan berjalan.
   • Penampung:
     • Jenis batch: Spark.
     • Versi runtime: Versi runtime default dipilih. Secara opsional, Anda dapat menentukan versi runtime Dataproc Serverless non-default.
     • Class utama:

       org.apache.spark.examples.SparkPi

     • File jar (file ini telah diprainstal di lingkungan eksekusi Dataproc Serverless Spark).

       file:///usr/lib/spark/examples/jars/spark-examples.jar

     • Argumen: 1000.
   • Konfigurasi Eksekusi: Anda dapat menentukan akun layanan yang akan digunakan untuk menjalankan beban kerja. Jika Anda tidak menentukan akun layanan, beban kerja akan berjalan di bawah akun layanan default Compute Engine. Akun layanan Anda harus memiliki peran Dataproc Worker.
   • Konfigurasi jaringan: Pilih subnetwork di region sesi. Dataproc Serverless mengaktifkan Akses Google Pribadi (PGA) di subnet yang ditentukan. Untuk persyaratan konektivitas jaringan, lihat Dataproc Serverless untuk konfigurasi jaringan Spark.
   • Properties: Masukkan Key (nama properti) dan Value dari properti Spark yang didukung untuk ditetapkan pada beban kerja batch Spark Anda. Catatan: Tidak seperti properti cluster Dataproc di Compute Engine, properti workload Dataproc Serverless untuk Spark tidak menyertakan awalan spark:.
   • Opsi lain:
     • Anda dapat mengonfigurasi beban kerja batch untuk menggunakan Hive Metastore eksternal yang dikelola sendiri.
     • Anda dapat menggunakan Persistent History Server (PHS). PHS harus berada di region tempat Anda menjalankan workload batch.

4. Klik Kirim untuk menjalankan beban kerja batch Spark.

gcloud

Untuk mengirimkan beban kerja batch Spark guna menghitung perkiraan nilai pi, jalankan perintah gcloud dataproc batches submit spark gcloud CLI berikut secara lokal di jendela terminal atau di Cloud Shell.

gcloud dataproc batches submit spark \
    --region=REGION \
    --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
    --class=org.apache.spark.examples.SparkPi \
    -- 1000

Ganti kode berikut:

• REGION: Tentukan region tempat workload Anda akan berjalan.
• Opsi lainnya: Anda dapat menambahkan flag gcloud dataproc batches submit spark untuk menentukan opsi workload dan properti Spark lainnya.
  • --jars: Contoh file JAR telah diprainstal di lingkungan eksekusi Spark, Argumen perintah 1000 yang diteruskan ke workload SparkPi menentukan 1.000 iterasi logika estimasi pi (argumen input workload disertakan setelah "-- ").
  • --subnet: Anda dapat menambahkan tanda ini untuk menentukan nama subnet di region sesi. Jika Anda tidak menentukan subnet, Dataproc Serverless akan memilih subnet default di region sesi. Dataproc Serverless mengaktifkan Akses Google Pribadi (PGA) di subnet. Untuk persyaratan konektivitas jaringan, lihat Dataproc Serverless untuk konfigurasi jaringan Spark.
  • --properties: Anda dapat menambahkan tanda ini untuk memasukkan properti Spark yang didukung untuk digunakan oleh beban kerja batch Spark Anda.
  • --deps-bucket: Anda dapat menambahkan flag ini untuk menentukan bucket Cloud Storage tempat Dataproc Serverless akan mengupload dependensi beban kerja. Awalan URI gs:// bucket tidak diperlukan; Anda dapat menentukan jalur bucket atau nama bucket. Dataproc Serverless untuk Spark mengupload file lokal ke folder /dependencies di bucket sebelum menjalankan workload batch. Catatan: Flag ini diperlukan jika beban kerja batch Anda mereferensikan file di komputer lokal.
  • --ttl: Anda dapat menambahkan flag --ttl untuk menentukan durasi masa aktif batch. Jika beban kerja melebihi durasi ini, beban kerja akan dihentikan tanpa syarat tanpa menunggu pekerjaan yang sedang berlangsung selesai. Tentukan durasi menggunakan akhiran s, m, h, atau d (detik, menit, jam, atau hari). Nilai minimumnya adalah 10 menit (10m), dan nilai maksimumnya adalah 14 hari (14d).
    • Batch runtime 1.1 atau 2.0: Jika --ttl tidak ditentukan untuk beban kerja batch runtime 1.1 atau 2.0, beban kerja diizinkan untuk berjalan hingga keluar secara alami (atau berjalan selamanya jika tidak keluar).
    • Batch runtime 2.1+: Jika --ttl tidak ditentukan untuk beban kerja batch runtime 2.1 atau yang lebih baru, nilai defaultnya adalah 4h.
  • --service-account: Anda dapat menentukan akun layanan yang akan digunakan untuk menjalankan beban kerja. Jika Anda tidak menentukan akun layanan, beban kerja akan berjalan di bawah akun layanan default Compute Engine. Akun layanan Anda harus memiliki peran Dataproc Worker.
  • Hive Metastore: Perintah berikut mengonfigurasi beban kerja batch untuk menggunakan Hive Metastore mandiri yang dikelola sendiri eksternal menggunakan konfigurasi Spark standar.

    gcloud dataproc batches submit spark\
        --properties=spark.sql.catalogImplementation=hive,spark.hive.metastore.uris=METASTORE_URI,spark.hive.metastore.warehouse.dir=WAREHOUSE_DIR> \
        other args ...
            

  • Server Histori Permanen:
    1. Perintah berikut membuat PHS di cluster Dataproc satu node. PHS harus berada di region tempat Anda menjalankan workload batch, dan bucket-name Cloud Storage harus ada.

       gcloud dataproc clusters create PHS_CLUSTER_NAME \
           --region=REGION \
           --single-node \
           --enable-component-gateway \
           --properties=spark:spark.history.fs.logDirectory=gs://bucket-name/phs/*/spark-job-history
                    

    2. Kirimkan beban kerja batch, dengan menentukan Server Histori Persisten yang sedang berjalan.

       gcloud dataproc batches submit spark \
           --region=REGION \
           --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
           --class=org.apache.spark.examples.SparkPi \
           --history-server-cluster=projects/project-id/regions/region/clusters/PHS-cluster-name \
           -- 1000
                     

  • Versi runtime: Gunakan flag --version untuk menentukan versi runtime Dataproc Serverless untuk beban kerja.

    gcloud dataproc batches submit spark \
        --region=REGION \
        --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
        --class=org.apache.spark.examples.SparkPi \
        --version=VERSION
        -- 1000
                

API

Bagian ini menunjukkan cara membuat beban kerja batch untuk menghitung perkiraan nilai pi menggunakan Dataproc Serverless untuk Spark batches.create`

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• project-id: Google Cloud Project ID.
• region: Region Compute Engine tempat Dataproc Serverless akan menjalankan beban kerja.

Catatan:

• PROJECT_ID: Google Cloud Project ID Anda. Project ID tercantum di bagian Project info di Dasbor konsol Google Cloud.
• REGION: Region sesi.

Metode HTTP dan URL:

POST https://dataproc.googleapis.com/v1/projects/project-id/locations/region/batches

Meminta isi JSON:

{
  "sparkBatch":{
    "args":[
      "1000"
    ],
    "jarFileUris":[
      "file:///usr/lib/spark/examples/jars/spark-examples.jar"
    ],
    "mainClass":"org.apache.spark.examples.SparkPi"
  }
}

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataproc.googleapis.com/v1/projects/project-id/locations/region/batches"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataproc.googleapis.com/v1/projects/project-id/locations/region/batches" | Select-Object -Expand Content

Anda akan melihat respons JSON seperti berikut:

{
"name":"projects/project-id/locations/region/batches/batch-id",
  "uuid":",uuid",
  "createTime":"2021-07-22T17:03:46.393957Z",
  "sparkBatch":{
    "mainClass":"org.apache.spark.examples.SparkPi",
    "args":[
      "1000"
    ],
    "jarFileUris":[
      "file:///usr/lib/spark/examples/jars/spark-examples.jar"
    ]
  },
  "runtimeInfo":{
    "outputUri":"gs://dataproc-.../driveroutput"
  },
  "state":"SUCCEEDED",
  "stateTime":"2021-07-22T17:06:30.301789Z",
  "creator":"account-email-address",
  "runtimeConfig":{
    "properties":{
      "spark:spark.executor.instances":"2",
      "spark:spark.driver.cores":"2",
      "spark:spark.executor.cores":"2",
      "spark:spark.app.name":"projects/project-id/locations/region/batches/batch-id"
    }
  },
  "environmentConfig":{
    "peripheralsConfig":{
      "sparkHistoryServerConfig":{
      }
    }
  },
  "operation":"projects/project-id/regions/region/operation-id"
}