Esegui un carico di lavoro batch Apache Spark

Scopri come utilizzare Dataproc Serverless per inviare un carico di lavoro batch su un'infrastruttura di calcolo gestita da Dataproc che scala le risorse in base alle esigenze.

Prima di iniziare

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataproc API.

   Enable the API

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Dataproc API.

   Enable the API

Invia un carico di lavoro batch Spark

Puoi utilizzare la Google Cloud console, Google Cloud CLI o l'API Dataproc Serverless per creare e inviare un carico di lavoro batch Dataproc Serverless per Spark.

Console

1. Nella Google Cloud console, vai a Batch Dataproc.

2. Fai clic su Crea.

3. Invia un carico di lavoro batch Spark che calcola il valore approssimativo di pi greco selezionando e compilando i seguenti campi:

   • Informazioni sul batch:
     • ID batch: specifica un ID per il carico di lavoro batch. Questo valore deve contenere da 4 a 63 caratteri in minuscolo. I caratteri validi sono /[a-z][0-9]-/.
     • Regione: seleziona una regione in cui verrà eseguito il tuo workload.
   • Contenitore:
     • Tipo di batch: Spark.
     • Versione del runtime: è selezionata la versione del runtime predefinita. Se vuoi, puoi specificare una versione del runtime Dataproc Serverless non predefinita.
     • Classe principale:

       org.apache.spark.examples.SparkPi

     • File JAR (questo file è preinstallato nell'ambiente di esecuzione Spark di Dataproc Serverless).

       file:///usr/lib/spark/examples/jars/spark-examples.jar

     • Argomenti: 1000.
   • Configurazione esecuzione:puoi specificare un account di servizio da utilizzare per eseguire il tuo carico di lavoro. Se non specifichi un account di servizio, il carico di lavoro viene eseguito con l'account di servizio predefinito di Compute Engine. Il tuo account di servizio deve avere il ruolo Dataproc Worker.
   • Configurazione di rete:seleziona una subnet nella regione della sessione. Dataproc Serverless abilita l'accesso privato Google (PGA) sulla subnet specificata. Per i requisiti di connettività di rete, consulta Configurazione di rete di Dataproc Serverless per Spark.
   • Proprietà: inserisci Key (nome della proprietà) e Value delle proprietà Spark supportate da impostare sul carico di lavoro batch Spark. Nota: a differenza delle proprietà dei cluster di Dataproc su Compute Engine, le proprietà del carico di lavoro di Dataproc Serverless per Spark non includono un prefisso spark:.
   • Altre opzioni:
     • Puoi configurare il carico di lavoro batch in modo da utilizzare un Hive Metastore autogestito esterno.
     • Puoi utilizzare un server di cronologia permanente (PHS). Il PHS deve trovarsi nella regione in cui esegui i workload batch.

4. Fai clic su Invia per eseguire il carico di lavoro batch Spark.

gcloud

Per inviare un carico di lavoro batch di Spark per calcolare il valore approssimativo di pi, esegui il seguente comando gcloud CLI gcloud dataproc batches submit spark in locale in una finestra del terminale o in Cloud Shell.

gcloud dataproc batches submit spark \
    --region=REGION \
    --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
    --class=org.apache.spark.examples.SparkPi \
    -- 1000

Sostituisci quanto segue:

• REGION: Specifica la regione in cui verrà eseguito il tuo workload.
• Altre opzioni:puoi aggiungere parametri gcloud dataproc batches submit spark per specificare altre opzioni di carico di lavoro e proprietà Spark.
  • --jars: il file JAR di esempio è preinstallato nell'ambiente di esecuzione Spark. L'argomento del comando 1000 passato al carico di lavoro SparkPi specifica 1000 iterazioni della logica di stima del pi (gli argomenti di input del carico di lavoro sono inclusi dopo "-- ").
  • --subnet: puoi aggiungere questo flag per specificare il nome di una subnet nella regione della sessione. Se non specifichi una subnet, Dataproc Serverless seleziona la subnet default nella regione della sessione. Dataproc Serverless abilita l'accesso privato Google (PGA) sulla subnet. Per i requisiti di connettività di rete, consulta Configurazione di rete di Dataproc Serverless per Spark.
  • --properties: puoi aggiungere questo flag per inserire proprietà Spark supportate da utilizzare per il carico di lavoro batch Spark.
  • --deps-bucket: puoi aggiungere questo flag per specificare un bucket Cloud Storage in cui Dataproc Serverless carica le dipendenze del carico di lavoro. Il prefisso URI gs:// del bucket non è obbligatorio; puoi specificare il percorso o il nome del bucket. Prima di eseguire il carico di lavoro batch, Dataproc Serverless per Spark carica i file locali in una cartella /dependencies nel bucket. Nota: questo flag è obbligatorio se il tuo workload batch fa riferimento a file sul tuo computer locale.
  • --ttl: puoi aggiungere il --ttl flag per specificare la durata del lifetime del batch. Quando il carico di lavoro supera questa durata, viene terminato incondizionatamente senza attendere il completamento del lavoro in corso. Specifica la durata utilizzando un suffisso s, m, h o d (secondi, minuti, ore o giorni). Il valore minimo è 10 minuti (10m) e il valore massimo è 14 giorni (14d).
    • Esecuzioni batch di runtime 1.1 o 2.0: se non viene specificato --ttl per un carico di lavoro batch di runtime 1.1 o 2.0, il carico di lavoro può essere eseguito fino all'uscita naturale (o per sempre se non esce).
    • Esecuzioni batch di runtime 2.1 e versioni successive: se non viene specificato --ttl per un carico di lavoro batch di runtime 2.1 o versioni successive, il valore predefinito è 4h.
  • --service-account: puoi specificare un account di servizio da utilizzare per eseguire il tuo carico di lavoro. Se non specifichi un account di servizio, il carico di lavoro viene eseguito con l'account di servizio predefinito di Compute Engine. Il tuo account di servizio deve avere il ruolo Dataproc Worker.
  • Metastore Hive: il seguente comando configura un carico di lavoro batch per utilizzare un metastore Hive autogestito esterno utilizzando una configurazione Spark standard.

    gcloud dataproc batches submit spark\
        --properties=spark.sql.catalogImplementation=hive,spark.hive.metastore.uris=METASTORE_URI,spark.hive.metastore.warehouse.dir=WAREHOUSE_DIR> \
        other args ...
            

  • Server di cronologia permanente:
    1. Il seguente comando crea un PHS su un cluster Dataproc con un solo nodo. La PHS deve trovarsi nella regione in cui esegui i carichi di lavoro batch e deve essere presente il bucket-name Cloud Storage.

       gcloud dataproc clusters create PHS_CLUSTER_NAME \
           --region=REGION \
           --single-node \
           --enable-component-gateway \
           --properties=spark:spark.history.fs.logDirectory=gs://bucket-name/phs/*/spark-job-history
                    

    2. Invia un carico di lavoro batch specificando il server di cronologia permanente in esecuzione.

       gcloud dataproc batches submit spark \
           --region=REGION \
           --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
           --class=org.apache.spark.examples.SparkPi \
           --history-server-cluster=projects/project-id/regions/region/clusters/PHS-cluster-name \
           -- 1000
                     

  • Versione del runtime: utilizza il flag --version per specificare la versione del runtime Dataproc Serverless per il carico di lavoro.

    gcloud dataproc batches submit spark \
        --region=REGION \
        --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
        --class=org.apache.spark.examples.SparkPi \
        --version=VERSION
        -- 1000
                

API

Questa sezione mostra come creare un carico di lavoro batch per calcolare il valore approssimativo di pi utilizzando Dataproc Serverless per Spark batches.create.

Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

• project-id: un ID progetto Google Cloud .
• region: una regione Compute Engine in cui Dataproc Serverless eseguirà il carico di lavoro.

Note:

• PROJECT_ID: il tuo ID progetto Google Cloud . Gli ID progetto sono elencati nella sezione Informazioni sul progetto della Google Cloud dashboard della console.
• REGION: la regione della sessione.

Metodo HTTP e URL:

POST https://dataproc.googleapis.com/v1/projects/project-id/locations/region/batches

Corpo JSON della richiesta:

{
  "sparkBatch":{
    "args":[
      "1000"
    ],
    "jarFileUris":[
      "file:///usr/lib/spark/examples/jars/spark-examples.jar"
    ],
    "mainClass":"org.apache.spark.examples.SparkPi"
  }
}

Per inviare la richiesta, espandi una di queste opzioni:

curl (Linux, macOS o Cloud Shell)

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataproc.googleapis.com/v1/projects/project-id/locations/region/batches"

PowerShell (Windows)

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataproc.googleapis.com/v1/projects/project-id/locations/region/batches" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente:

{
"name":"projects/project-id/locations/region/batches/batch-id",
  "uuid":",uuid",
  "createTime":"2021-07-22T17:03:46.393957Z",
  "sparkBatch":{
    "mainClass":"org.apache.spark.examples.SparkPi",
    "args":[
      "1000"
    ],
    "jarFileUris":[
      "file:///usr/lib/spark/examples/jars/spark-examples.jar"
    ]
  },
  "runtimeInfo":{
    "outputUri":"gs://dataproc-.../driveroutput"
  },
  "state":"SUCCEEDED",
  "stateTime":"2021-07-22T17:06:30.301789Z",
  "creator":"account-email-address",
  "runtimeConfig":{
    "properties":{
      "spark:spark.executor.instances":"2",
      "spark:spark.driver.cores":"2",
      "spark:spark.executor.cores":"2",
      "spark:spark.app.name":"projects/project-id/locations/region/batches/batch-id"
    }
  },
  "environmentConfig":{
    "peripheralsConfig":{
      "sparkHistoryServerConfig":{
      }
    }
  },
  "operation":"projects/project-id/regions/region/operation-id"
}

Stima i costi del workload

I carichi di lavoro di Dataproc Serverless per Spark consumano unità di calcolo dei dati (DCU) e risorse di archiviazione per lo shuffling. Per un esempio che genera UsageMetrics di Dataproc per stimare i costi e il consumo delle risorse del workload, consulta Prezzi di Dataproc Serverless.

Passaggi successivi

Scopri di più su:

• Quote di Dataproc Serverless
• Proprietà Spark