Invia un job Spark utilizzando un modello

Questa pagina mostra come utilizzare un modello di Explorer API di Google per eseguire un semplice job Spark su un cluster Dataproc esistente.

Per altri modi per inviare un job a un cluster Dataproc, consulta:

Prima di iniziare

Prima di poter eseguire un job Dataproc, devi creare un cluster di una o più macchine virtuali (VM) su cui eseguirlo. Per creare un cluster, puoi utilizzare API Explorer, la Google Cloud console, la CLI gcloud o lo strumento a riga di comando gcloud oppure le iniziazioni rapide con le librerie client di Cloud.

Invia un job

Per inviare un job Apache Spark di esempio che calcola un valore approssimativo per pi, compila ed esegui il modello Prova questa API di Explorer API di Google.

  1. Parametri di richiesta:

    1. Inserisci il tuo projectId.
    2. Specifica la regione in cui si trova il tuo cluster (conferma o sostituisci "us-central1"). La regione del cluster è elencata nella pagina Cluster di Dataproc nella consoleGoogle Cloud .

  2. Corpo della richiesta:

    1. job.placement.clusterName: Il nome del cluster in cui verrà eseguito il job (conferma o sostituisci "example-cluster").
    2. job.sparkJob.args: "1000", il numero di attività del job.
    3. job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". Si tratta del percorso del file locale sul nodo principale del cluster Dataproc dove è installato il file jar contenente il codice del job Spark Scala.
    4. job.sparkJob.mainClass: "org.apache.spark.examples.SparkPi". Questo è il metodo principale dell'applicazione Scala per il calcolo del valore di pi greco del job.

  3. Fai clic su EXECUTE (ESEGUI). La prima volta che esegui il modello di API, potrebbe esserti chiesto di scegliere e accedere al tuo Account Google, quindi di autorizzare Google APIs Explorer ad accedere al tuo account. Se la richiesta riesce, la risposta JSON mostra che la richiesta di invio del job è in attesa.

  4. Per visualizzare l'output del job, apri la pagina Job Dataproc nella console, quindi fai clic sull'ID job in alto (più recente). Google Cloud Fai clic su "A capo automatico" per attivare la visualizzazione delle righe che superano il margine destro.

    ...
Pi is roughly 3.141804711418047
...

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate su questa pagina, segui questi passaggi.

  1. Se non hai bisogno del cluster per esplorare le altre guide rapide o per eseguire altri job, utilizza Explorer API, la consoleGoogle Cloud , l'interfaccia a riga di comando gcloud o le librerie client Cloud per eliminare il cluster.

Passaggi successivi