Creare un cluster Dataproc utilizzando gcloud CLI

Questa pagina mostra come utilizzare lo strumento a riga di comando gcloud di Google Cloud CLI per creare un cluster Google Cloud Dataproc, eseguire un semplice job Apache Spark nel cluster, quindi modificare il numero di worker nel cluster.

Puoi scoprire come eseguire le stesse attività o attività simili con le iniziative rapide nell'API Explorer, la console Google Cloud in Creare un cluster Dataproc utilizzando la console Google Cloud e le librerie client in Creare un cluster Dataproc utilizzando le librerie client.

Prima di iniziare

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Dataproc API.

    Enable the API

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the Dataproc API.

    Enable the API

    8.

Crea un cluster

Esegui il comando seguente per creare un cluster denominato example-cluster. Consulta Regioni e zone disponibili per informazioni sulla selezione di una regione (puoi anche eseguire il comando gcloud compute regions list per visualizzare un elenco delle regioni disponibili). Consulta anche Endpoint a livello di regione per saperne di più sugli endpoint a livello di regione.

gcloud dataproc clusters create example-cluster --region=region

La creazione del cluster viene confermata nell'output comando: 

...
Waiting for cluster creation operation...done.
Created [... example-cluster]

Invia un job

Per inviare un job Spark di esempio che calcola il valore approssimativo di pi greco, esegui il seguente comando:

gcloud dataproc jobs submit spark --cluster example-cluster \
    --region=region \
    --class org.apache.spark.examples.SparkPi \
    --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

Questo comando specifica:

  • Che vuoi eseguire un job spark sul cluster example-cluster nella regione specificata
  • Il class contenente il metodo principale per l'applicazione del job che calcola il valore di pi greco.
  • Il percorso del file jar che contiene il codice del job.
  • Eventuali parametri da passare al job. Nel nostro caso, il numero di attività, che è pari a 1000

L'esecuzione del job e l'output finale vengono visualizzati nella finestra del terminale.

Waiting for job output...
...
Pi is roughly 3.14118528
...
Job finished successfully.

Aggiorna un cluster

Per cambiare il numero di worker nel cluster e impostarlo su 5, esegui il comando seguente:

gcloud dataproc clusters update example-cluster \
    --region=region \
    --num-workers 5

I dettagli del cluster vengono visualizzati nell'output del comando:

workerConfig:
...
  instanceNames:
  - example-cluster-w-0
  - example-cluster-w-1
  - example-cluster-w-2
  - example-cluster-w-3
  - example-cluster-w-4
  numInstances: 5
statusHistory:
...
- detail: Add 3 workers.

Per diminuire il numero di nodi worker al valore originale, puoi eseguire lo stesso comando:

gcloud dataproc clusters update example-cluster \
    --region=region \
    --num-workers 2

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

  • Esegui clusters delete per eliminare il cluster di esempio. 
    gcloud dataproc clusters delete example-cluster \
    --region=region
    Ti viene chiesto di confermare che vuoi eliminare il cluster. Digita y per completare l'eliminazione.

Passaggi successivi