Crea un cluster Dataproc utilizzando la Google Cloud console

Questa pagina mostra come utilizzare la console Google Cloud per creare un cluster Dataproc, eseguire un job Apache Spark di base nel cluster e quindi modificare il numero di worker nel cluster.

Per seguire le indicazioni dettagliate per questa attività direttamente nella Google Cloud console, fai clic su Procedura guidata:

Procedura guidata

Prima di iniziare

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Dataproc API.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the Dataproc API.

    Enable the API

    8.

Crea un cluster

  1. Nella console Google Cloud , vai alla pagina Cluster di Dataproc.

    Vai a Cluster

  2. Fai clic su Crea cluster.

  3. Nella finestra di dialogo Crea cluster Dataproc, fai clic su Crea nella riga Cluster su Compute Engine.

  4. Nel campo Nome cluster, inserisci example-cluster.

  5. Negli elenchi Regione e Zona, seleziona una regione e una zona.

    Seleziona una regione (ad esempio us-east1 o europe-west1) per isolare le risorse, come le istanze di macchine virtuali (VM) e le posizioni di archiviazione di Cloud Storage e dei metadati utilizzate da Dataproc, nella regione. Per saperne di più, consulta Regioni e zone disponibili e Endpoint regionali.

  6. Per tutte le altre opzioni, utilizza le impostazioni predefinite.

  7. Per creare il cluster, fai clic su Crea.

    Il nuovo cluster viene visualizzato in un elenco nella pagina Cluster. Lo stato è Provisioning in corso fino a quando il cluster non è pronto per essere utilizzato, dopodiché lo stato passa a In esecuzione. Il provisioning del cluster potrebbe richiedere un paio di minuti.

Invia un job Spark

Invia un job Spark che stima un valore di Pi:

  1. Nel menu di navigazione di Dataproc, fai clic su Job.

  2. Nella pagina Job, fai clic su Invia job, quindi esegui le seguenti operazioni:

    1. Nel campo ID job, utilizza l'impostazione predefinita o fornisci un ID univoco per il tuo progetto Google Cloud .
    2. Nel menu a discesa Cluster, seleziona example-cluster.
    3. Per Tipo di job, seleziona Spark.
    4. Nel campo Classe principale o jar, inserisci org.apache.spark.examples.SparkPi.
    5. Nel campo File jar, inserisci file:///usr/lib/spark/examples/jars/spark-examples.jar.

    6. Nel campo Argomenti, inserisci 1000 per impostare il numero di attività.

    7. Fai clic su Invia.

      Il job viene visualizzato nella pagina Dettagli job. Lo stato del job è In esecuzione o In fase di avvio, quindi cambia in Riuscito dopo l'invio.

      Per evitare lo scorrimento nell'output, fai clic su A capo: off. L'output è simile al seguente:

      Pi is roughly 3.1416759514167594

      Per visualizzare i dettagli del job, fai clic sulla scheda Configurazione.

Aggiorna un cluster

Aggiorna il cluster modificando il numero di istanze worker:

  1. Nel menu di navigazione di Dataproc, fai clic su Cluster.
  2. Nell'elenco dei cluster, fai clic su example-cluster.

  3. Nella pagina Dettagli cluster, fai clic sulla scheda Configurazione.

    Vengono visualizzate le impostazioni del cluster.

  4. Fai clic su Modifica.

  5. Nel campo Nodi worker, inserisci 5.

  6. Fai clic su Salva.

Ora il cluster è aggiornato. Per diminuire il numero di nodi worker fino al valore originale, segui la stessa procedura.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

  1. Per eliminare il cluster, nella pagina Dettagli cluster per example-cluster, fai clic su Elimina.
  2. Fai clic su Elimina per confermare l'eliminazione del cluster.

Passaggi successivi