Utilizzo di Dataproc Hub

Obiettivi

  1. Utilizza Dataproc Hub per creare un ambiente di notebook JupyterLab per un solo utente in esecuzione su un cluster Dataproc.

  2. Crea un notebook ed esegui un job Spark sul cluster Dataproc.

  3. Elimina il cluster e conserva il notebook in Cloud Storage.

Prima di iniziare

  1. L'amministratore deve concederti l'autorizzazione notebooks.instances.use (consulta Impostare i ruoli Identity and Access Management (IAM)).

Creare un cluster JupyterLab Dataproc da Dataproc Hub

  1. Seleziona la scheda Notebook gestiti dall'utente nella pagina Dataproc→Workbench nella console Google Cloud.

  2. Fai clic su Apri JupyterLab nella riga che elenca l'istanza Dataproc Hub creata dall'amministratore.

    1. Se non hai accesso alla console Google Cloud, inserisci l'URL dell'istanza Dataproc Hub che un amministratore ha condiviso con te nel browser web.

  3. Nella pagina Jupyterhub→Opzioni Dataproc, seleziona una configurazione e una zona del cluster. Se abilitato, specifica eventuali personalizzazioni, poi fai clic su Crea.

    Dopo aver creato il cluster Dataproc, viene visualizzato un reindirizzamento all'interfaccia JupyterLab in esecuzione sul cluster.

Crea un notebook ed esegui un job Spark

  1. Nel riquadro a sinistra dell'interfaccia di JupyterLab, fai clic su GCS (Cloud Storage).

  2. Crea un notebook PySpark dal programma di avvio JupyterLab.

  3. Il kernel PySpark inizializza un contesto Spark (utilizzando la variabile sc). Puoi esaminare SparkContext ed eseguire un job Spark dal notebook.

    rdd = (sc.parallelize(['lorem', 'ipsum', 'dolor', 'sit', 'amet', 'lorem'])
       .map(lambda word: (word, 1))
       .reduceByKey(lambda a, b: a + b))
print(rdd.collect())

  4. Assegna un nome al blocco note e salvalo. Il notebook viene salvato e rimane in Cloud Storage dopo l'eliminazione del cluster Dataproc.

Spegni il cluster Dataproc

  1. Nell'interfaccia di JupyterLab, seleziona File→Pannello di controllo dell'hub per aprire la pagina Jupyterhub.

  2. Fai clic su Interrompi il mio cluster per arrestare (eliminare) il server JupyterLab, che elimina il cluster Dataproc.

Passaggi successivi