Autenticazione cluster personale Dataproc

Quando crei un cluster Dataproc, puoi abilitare l'autenticazione cluster personale di Dataproc per consentire l'esecuzione sicura dei carichi di lavoro interattivi sul cluster con la tua identità utente. Ciò significa che le interazioni con altre risorse Google Cloud come Cloud Storage verranno autenticate come tue anziché come account di servizio del cluster.

Considerazioni

• Quando crei un cluster con l'autenticazione cluster personale abilitata, il cluster sarà utilizzabile solo dalla tua identità. Gli altri utenti non potranno eseguire job sul cluster o accedere agli endpoint di Component Gateway sul cluster.

• I cluster con l'autenticazione cluster personale abilitata bloccano l'accesso SSH e le funzionalità di Compute Engine come gli script di avvio su tutte le VM del cluster.

• I cluster con l'autenticazione cluster personale abilitata attivano e configurano automaticamente Kerberos sul cluster per una comunicazione intracluster sicura. Tuttavia, tutte le identità Kerberos sul cluster interagiranno con le risorse come lo stesso utente. Google Cloud

• I cluster con l'autenticazione cluster personale abilitata non supportano le immagini personalizzate.

• L'autenticazione cluster personale di Dataproc non supporta i flussi di lavoro Dataproc.

• L'autenticazione cluster personale di Dataproc è destinata solo ai job interattivi eseguiti da un singolo utente (persona). I job e le operazioni a lunga esecuzione devono configurare e utilizzare un'identità account di servizio appropriata.

• Le credenziali propagate vengono ridotte con un limite di accesso alle credenziali. Il limite di accesso predefinito è limitato alla lettura e alla scrittura di oggetti Cloud Storage nei bucket Cloud Storage di proprietà dello stesso progetto che contiene il cluster. Puoi definire un limite di accesso non predefinito quando enable_an_interactive_session.

• L'autenticazione cluster personale di Dataproc utilizza gli attributi guest di Compute Engine. Se la funzionalità degli attributi ospite è disattivata, l'autenticazione del cluster personale non andrà a buon fine.

Obiettivi

• Crea un cluster Dataproc con l'autenticazione cluster personale Dataproc abilitata.

• Avvia la propagazione delle credenziali al cluster.

• Utilizza un notebook Jupyter sul cluster per eseguire job Spark che si autenticano con le tue credenziali.

Prima di iniziare

Crea un progetto

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Enable the API

Install the Google Cloud CLI.

If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

To initialize the gcloud CLI, run the following command:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Enable the API

Install the Google Cloud CLI.

If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

To initialize the gcloud CLI, run the following command:

gcloud init

Configura l'ambiente

Configura l'ambiente da Cloud Shell o da un terminale locale:

Cloud Shell

1. Avvia una sessione di Cloud Shell.

Terminale locale

1. Esegui gcloud auth login per ottenere credenziali utente valide.

Crea un cluster e attiva una sessione interattiva

1. Trova l'indirizzo email del tuo account attivo in gcloud.

   gcloud auth list --filter=status=ACTIVE --format="value(account)"
   

2. Creare un cluster.

   gcloud dataproc clusters create CLUSTER_NAME \
       --properties=dataproc:dataproc.personal-auth.user=your-email-address \
       --enable-component-gateway \
       --optional-components=JUPYTER \
       --region=REGION
   

3. Abilita una sessione di propagazione delle credenziali per il cluster per iniziare a utilizzare le tue credenziali personali quando interagisci con le risorse Google Cloud.

   gcloud dataproc clusters enable-personal-auth-session \
       --region=REGION \
       CLUSTER_NAME
   

   Esempio di output:

   Injecting initial credentials into the cluster CLUSTER_NAME...done.
   Periodically refreshing credentials for cluster CLUSTER_NAME. This will continue running until the command is interrupted...
   

   1. Esempio di limite di accesso con ambito ridotto: Il seguente esempio attiva una sessione di autenticazione personale più restrittiva rispetto al limite di accesso predefinito delle credenziali con ambito ridotto. Limita l'accesso al bucket di staging del cluster Dataproc (per ulteriori informazioni, consulta la sezione Riduzione dell'ambito mediante confini per l'accesso con credenziali ).

       gcloud dataproc clusters enable-personal-auth-session \
          --project=PROJECT_ID \
          --region=REGION \
          --access-boundary=<(echo -n "{ \
       \"access_boundary\": { \
          \"accessBoundaryRules\": [{ \
             \"availableResource\": \"//storage.googleapis.com/projects/_/buckets/$(gcloud dataproc clusters describe --project=PROJECT_ID --region=REGION CLUSTER_NAME --format="value(config.configBucket)")\", \
             \"availablePermissions\": [ \
             \"inRole:roles/storage.objectViewer\", \
             \"inRole:roles/storage.objectCreator\", \
             \"inRole:roles/storage.objectAdmin\", \
             \"inRole:roles/storage.legacyBucketReader\" \
             ] \
          }] \
       } \
       }") \
          CLUSTER_NAME
      

4. Mantieni il comando in esecuzione e passa a una nuova scheda di Cloud Shell o a una nuova sessione del terminale. Il client aggiornerà le credenziali durante l'esecuzione del comando.

5. Digita Ctrl-C per terminare la sessione.

Accedere a Jupyter sul cluster

gcloud

1. Recupera i dettagli del cluster.

   gcloud dataproc clusters describe CLUSTER_NAME --region=REGION
   

   L'URL dell'interfaccia web di Jupyter è elencato nei dettagli del cluster.

   ...
   JupyterLab: https://UUID-dot-us-central1.dataproc.googleusercontent.com/jupyter/lab/
   ...
   

2. Copia l'URL nel browser locale per avviare la GUI di Jupyter.
3. Verifica che l'autenticazione del cluster personale sia andata a buon fine.
   1. Avvia un terminale Jupyter.
   2. Esegui gcloud auth list
   3. Verifica che il tuo nome utente sia l'unico account attivo.

      

4. In un terminale Jupyter, attiva l'autenticazione di Jupyter con Kerberos e invia job Spark.

   kinit -kt /etc/security/keytab/dataproc.service.keytab dataproc/$(hostname -f)
   

   1. Esegui klist per verificare che Jupyter abbia ottenuto un TGT valido.

      

5. In un terminale Jupyter, utilizza gcloud CLI per creare un file rose.txt in un bucket Cloud Storage nel tuo progetto.

   echo "A rose by any other name would smell as sweet" > /tmp/rose.txt
   

   gcloud storage cp /tmp/rose.txt gs://bucket-name/rose.txt
   

   1. Contrassegna il file come privato in modo che solo il tuo account utente possa leggerlo o scriverlo. Jupyter utilizzerà le tue credenziali personali quando interagisce con Cloud Storage.

      gcloud storage objects update gs://bucket-name/rose.txt --predefined-acl=private
      

   2. Verifica l'accesso privato.

      gcloud storage objects describe gs://$BUCKET/rose.txt
      

      acl:

6. email: $USER entity: user-$USER role: OWNER