Provider di credenziali Secret Manager

Panoramica

Secret Manager può proteggere i tuoi dati sensibili, come chiavi API, password e certificati. Puoi utilizzarlo per gestire, accedere e controllare i tuoi secret in Google Cloud.

Puoi configurare un cluster o un job Dataproc per utilizzare un secret di Secret Manager utilizzando il fornitore di credenziali Secret Manager.

Disponibilità

Questa funzionalità è disponibile per l'utilizzo con i cluster Dataproc creati con le versioni immagine Dataproc principali 2.0.97 e successive, 2.1.41 e successive o 2.2.6 e successive.

Terminologia

La seguente tabella descrive i termini utilizzati in questo documento.

Termine Descrizione
Secret Un secret di Secret Manager è un oggetto del progetto globale che contiene una raccolta di metadati e versioni dei secret. Puoi archiviare, gestire e accedere ai secret come blob binari o stringhe di testo.
Credential In Hadoop e in altre applicazioni ospitate da Dataproc, una credenziale è composta da un nome (ID) e da un valore (password). Un ID e un valore della credenziale vengono mappati a un ID secret e a un valore secret di Secret Manager (versione del secret).

Utilizzo

Puoi configurare Hadoop e altri componenti OSS per lavorare con Secret Manager impostando le seguenti proprietà quando crei un cluster Dataproc o invii un job.

  • Percorso del provider : la proprietà percorso del provider, hadoop.security.credential.provider.path, è un elenco separato da virgole di uno o più URI dei provider di credenziali che viene attraversato per risolvere una credenziale.

    --properties=hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID
    • Il carattere scheme nel percorso del provider indica il tipo di provider delle credenziali. Gli schemi Hadoop includonojceks://, user://,localjceks://. Utilizza lo schema gsm:// per cercare le credenziali in Secret Manager.

  • Sostituisci operatore punto : il servizio Secret Manager non consente i punti (.) nei nomi dei secret. Tuttavia, alcuni componenti software open source (OSS) utilizzano i punti nelle chiavi delle credenziali. Per risolvere questa limitazione, attiva questa proprietà per sostituire i punti (.) con i trattini (-) nei nomi delle credenziali. In questo modo, le credenziali OSS con punti nei nomi possono essere archiviate e recuperate correttamente da Secret Manager.

    Ad esempio, se la chiave delle credenziali OSS è a.b.c, devi modificarla in a-b-c quando la memorizzi in Secret Manager.

    --properties=hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true

    Questa è una proprietà facoltativa. Per impostazione predefinita, il valore è false. Per le chiavi delle credenziali che non hanno un operatore punto (.) nel nome della credenziale, questa proprietà può essere ignorata in tutta sicurezza.

  • Versione del secret : i secret in Secret Manager possono avere più versioni (valori). Utilizza questa proprietà per accedere a una versione specifica del secret per un accesso stabile negli ambienti di produzione.

    --properties=hadoop.security.credstore.google-secret-manager.secret-version=1

    Questa è una proprietà facoltativa. Per impostazione predefinita, Secret Manager accede alla versione LATEST, che si risolve nel valore più recente del secret in fase di esecuzione. Se il tuo caso d'uso è accedere sempre alla versione LATEST di un segreto, questa proprietà può essere ignorata in tutta sicurezza.

Crea un cluster Dataproc con il provider di credenziali Secret Manager

  1. Esegui il seguente comando in locale o in Cloud Shell per creare un cluster Dataproc con le proprietà richieste. 
    gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties="hadoop:hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hadoop:hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \
    ...other flags as needed...

Note:

Invia un provider di credenziali Dataproc con Secret Manager

  1. Esegui il seguente comando in locale o in Cloud Shell per inviare un job Dataproc con le proprietà richieste.

    gcloud dataproc jobs submit CLUSTER_NAME \
    --region=REGION \
    --properties="hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \
    ...other flags as needed... \
    -- job-args

Note:

Utilizzare Secret Manager con Hive Metastore

La proprietà Hive Metastore, javax.jdo.option.ConnectionPassword, contiene la password utilizzata per autenticare l'accesso al database metastore. La password viene salvata in formato di testo in hive-site.xml, il che rappresenta un rischio per la sicurezza. Una best practice per la produzione è archiviare la password in Secret Manager, quindi aggiornare il file di configurazione hive-site.xml per consentire al servizio metastore Hive di leggere la password da Secret Manager.

Gli esempi riportati di seguito mostrano come utilizzare Secret Manager in diversi scenari di Hive Metastore.

Creare un cluster con un metastore locale

  1. Esegui il seguente comando in locale o in Cloud Shell per creare un cluster Dataproc. 
    gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    ...other flags as needed... \

Note:

  • CLUSTER_NAME: il nome del nuovo cluster.
  • REGION: una regione Compute Engine in cui verrà eseguito il carico di lavoro.

  1. Crea un secret utilizzando Secret Manager o il comando hadoop credential.

    • Alternativa 1: utilizza Secret Manager per creare un secret.

      • Nome segreto: /projects/PROJECT_ID/secrets/javax-jdo-option-ConnectionPassword/versions/1
      • Valore secret: METASTORE_PASSWORD.

    • Alternativa 2: utilizza il comando hadoop credential per creare un segreto. 

      sudo hadoop credential create javax-jdo-option-ConnectionPassword -provider gsm://projects/PROJECT_ID -v METASTORE_PASSWORD

      • METASTORE_PASSWORD: poiché Secret Manager non supporta l'operatore punto(.), sostituisci i punti(.) nella password con i trattini(-).

  2. Verifica che il segreto esista. 

    sudo hadoop credential list -provider gsm://projects/PROJECT_ID

  3. Utilizza un editor di testo per rimuovere la proprietà javax.jdo.option.ConnectionPassword dal file hive-site.xml e poi aggiungi le proprietà hadoop.security.credential.provider.path e hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator al file.

    Proprietà di esempio: 

    hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID
hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true

  4. Riavviare Hive Metastore. 

    sudo systemctl restart hive-metastore

Creare un cluster con un metastore Hive esterno

  1. Esegui il seguente comando localmente o in Cloud Shell per creare un cluster Dataproc con le seguenti proprietà del cluster. Utilizza questo cluster come metastore Hive esterno per i job Hive eseguiti da altri cluster Dataproc per i carichi di lavoro Spark Hive.

    gcloud dataproc clusters create METASTORE_CLUSTER_NAME \
    --region=REGION \
    --properties=core:fs.defaultFS=gs://METASTORE_CLUSTER_PROXY_BUCKET,dataproc:dataproc.components.deactivate="hdfs hive-server2 hive-metastore" \
    ...other flags as needed...

  2. Crea un secret utilizzando Secret Manager o il comando hadoop credential.

    • Alternativa 1: utilizza Secret Manager per creare un secret.
      • Nome segreto: /projects/PROJECT_ID/secrets/javax-jdo-option-ConnectionPassword/versions/1
      • Valore secret: METASTORE_PASSWORD.
    • Alternativa 2: utilizza il comando hadoop credential per creare un segreto. 
      sudo hadoop credential create javax-jdo-option-ConnectionPassword -provider gsm://projects/PROJECT_ID -v METASTORE_PASSWORD
      • METASTORE_PASSWORD: poiché Secret Manager non supporta l'operatore punto(.), sostituisci i punti(.) nella password con i trattini(-).

  3. Verifica che il segreto esista. 

    sudo hadoop credential list -provider gsm://projects/PROJECT_ID

Creare un cluster per eseguire job Hive che si connettono a un metastore esterno

  1. Esegui il seguente comando localmente o in Cloud Shell per creare un cluster Dataproc con le seguenti proprietà del cluster. Utilizza questo cluster per eseguire job Hive che si connettono al metastore esterno su un altro cluster Dataproc. 
    gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties="hive:javax.jdo.option.ConnectionURL=jdbc:mysql://METASTORE_CLUSTER_NAME-m/metastore,hive:hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hive:hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \
    ...other flags as needed...

Comandi per le credenziali Hadoop

Puoi utilizzare SSH per connetterti al nodo principale Dataproc per utilizzare il comando hadoop credential per creare, elencare e gestire i secret.

I comandi hadoop credential utilizzano il seguente formato: hadoop credential SUBCOMMAND OPTIONS. Negli esempi seguenti, il flag -provider viene aggiunto per specificare il tipo e la posizione del fornitore (il negozio del fornitore). Lo schema gsm:// specifica Secret Manager.

  • Crea un secret con l'ID secret specificato. Il comando non crea il secret se l'ID secret specificato esiste. Questo comportamento è coerente con l'API Hadoop CredentialProvider. 

    hadoop credential create SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE

  • Elenca i secret archiviati in un progetto. 

    hadoop credential list -provider gsm://projects/PROJECT_ID

  • Verifica se in un progetto esiste un secret con un valore specificato. 

    hadoop credential check SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE

  • Cerca una versione del secret specifica in un file di configurazione.

    hadoop credential conf CONFIG_FILE check SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE

  • CONFIG_FILE: il file XML che imposta hadoop.security.credstore.google-secret-manager.secret-version.

  • Elimina tutte le versioni di un segreto in un progetto. 

    hadoop credential delete SECRET_ID -provider gsm://projects/ PROJECT_ID

Per ulteriori informazioni, consulta la Guida ai comandi Hadoop.

Per ulteriori informazioni