Accedere ai cluster Google Kubernetes Engine privati con i pool privati di Cloud Build


Questo tutorial descrive come accedere a un cluster Google Kubernetes Engine (GKE) privato utilizzando i pool privati di Cloud Build. Questo accesso ti consente di utilizzare Cloud Build per eseguire il deployment dell'applicazione su un cluster GKE privato. Questo tutorial è destinato agli amministratori di rete e si applica a tutte le situazioni in cui i pool privati Cloud Build devono comunicare con i servizi in esecuzione in una rete Virtual Private Cloud (VPC) con peering. Ad esempio, i worker del pool privato potrebbero comunicare con i seguenti servizi:

  • Cluster GKE privato
  • Database Cloud SQL
  • Istanza di Memorystore
  • Istanza Compute Engine in esecuzione in una rete VPC diversa da quella in peering con il pool privato Cloud Build
  • Istanza Cloud SQL, con IP privato, in esecuzione in una rete VPC diversa da quella utilizzata dal pool privato Cloud Build.

I pool privati di Cloud Build e i control plane dei cluster GKE vengono eseguiti in reti VPC di proprietà di Google. Queste reti VPC sono connesse in peering alla tua rete VPC su Google Cloud. Tuttavia, il peering di rete VPC non supporta il peering transitivo, il che può essere una limitazione quando si utilizzano i pool privati di Cloud Build. Questo tutorial presenta una soluzione che utilizza Cloud VPN per consentire ai worker in un pool privato di Cloud Build di accedere al control plane di un cluster GKE privato.

Questo tutorial presuppone che tu abbia familiarità con Google Kubernetes Engine, Cloud Build, il comando gcloud, il peering di rete VPC e Cloud VPN.

Panoramica dell'architettura

Quando crei un cluster GKE privato senza accesso client all'endpoint pubblico, i client possono accedere solo al control plane del cluster GKE utilizzando il relativo indirizzo IP privato. Client come kubectl possono comunicare con il control plane solo se vengono eseguiti su un'istanza che ha accesso alla rete VPC e si trova in una rete autorizzata.

Se vuoi utilizzare Cloud Build per eseguire il deployment della tua applicazione su questo cluster GKE privato, devi utilizzare i pool privati di Cloud Build per accedere ai cluster GKE. I pool privati sono un insieme di istanze worker che vengono eseguite in un progetto Google Cloud di proprietà di Google e sono in peering con la tua rete VPC utilizzando una connessione di peering di rete VPC. In questa configurazione, le istanze worker possono comunicare con l'indirizzo IP privato del control plane del cluster GKE.

Tuttavia, il control plane del cluster GKE viene eseguito anche in un progetto di proprietà di Google e si connette alla tua rete VPC utilizzando Private Service Connect (PSC). Il peering di rete VPC non supporta il peering transitivo, quindi i pacchetti non possono essere instradati direttamente tra il pool privato Cloud Build e il piano di controllo del cluster GKE.

Per consentire alle istanze worker di Cloud Build di accedere al control plane del cluster GKE, puoi eseguire il peering del pool privato e utilizzare PSC per connettere il control plane del cluster GKE a due reti VPC di tua proprietà e poi connettere queste due reti VPC utilizzando Cloud VPN. Questo peering e questa connessione consentono a ciascuna parte del tunnel VPC di annunciare le reti del pool privato e del control plane del cluster GKE, completando così la route.

Il seguente diagramma dell'architettura mostra le risorse utilizzate in questo tutorial:

Tunnel VPN che completa la route tra il pool privato Cloud Build e il control plane del cluster GKE.

Per ridurre la latenza, ti consigliamo di creare tutte le risorse utilizzate in questo tutorial nella stessa Google Cloud regione. Il tunnel VPN può attraversare due regioni diverse se questa comunicazione tra regioni è necessaria per la tua implementazione. Le due reti VPC di tua proprietà possono appartenere anche a progetti diversi.

Obiettivi

  • Crea un cluster GKE privato.
  • Configura un pool privato Cloud Build.
  • Crea una connessione VPN ad alta disponibilità tra due reti VPC.
  • Abilita il routing dei pacchetti tra due peering di rete VPC e una connessione VPC.

Costi

In questo documento, utilizzi i seguenti componenti fatturabili di Google Cloud:

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il calcolatore prezzi.

I nuovi Google Cloud utenti potrebbero avere diritto a una prova gratuita.

Al termine delle attività descritte in questo documento, puoi evitare l'addebito di ulteriori costi eliminando le risorse che hai creato. Per ulteriori informazioni, vedi Pulizia.

Prima di iniziare

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Enable the Cloud Build, Google Kubernetes Engine, and Service Networking APIs.

    Enable the APIs

  4. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

Creazione di due reti VPC nel tuo progetto

In questa sezione, crei due reti VPC e una subnet per i nodi del cluster GKE.

  1. In Cloud Shell, crea la prima rete VPC (denominata "Rete VPC con peering del pool privato" nel diagramma precedente). Non è necessario creare subnet in questa rete.

    gcloud compute networks create PRIVATE_POOL_PEERING_VPC_NAME \
        --subnet-mode=CUSTOM
    

    Sostituisci PRIVATE_POOL_PEERING_VPC_NAME con il nome della tua rete VPC di cui eseguire il peering con la rete del pool privato Cloud Build.

  2. Crea la seconda rete VPC (denominata "Rete VPC del cluster GKE" nel diagramma precedente):

    gcloud compute networks create GKE_CLUSTER_VPC_NAME \
        --subnet-mode=CUSTOM
    

    Sostituisci GKE_CLUSTER_VPC_NAME con il nome della tua rete VPC con cui eseguire il peering con il piano di controllo del cluster GKE.

  3. Crea una subnet per i nodi del cluster GKE:

    gcloud compute networks subnets create GKE_SUBNET_NAME \
        --network=GKE_CLUSTER_VPC_NAME \
        --range=GKE_SUBNET_RANGE \
        --region=REGION
    

    Sostituisci quanto segue:

    • GKE_SUBNET_NAME: il nome della subnet che deve ospitare i nodi del cluster GKE.
    • GKE_CLUSTER_VPC_NAME: il nome della tua rete VPC a cui connettersi con il control plane del cluster GKE.
    • GKE_SUBNET_RANGE: l'intervallo di indirizzi IP di GKE_SUBNET_NAME. Per questo tutorial, puoi utilizzare 10.244.252.0/22.
    • REGION: la Google Cloud regione che ospita il cluster GKE. Per questo tutorial, puoi utilizzare us-central1.

Ora hai configurato due reti VPC nel tuo progetto e sono pronte per il peering con altri servizi.

Creazione di un cluster GKE privato

In questa sezione crei il cluster GKE privato.

  1. In Cloud Shell, crea un cluster GKE senza accesso client all'endpoint pubblico del control plane.

    gcloud container clusters create PRIVATE_CLUSTER_NAME \
        --region=REGION \
        --enable-master-authorized-networks \
        --network=GKE_CLUSTER_VPC_NAME \
        --subnetwork=GKE_SUBNET_NAME \
        --enable-private-nodes \
        --enable-private-endpoint \
        --enable-ip-alias \
        --master-ipv4-cidr=CLUSTER_CONTROL_PLANE_CIDR
    

    Sostituisci quanto segue:

    • PRIVATE_CLUSTER_NAME: il nome del cluster GKE privato.
    • REGION: la regione per il cluster GKE. In questo tutorial, utilizza us-central1 per la regione, la stessa regione utilizzata per le reti VPC.
    • GKE_CLUSTER_VPC_NAME: il nome della tua rete VPC a cui connetterti al control plane del cluster GKE.
    • GKE_SUBNET_RANGE: l'intervallo di indirizzi IP di GKE_SUBNET_NAME. Per questo tutorial, puoi utilizzare 10.244.252.0/22.
    • CLUSTER_CONTROL_PLANE_CIDR: l'intervallo di indirizzi IP del control plane del cluster GKE. Deve avere un prefisso /28. Per questo tutorial, utilizza 172.16.0.32/28.

    Ora hai creato un cluster GKE privato.

Configura il peering di rete VPC per GKE 1.28 e versioni precedenti

Se utilizzi questo tutorial per configurare un cluster esistente che esegue GKE versione 1.28 o precedente, la tua rete VPC privata utilizza il peering di rete VPC per connettersi al cluster GKE. Completa i seguenti passaggi:

  1. Recupera il nome del peering di rete VPC del cluster GKE. Questo peering di rete VPC è stato creato automaticamente quando hai creato il cluster GKE.

    export GKE_PEERING_NAME=$(gcloud container clusters describe PRIVATE_CLUSTER_NAME \
        --region=REGION \
        --format='value(privateClusterConfig.peeringName)')
    

    Sostituisci quanto segue:

    • PRIVATE_CLUSTER_NAME: il nome del cluster GKE privato.
    • REGION: la regione per il cluster GKE. In questo tutorial, utilizza us-central1 per la regione, la stessa regione utilizzata per le reti VPC.
  2. Attiva l'esportazione di route personalizzate per annunciare la rete del pool privato al control plane del cluster GKE:

    gcloud compute networks peerings update $GKE_PEERING_NAME \
        --network=GKE_CLUSTER_VPC_NAME \
        --export-custom-routes \
        --no-export-subnet-routes-with-public-ip
    

    Sostituisci GKE_CLUSTER_VPC_NAME con il nome della tua rete VPC da connettere al piano di controllo del cluster GKE.

    Per ulteriori informazioni sulle route personalizzate, puoi leggere Importare ed esportare route personalizzate.

Creazione di un pool privato Cloud Build

In questa sezione, crei il pool privato Cloud Build.

  1. In Cloud Shell, alloca un intervallo di indirizzi IP denominato nella rete VPC PRIVATE_POOL_PEERING_VPC_NAME per il pool privato di Cloud Build:

    gcloud compute addresses create RESERVED_RANGE_NAME \
        --global \
        --purpose=VPC_PEERING \
        --addresses=PRIVATE_POOL_NETWORK \
        --prefix-length=PRIVATE_POOL_PREFIX \
        --network=PRIVATE_POOL_PEERING_VPC_NAME
    

    Sostituisci quanto segue:

    • RESERVED_RANGE_NAME: il nome dell'intervallo di indirizzi IP privati che ospita il pool privato Cloud Build.
    • PRIVATE_POOL_NETWORK: il primo indirizzo IP di RESERVED_RANGE_NAME. Per questo tutorial, puoi utilizzare 192.168.0.0.
    • PRIVATE_POOL_PREFIX: il prefisso di RESERVED_RANGE_NAME. Ogni pool privato creato utilizzerà /24 di questo intervallo. Per questo tutorial, puoi utilizzare 20; in questo modo puoi creare fino a sedici pool.
    • PRIVATE_POOL_PEERING_VPC_NAME: il nome della tua rete VPC da sottoporre a peering con la rete del pool privato Cloud Build.
    • L'intervallo IP è global perché quando --purpose è VPC_PEERING l'intervallo di indirizzi IP denominato deve essere global.
  2. Crea una connessione privata tra la rete VPC che contiene il pool privato Cloud Build e PRIVATE_POOL_PEERING_VPC_NAME:

    gcloud services vpc-peerings connect \
        --service=servicenetworking.googleapis.com \
        --ranges=RESERVED_RANGE_NAME \
        --network=PRIVATE_POOL_PEERING_VPC_NAME
    

    Sostituisci quanto segue:

    • RESERVED_RANGE_NAME: il nome dell'intervallo di indirizzi IP privati che ospita il pool privato Cloud Build.
    • PRIVATE_POOL_PEERING_VPC_NAME: il nome della tua rete VPC da sottoporre a peering con la rete del pool privato Cloud Build.
  3. Abilita l'esportazione di route personalizzate per annunciare la rete del control plane del cluster GKE al pool privato:

    gcloud compute networks peerings update servicenetworking-googleapis-com \
        --network=PRIVATE_POOL_PEERING_VPC_NAME \
        --export-custom-routes \
        --no-export-subnet-routes-with-public-ip
    

    Sostituisci PRIVATE_POOL_PEERING_VPC_NAME con il nome della tua rete VPC da sottoporre a peering con la rete del pool privato di Cloud Build.

  4. Crea un pool privato Cloud Build con peering con PRIVATE_POOL_PEERING_VPC_NAME:

    gcloud builds worker-pools create PRIVATE_POOL_NAME \
       --region=REGION \
       --peered-network=projects/$GOOGLE_CLOUD_PROJECT/global/networks/PRIVATE_POOL_PEERING_VPC_NAME
    

    Sostituisci quanto segue:

    • PRIVATE_POOL_NAME: il nome del pool privato di Cloud Build.
    • REGION: la regione per il cluster GKE. In questo tutorial, utilizza us-central1 per la regione, la stessa regione utilizzata per le reti VPC.

Ora hai creato un pool privato Cloud Build e hai eseguito il peering con la rete VPC nel tuo progetto.

Creazione di una connessione Cloud VPN tra le due reti VPC

Nel tuo progetto ora hai una rete VPC in peering con il pool privato Cloud Build e una seconda rete VPC in peering con il cluster GKE privato.

In questa sezione, crei una connessione Cloud VPN tra le due reti VPC nel tuo progetto. Questa connessione completa la route e consente ai pool privati di Cloud Build di accedere al cluster GKE.

  1. In Cloud Shell, crea due gateway VPN ad alta disponibilità che si connettono tra loro. Per creare questi gateway, segui le istruzioni riportate in Creazione di due gateway VPN ad alta disponibilità completamente configurati che si connettono tra loro. La configurazione è completa dopo aver creato le sessioni BGP. Segui queste istruzioni utilizzando i seguenti valori:

    • PRIVATE_POOL_PEERING_VPC_NAME per NETWORK_1
    • GKE_CLUSTER_VPC_NAME per NETWORK_2
    • REGION per REGION_1 e REGION_2
  2. Configura ciascuna delle quattro sessioni BGP create per annunciare le route alla rete VPC del pool privato e alla rete VPC del control plane del cluster GKE:

    gcloud compute routers update-bgp-peer ROUTER_NAME_1 \
        --peer-name=PEER_NAME_GW1_IF0 \
        --region=REGION \
        --advertisement-mode=CUSTOM \
        --set-advertisement-ranges=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX
    
    gcloud compute routers update-bgp-peer ROUTER_NAME_1 \
        --peer-name=PEER_NAME_GW1_IF1 \
        --region=REGION \
        --advertisement-mode=CUSTOM \
        --set-advertisement-ranges=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX
    
    gcloud compute routers update-bgp-peer ROUTER_NAME_2 \
        --peer-name=PEER_NAME_GW2_IF0 \
        --region=REGION \
        --advertisement-mode=CUSTOM \
        --set-advertisement-ranges=CLUSTER_CONTROL_PLANE_CIDR
    
    gcloud compute routers update-bgp-peer ROUTER_NAME_2 \
        --peer-name=PEER_NAME_GW2_IF1 \
        --region=REGION \
        --advertisement-mode=CUSTOM \
        --set-advertisement-ranges=CLUSTER_CONTROL_PLANE_CIDR
    

    Dove i seguenti valori sono gli stessi nomi che hai utilizzato quando hai creato i due gateway VPN ad alta disponibilità:

    • ROUTER_NAME_1
    • PEER_NAME_GW1_IF0
    • PEER_NAME_GW1_IF1
    • ROUTER_NAME_2
    • PEER_NAME_GW2_IF0
    • PEER_NAME_GW2_IF1

Abilitazione dell'accesso di Cloud Build al control plane del cluster GKE

Ora che hai una connessione VPN tra le due reti VPC nel tuo progetto, abilita l'accesso di Cloud Build al control plane del cluster GKE.

  1. In Cloud Shell, aggiungi l'intervallo di rete del pool privato alle reti autorizzate del control plane in GKE:

    gcloud container clusters update PRIVATE_CLUSTER_NAME \
        --enable-master-authorized-networks \
        --region=REGION \
        --master-authorized-networks=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX
    

    Sostituisci quanto segue:

    • PRIVATE_CLUSTER_NAME: il nome del cluster GKE privato.
    • REGION: la regione per il cluster GKE. In questo tutorial, utilizza us-central1 per la regione, la stessa regione utilizzata per le reti VPC.
    • PRIVATE_POOL_NETWORK: il primo indirizzo IP di RESERVED_RANGE_NAME. Per questo tutorial, puoi utilizzare 192.168.0.0.
    • PRIVATE_POOL_PREFIX: il prefisso di RESERVED_RANGE_NAME. Ogni pool privato creato utilizzerà /24 di questo intervallo. Per questo tutorial, puoi utilizzare 20; in questo modo puoi creare fino a 16 pool.
  2. Consenti all'account di servizio che utilizzi per la build di accedere al piano di controllo del cluster GKE:

    export PROJECT_NUMBER=$(gcloud projects describe $GOOGLE_CLOUD_PROJECT --format 'value(projectNumber)')
    
    gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT \
        --member=serviceAccount:SERVICE_ACCOUNT \
        --role=roles/container.developer
    

I pool privati di Cloud Build ora possono accedere al control plane del cluster GKE.

Verifica della soluzione

In questa sezione, verifichi che la soluzione funzioni eseguendo il comando kubectl get nodes in un passaggio di build in esecuzione nel pool privato.

  1. In Cloud Shell, crea una cartella temporanea con un file di configurazione Cloud Build che esegue il comando kubectl get nodes:

    mkdir private-pool-test && cd private-pool-test
    
    cat > cloudbuild.yaml <<EOF
    steps:
    - name: "gcr.io/cloud-builders/kubectl"
      args: ['get', 'nodes']
      env:
      - 'CLOUDSDK_COMPUTE_REGION=REGION'
      - 'CLOUDSDK_CONTAINER_CLUSTER=PRIVATE_CLUSTER_NAME'
    options:
      workerPool:
        'projects/$GOOGLE_CLOUD_PROJECT/locations/REGION/workerPools/PRIVATE_POOL_NAME'
    EOF
    

    Sostituisci quanto segue:

    • REGION: la regione per il cluster GKE. In questo tutorial, utilizza us-central1 per la regione, la stessa regione utilizzata per le reti VPC.
    • PRIVATE_CLUSTER_NAME: il nome del cluster GKE privato.
    • PRIVATE_POOL_NAME: il nome del pool privato di Cloud Build.
  2. Avvia il job di build:

    gcloud builds submit --config=cloudbuild.yaml
    
  3. Verifica che l'output sia l'elenco dei nodi nel cluster GKE. Il log della build mostrato nella console include una tabella simile a questa:

    NAME                                     STATUS   ROLES    AGE   VERSION
    gke-private-default-pool-3ec34262-7lq9   Ready    <none>   9d    v1.19.9-gke.1900
    gke-private-default-pool-4c517758-zfqt   Ready    <none>   9d    v1.19.9-gke.1900
    gke-private-default-pool-d1a885ae-4s9c   Ready    <none>   9d    v1.19.9-gke.1900
    

Ora hai verificato che i worker del pool privato possono accedere al cluster GKE. Questo accesso ti consente di utilizzare Cloud Build per eseguire il deployment della tua applicazione su questo cluster GKE privato.

Risoluzione dei problemi

Se riscontri problemi con questo tutorial, consulta i seguenti documenti:

Esegui la pulizia

Per evitare che al tuo Account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Elimina il progetto

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Elimina le singole risorse

  1. In Cloud Shell, elimina il cluster GKE:

    gcloud container clusters delete PRIVATE_CLUSTER_NAME \
        --region=REGION \
        --async
    

    Quando esegui questo comando, il peering di rete VPC viene eliminato automaticamente.

  2. Elimina il pool privato Cloud Build:

    gcloud builds worker-pools delete PRIVATE_POOL_NAME \
        --region=REGION
    
  3. Elimina la connessione privata tra la rete VPC del producer di servizi e PRIVATE_POOL_PEERING_VPC_NAME:

    gcloud services vpc-peerings delete \
       --network=PRIVATE_POOL_PEERING_VPC_NAME \
       --async
    
  4. Elimina l'intervallo di indirizzi IP denominato utilizzato per il pool privato:

    gcloud compute addresses delete RESERVED_RANGE_NAME \
        --global
    
  5. Elimina i quattro tunnel VPN. Utilizza gli stessi nomi specificati in Crea tunnel VPN.

    gcloud compute vpn-tunnels delete \
        TUNNEL_NAME_GW1_IF0 \
        TUNNEL_NAME_GW1_IF1 \
        TUNNEL_NAME_GW2_IF0 \
        TUNNEL_NAME_GW2_IF1 \
        --region=REGION
    
  6. Elimina i due router Cloud. Utilizza gli stessi nomi specificati in Crea router Cloud.

    gcloud compute routers delete \
        ROUTER_NAME_1 \
        ROUTER_NAME_2 \
        --region=REGION
    
  7. Elimina i due gateway VPN. Utilizza gli stessi nomi specificati in Crea i gateway VPN ad alta disponibilità.

    gcloud compute vpn-gateways delete \
        GW_NAME_1 \
        GW_NAME_2 \
        --region=REGION
    
  8. Elimina GKE_SUBNET_NAME, ovvero la subnet che ospita i nodi del cluster GKE:

    gcloud compute networks subnets delete GKE_SUBNET_NAME \
        --region=REGION
    
  9. Elimina le due reti VPC PRIVATE_POOL_PEERING_VPC_NAME e GKE_CLUSTER_VPC_NAME:

    gcloud compute networks delete \
        PRIVATE_POOL_PEERING_VPC_NAME \
        GKE_CLUSTER_VPC_NAME
    

Passaggi successivi