Questo tutorial spiega come gestire l'infrastruttura come codice con Terraform e Cloud Build utilizzando la popolare metodologia GitOps. Il termine GitOps è stato coniato per la prima volta da Weaveworks e il suo concetto chiave è l'utilizzo di un repository Git per archiviare lo stato dell'ambiente che desideri. Terraform è uno strumento HashiCorp che ti consente di creare, modificare e migliorare in modo prevedibile la tua infrastruttura cloud utilizzando il codice. In questo tutorial utilizzerai Cloud Build (un servizio di integrazione continua) per applicare automaticamente i manifest Terraform al tuo ambiente. Google Cloud
Questo tutorial è rivolto a sviluppatori e operatori che cercano una strategia elegante per apportare modifiche prevedibili all'infrastruttura. L'articolo presuppone che tu abbia dimestichezza con Google Cloud, Linux e GitHub.
I report State of DevOps hanno identificato le funzionalità che migliorano le prestazioni di distribuzione del software. Questo tutorial ti aiuterà a utilizzare le seguenti funzionalità:
Architettura
Per dimostrare come questo tutorial applica le pratiche GitOps per la gestione delle esecuzioni di Terraform, considera il seguente diagramma dell'architettura. Tieni presente che utilizza i rami GitHub dev
e prod
per rappresentare gli ambienti effettivi. Questi
ambienti sono definiti dalle reti Virtual Private Cloud (VPC) dev
e
prod
, rispettivamente, in un progetto Google Cloud .
Il processo inizia quando esegui il push del codice Terraform nel ramo dev
o prod
. In questo scenario, Cloud Build attiva e poi applica
i manifest Terraform per raggiungere lo stato desiderato nel rispettivo ambiente.
D'altra parte, quando esegui il push del codice Terraform su un altro ramo, ad esempio
su un ramo delle funzionalità, Cloud Build viene eseguito per eseguire terraform plan
, ma
non viene applicato nulla a nessun ambiente.
Idealmente, gli sviluppatori o gli operatori devono presentare proposte di infrastruttura ai
rami non protetti
e poi inviarle tramite
richieste pull.
L'app GitHub di Cloud Build, descritta più avanti in questo tutorial, attiva automaticamente i job di build e collega i report terraform plan
a queste richieste di pull. In questo modo, puoi
discutere e rivedere le potenziali modifiche con i collaboratori e aggiungere commit di follow-up
prima che le modifiche vengano unite al ramo di base.
Se non vengono sollevati problemi, devi prima unire le modifiche al ramo dev
. Questa unione attiva un deployment dell'infrastruttura nell'ambiente dev
, consentendoti di testarlo. Dopo aver testato e
aver verificato il deployment, devi unire il ramo dev
al ramo
prod
per attivare l'installazione dell'infrastruttura nell'ambiente di produzione.
Obiettivi
- Configura il repository GitHub.
- Configura Terraform in modo da archiviare lo stato in un bucket Cloud Storage.
- Concedi le autorizzazioni al account di servizio Cloud Build.
- Connetti Cloud Build al tuo repository GitHub.
- Modifica la configurazione dell'ambiente in un ramo della funzionalità.
- Promuovi le modifiche nell'ambiente di sviluppo.
- Promuovi le modifiche all'ambiente di produzione.
Costi
In questo documento, utilizzi i seguenti componenti fatturabili di Google Cloud:
Per generare una stima dei costi in base all'utilizzo previsto,
utilizza il calcolatore prezzi.
Al termine delle attività descritte in questo documento, puoi evitare l'addebito di ulteriori costi eliminando le risorse che hai creato. Per ulteriori informazioni, vedi Pulizia.
Prerequisiti
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
- In Cloud Shell, recupera l'ID del progetto appena selezionato:
Se questo comando non restituisce l'ID progetto, configura Cloud Shell in modo che utilizzi il tuo progetto. Sostituiscigcloud config get-value project
PROJECT_ID
con l'ID progetto.gcloud config set project PROJECT_ID
- Abilita le API richieste:
Il completamento di questo passaggio potrebbe richiedere alcuni minuti.gcloud services enable cloudbuild.googleapis.com compute.googleapis.com
- Se non hai mai utilizzato Git in Cloud Shell, configuralo con il tuo
nome e indirizzo email:
Git utilizza queste informazioni per identificarti come autore dei commit che crei in Cloud Shell.git config --global user.email "YOUR_EMAIL_ADDRESS" git config --global user.name "YOUR_NAME"
- Il ramo
dev
contiene le ultime modifiche applicate all'ambiente di sviluppo. - Il ramo
prod
contiene le ultime modifiche applicate all'ambiente di produzione. - Su GitHub, vai a https://github.com/GoogleCloudPlatform/solutions-terraform-cloudbuild-gitops.git.
Nell'angolo in alto a destra della pagina, fai clic su Fork.
Ora hai una copia del repository
solutions-terraform-cloudbuild-gitops
con i file di origine.In Cloud Shell, clona il repository creato mediante fork, sostituendo
YOUR_GITHUB_USERNAME
con il tuo nome utente GitHub:cd ~ git clone https://github.com/YOUR_GITHUB_USERNAME/solutions-terraform-cloudbuild-gitops.git cd ~/solutions-terraform-cloudbuild-gitops
La cartella
environments/
contiene sottocartelle che rappresentano ambienti, comedev
eprod
, che forniscono una separazione logica tra i carichi di lavoro in diverse fasi di maturità, sviluppo e produzione, rispettivamente. Sebbene sia consigliabile che questi ambienti siano il più simili possibile, ogni sottocartella ha una propria configurazione Terraform per garantire che possano avere impostazioni uniche, se necessario.La cartella
modules/
contiene moduli Terraform incorporati. Questi moduli rappresentano raggruppamenti logici di risorse correlate e vengono utilizzati per condividere il codice in ambienti diversi.Il file
cloudbuild.yaml
è un file di configurazione di compilazione che contiene istruzioni per Cloud Build, ad esempio come eseguire attività in base a una serie di passaggi. Questo file specifica un'esecuzione condizionale a seconda del ramo da cui Cloud Build recupera il codice, ad esempio:Per i rami
dev
eprod
, vengono eseguiti i seguenti passaggi:terraform init
terraform plan
terraform apply
Per qualsiasi altro ramo, vengono eseguiti i seguenti passaggi:
terraform init
per tutte le sottocartelle dienvironments
terraform plan
per tutte le sottocartelle dienvironments
In Cloud Shell, crea il bucket Cloud Storage:
1. Attiva il controllo delle versioni degli oggetti per conservare la cronologia dei tuoi deployment:PROJECT_ID=$(gcloud config get-value project) gcloud storage buckets create gs://${PROJECT_ID}-tfstate
```sh gcloud storage buckets update gs://${PROJECT_ID}-tfstate --versioning ``` Enabling Object Versioning increases [storage costs](/storage/pricing){: track-type="tutorial" track-name="internalLink" track-metadata-position="body" }, which you can mitigate by configuring [Object Lifecycle Management](/storage/docs/lifecycle){: track-type="tutorial" track-name="internalLink" track-metadata-position="body" } to delete old state versions.
Sostituisci il segnaposto
PROJECT_ID
con l'ID progetto sia nel fileterraform.tfvars
che in quellobackend.tf
:cd ~/solutions-terraform-cloudbuild-gitops sed -i s/PROJECT_ID/$PROJECT_ID/g environments/*/terraform.tfvars sed -i s/PROJECT_ID/$PROJECT_ID/g environments/*/backend.tf
Su OS X/macOS, potresti dover aggiungere due virgolette (
""
) doposed -i
, come segue:cd ~/solutions-terraform-cloudbuild-gitops sed -i "" s/PROJECT_ID/$PROJECT_ID/g environments/*/terraform.tfvars sed -i "" s/PROJECT_ID/$PROJECT_ID/g environments/*/backend.tf
Controlla se tutti i file sono stati aggiornati:
git status
L'output ha il seguente aspetto:
On branch dev Your branch is up-to-date with 'origin/dev'. Changes not staged for commit: (use "git add <file>..." to update what will be committed) (use "git checkout -- <file>..." to discard changes in working directory) modified: environments/dev/backend.tf modified: environments/dev/terraform.tfvars modified: environments/prod/backend.tf modified: environments/prod/terraform.tfvars no changes added to commit (use "git add" and/or "git commit -a")
Esegui il commit e il push delle modifiche:
git add --all git commit -m "Update project IDs and buckets" git push origin dev
A seconda della configurazione di GitHub, dovrai autenticarti per eseguire il push delle modifiche precedenti.
Concessione delle autorizzazioni al account di servizio Cloud Build
Per consentire al service account Cloud Build di eseguire script Terraform con lo scopo di gestire le risorse Google Cloud , devi concedergli l'accesso appropriato al tuo progetto. Per semplicità, in questo tutorial viene concesso l'accesso editor del progetto. Tuttavia, quando il ruolo Editor progetto dispone di un'autorizzazione ad ampio raggio, negli ambienti di produzione devi seguire le best practice di sicurezza IT della tua azienda, in genere fornendo l'accesso con privilegi minimi. Per le best practice di sicurezza, vedi Verifica esplicita di ogni tentativo di accesso.
In Cloud Shell, recupera l'email del account di servizio Cloud Build del tuo progetto:
CLOUDBUILD_SA="$(gcloud projects describe $PROJECT_ID \ --format 'value(projectNumber)')@cloudbuild.gserviceaccount.com"
Concedi l'accesso richiesto al account di servizio Cloud Build:
gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$CLOUDBUILD_SA --role roles/editor
Connessione diretta di Cloud Build al repository GitHub
Questa sezione mostra come installare l'app GitHub di Cloud Build. Questa installazione ti consente di connettere il repository GitHub al tuo progettoGoogle Cloud in modo che Cloud Build possa applicare automaticamente i manifest Terraform ogni volta che crei un nuovo ramo o esegui il push del codice su GitHub.
I passaggi riportati di seguito forniscono istruzioni per installare l'app solo per il repository
solutions-terraform-cloudbuild-gitops
, ma puoi scegliere di installarla per più repository o per tutti.Vai alla pagina GitHub Marketplace dell'app Cloud Build:
Apri la pagina dell'app Cloud Build
- Se è la prima volta che configuri un'app in GitHub, fai clic su Configura con Google Cloud Build in fondo alla pagina. Poi fai clic su Concedi a questa app l'accesso al tuo account GitHub.
- Se non è la prima volta che configuri un'app in GitHub, fai clic su Configura l'accesso. Si apre la pagina Applicazioni del tuo account personale.
Fai clic su Configura nella riga Cloud Build.
Seleziona Solo repository selezionati, quindi seleziona
solutions-terraform-cloudbuild-gitops
per connetterti al repository.Fai clic su Salva o Installa. L'etichetta del pulsante cambia a seconda del tuo flusso di lavoro. Vieni reindirizzato a Google Cloud per continuare l'installazione.
Accedi con il tuo account Google Cloud . Se richiesto, autorizza l'integrazione di Cloud Build con GitHub.
Nella pagina Cloud Build, seleziona il tuo progetto. Viene visualizzata una procedura guidata.
Nella sezione Seleziona repository, seleziona il tuo account GitHub e il repository
solutions-terraform-cloudbuild-gitops
.Se accetti i termini e le condizioni, seleziona la casella di controllo, quindi fai clic su Connetti.
Nella sezione Crea un trigger, fai clic su Crea un trigger:
- Aggiungi un nome trigger, ad esempio
push-to-branch
. Prendi nota del nome di questo trigger perché ti servirà in seguito. - Nella sezione Evento, seleziona Push al ramo.
- Nella sezione Origine, seleziona
.*
nel campo Branch. - Fai clic su Crea.
- Aggiungi un nome trigger, ad esempio
L'app GitHub di Cloud Build è ora configurata e il tuo repository GitHub è collegato al tuo progetto Google Cloud . D'ora in poi, le modifiche al repository GitHub attivano le esecuzioni di Cloud Build, che riportano i risultati a GitHub utilizzando GitHub Checks.
Modifica della configurazione dell'ambiente in un ramo della nuova funzionalità
A questo punto, la maggior parte dell'ambiente è configurata. È quindi il momento di apportare alcune modifiche al codice nel tuo ambiente di sviluppo.
Su GitHub, vai alla pagina principale del repository creato mediante fork.
https://github.com/YOUR_GITHUB_USERNAME/solutions-terraform-cloudbuild-gitops
Assicurati di trovarti nel ramo
dev
.Per aprire il file per la modifica, vai al file
modules/firewall/main.tf
e fai clic sull'icona a forma di matita.Alla riga 30, correggi l'errore ortografico
"http-server2"
nel campotarget_tags
.Il valore deve essere
"http-server"
.Aggiungi un messaggio di commit in fondo alla pagina, ad esempio "Fixing http firewall target", e seleziona Crea un nuovo ramo per questo commit e avvia una richiesta di pull.
Fai clic su Proponi modifiche.
Nella pagina seguente, fai clic su Crea richiesta di pull per aprire una nuova richiesta di pull con la tua modifica.
Dopo l'apertura della richiesta pull, viene avviato automaticamente un job Cloud Build.
Fai clic su Mostra tutti i controlli e attendi che il controllo diventi verde.
Fai clic su Dettagli per visualizzare ulteriori informazioni, incluso l'output di
terraform plan
nel link Visualizza ulteriori dettagli su Google Cloud Build.
Non unire ancora la tua richiesta di pull.
Tieni presente che il job Cloud Build ha eseguito la pipeline definita nel file
cloudbuild.yaml
. Come discusso in precedenza, questa pipeline ha comportamenti diversi a seconda del ramo recuperato. La build controlla se la variabile$BRANCH_NAME
corrisponde a una cartella dell'ambiente. In questo caso, Cloud Build esegueterraform plan
per quell'ambiente. In caso contrario, Cloud Build esegueterraform plan
per tutti gli ambienti per assicurarsi che la modifica proposta sia appropriata per tutti. Se l'esecuzione di uno di questi piani non va a buon fine, la build non riesce.Analogamente, il comando
terraform apply
viene eseguito per i rami dell'ambiente, ma viene completamente ignorato in tutti gli altri casi. In questa sezione hai inviato una modifica del codice a un nuovo ramo, quindi non sono stati applicati deployment dell'infrastruttura al tuo Google Cloud progetto.Imposizione dell'esecuzione riuscita di Cloud Build prima dell'unione dei rami
Per assicurarti che le unioni possano essere applicate solo quando le rispettive esecuzioni di Cloud Build hanno esito positivo, procedi nel seguente modo:
Su GitHub, vai alla pagina principale del repository creato mediante fork.
https://github.com/YOUR_GITHUB_USERNAME/solutions-terraform-cloudbuild-gitops
Sotto il nome del repository, fai clic su Impostazioni.
Nel menu a sinistra, fai clic su Rami.
In Regole di protezione dei rami, fai clic su Aggiungi regola.
In Pattern nome ramo, digita
dev
.Nella sezione Proteggi rami corrispondenti, seleziona Richiedi superamento dei controlli di stato prima dell'unione.
Cerca il nome del trigger di Cloud Build creato in precedenza.
Fai clic su Crea.
Ripeti i passaggi da 3 a 7, impostando Pattern nome ramo su
prod
.
Questa configurazione è importante per proteggere sia i rami
dev
cheprod
. Ciò significa che i commit devono prima essere inviati a un altro ramo e solo dopo possono essere uniti al ramo protetto. In questo tutorial, la protezione richiede che l'esecuzione di Cloud Build vada a buon fine per consentire l'unione.Promuovere le modifiche all'ambiente di sviluppo
Hai una richiesta di pull in attesa di essere unita. È il momento di applicare lo stato che vuoi al tuo ambiente
dev
.Su GitHub, vai alla pagina principale del repository creato mediante fork.
https://github.com/YOUR_GITHUB_USERNAME/solutions-terraform-cloudbuild-gitops
Sotto il nome del repository, fai clic su Pull request.
Fai clic sulla richiesta di pull appena creata.
Fai clic su Unisci richiesta di pull e poi su Conferma unione.
Verifica che sia stata attivata una nuova build di Cloud Build:
Apri la build e controlla i log.
Al termine della build, visualizzi un risultato simile al seguente:
Step #3 - "tf apply": external_ip = EXTERNAL_IP_VALUE Step #3 - "tf apply": firewall_rule = dev-allow-http Step #3 - "tf apply": instance_name = dev-apache2-instance Step #3 - "tf apply": network = dev Step #3 - "tf apply": subnet = dev-subnet-01
Copia
EXTERNAL_IP_VALUE
e apri l'indirizzo in un browser web.http://EXTERNAL_IP_VALUE
Il provisioning potrebbe richiedere alcuni secondi per l'avvio della VM e la propagazione della regola firewall. Alla fine, nel browser web vedrai Environment: dev.
Vai al file di stato di Terraform nel bucket Cloud Storage.
https://storage.cloud.google.com/PROJECT_ID-tfstate/env/dev/default.tfstate
Promozione delle modifiche all'ambiente di produzione
Ora che hai testato completamente l'ambiente di sviluppo, puoi promuovere il codice dell'infrastruttura in produzione.
Su GitHub, vai alla pagina principale del repository creato mediante fork.
https://github.com/YOUR_GITHUB_USERNAME/solutions-terraform-cloudbuild-gitops
Sotto il nome del repository, fai clic su Pull request.
Fai clic su Nuova richiesta pull.
Per il repository di base, seleziona il repository appena creato.
Per base, seleziona
prod
dal tuo repository di base. Per confrontare, selezionadev
.Fai clic su Crea richiesta di pull.
Per il titolo, inserisci un titolo come
Promoting networking changes
e poi fai clic su Crea richiesta di pull.Esamina le modifiche proposte, inclusi i dettagli
terraform plan
di Cloud Build, poi fai clic su Unisci richiesta di pull.Fai clic su Conferma unione.
Nella console Google Cloud , apri la pagina Cronologia build per vedere le modifiche applicate all'ambiente di produzione:
Attendi il completamento della build, quindi controlla i log.
Alla fine dei log, vedrai un messaggio simile a questo:
Step #3 - "tf apply": external_ip = EXTERNAL_IP_VALUE Step #3 - "tf apply": firewall_rule = prod-allow-http Step #3 - "tf apply": instance_name = prod-apache2-instance Step #3 - "tf apply": network = prod Step #3 - "tf apply": subnet = prod-subnet-01
Copia
EXTERNAL_IP_VALUE
e apri l'indirizzo in un browser web.http://EXTERNAL_IP_VALUE
Il provisioning potrebbe richiedere alcuni secondi per l'avvio della VM e la propagazione della regola firewall. Alla fine, nel browser web viene visualizzato Environment: prod.
Vai al file di stato di Terraform nel bucket Cloud Storage.
https://storage.cloud.google.com/PROJECT_ID-tfstate/env/prod/default.tfstate
Hai configurato correttamente una pipeline di infrastruttura come codice serverless in Cloud Build. In futuro, potresti provare a:
- Aggiungi implementazioni per casi d'uso separati.
- Crea altri ambienti per soddisfare le tue esigenze.
- Utilizza un progetto per ambiente anziché un VPC per ambiente.
Esegui la pulizia
Al termine del tutorial, esegui la pulizia delle risorse che hai creato su Google Cloud in modo che non ti vengano addebitate in futuro.
Eliminazione del progetto
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Eliminazione del repository GitHub
Per evitare di bloccare nuove richieste di pull nel repository GitHub, puoi eliminare le regole di protezione dei rami:
- In GitHub, vai alla pagina principale del repository di cui hai creato un fork.
- Sotto il nome del repository, fai clic su Impostazioni.
- Nel menu a sinistra, fai clic su Rami.
- Nella sezione Regole di protezione dei rami, fai clic sul pulsante Elimina
per le righe
dev
eprod
.
Se vuoi, puoi disinstallare completamente l'app Cloud Build da GitHub:
Vai alle impostazioni delle applicazioni di GitHub.
Nella scheda App GitHub installate, fai clic su Configura nella riga Cloud Build. Quindi, nella sezione Zona di pericolo, fai clic sul pulsante Disinstalla nella riga Disinstalla Google Cloud Builder.
Nella parte superiore della pagina viene visualizzato il messaggio "Tutto è pronto. È stato messo in coda un job per disinstallare Google Cloud Build."
Nella scheda App GitHub autorizzate, fai clic sul pulsante Revoca nella riga Google Cloud Build, quindi su Ho capito, revoca l'accesso nel popup.
Se non vuoi conservare il repository GitHub:
- In GitHub, vai alla pagina principale del repository di cui hai creato un fork.
- Sotto il nome del repository, fai clic su Impostazioni.
- Scorri verso il basso fino alla Zona pericolosa.
- Fai clic su Elimina questo repository e segui i passaggi per la conferma.
Passaggi successivi
- Valuta la possibilità di utilizzare i modelli di Cloud Foundation Toolkit per creare rapidamente una base ripetibile a livello aziendale in Google Cloud.
- Guarda Repeatable Google Cloud Environments at Scale With Cloud Build Infra-As-Code Pipelines di Next' 19 sul flusso di lavoro GitOps descritto in questo tutorial.
- Consulta l'esercitazione Distribuzione continua in stile GitOps con Cloud Build.
- Dai un'occhiata alle funzionalità più avanzate di Cloud Build: Configurazione dell'ordine dei passaggi di build, Creazione, test e deployment di artefatti e Creazione di passaggi di build personalizzati.
- Dai un'occhiata al post del blog su Ensuring scale and compliance of your Terraform Deployment with Cloud Build.
- Leggi le nostre risorse su DevOps.
- Scopri di più sulle funzionalità DevOps correlate a questo tutorial:
- Esegui il controllo rapido DevOps per capire dove ti collochi rispetto al resto del settore.
Configurazione del repository GitHub
In questo tutorial utilizzi un singolo repository Git per definire la tua infrastruttura cloud. Orchestri questa infrastruttura con rami diversi corrispondenti a diversi ambienti:
Con questa infrastruttura, puoi sempre fare riferimento al repository per sapere quale
configurazione è prevista in ogni ambiente e per proporre nuove modifiche
unendole prima all'ambiente dev
. Quindi promuovi le modifiche unendo il ramo dev
nel ramo prod
successivo.
Per iniziare, esegui il fork del repository solutions-terraform-cloudbuild-gitops.
Il codice in questo repository è strutturato nel seguente modo:
Per assicurarti che le modifiche proposte siano appropriate per ogni ambiente,
terraform init
e terraform plan
vengono eseguiti per tutte le sottocartelle environments
. Prima di unire la richiesta pull, puoi esaminare i piani
per assicurarti, ad esempio, che l'accesso non venga concesso a un'entità non autorizzata.
Configurazione di Terraform per archiviare lo stato in un bucket Cloud Storage
Per impostazione predefinita, Terraform archivia
lo stato
localmente in un file denominato terraform.tfstate
. Questa configurazione predefinita può rendere difficile l'utilizzo di Terraform per i team, soprattutto quando molti utenti eseguono Terraform contemporaneamente e ogni macchina ha la propria interpretazione dell'infrastruttura attuale.
Per aiutarti a evitare questi problemi, questa sezione configura uno
stato remoto
che punta a un bucket Cloud Storage. Lo stato remoto è una funzionalità dei
backend
e, in questo tutorial, è configurato nei file backend.tf
, ad esempio:
Nei passaggi successivi, creerai un bucket Cloud Storage e modificherai alcuni file in modo che puntino al nuovo bucket e al tuo progetto. Google Cloud