En este instructivo, se explica cómo administrar la infraestructura como código con Terraform y Cloud Build mediante la popular metodología GitOps. Weaveworks acuñó el término GitOps y su concepto clave es usar un repositorio de Git para almacenar el estado del entorno que deseas. Terraform es una herramienta de HashiCorp que te permite crear, cambiar y mejorar de forma predecible tu infraestructura de nube mediante código. En este instructivo, usarás Cloud Build, un servicio de integración continua de Google Cloud, para aplicar de forma automática los manifiestos de Terraform a un entorno.
Este instructivo es para desarrolladores y operadores que buscan una estrategia precisa a fin de realizar cambios de forma predecible en la infraestructura. En el artículo, se supone que estás familiarizado con Google Cloud, Linux y GitHub.
Los informes State of DevOps identificaron las capacidades que impulsan el rendimiento de la entrega de software. Este instructivo te ayudará con las siguientes funciones:
Arquitectura
Para demostrar cómo este instructivo aplica las prácticas de GitOps a fin de administrar las ejecuciones de Terraform, considera el siguiente diagrama de arquitectura. Ten en cuenta que se usan ramas de GitHub (dev
y prod
) para representar entornos reales. Estos entornos se definen mediante redes de nube privada virtual (VPC), dev
y prod
, respectivamente, en un proyecto de Google Cloud.
El proceso se inicia cuando envías código de Terraform a la rama dev
o prod
. En esta situación, Cloud Build se activa y aplica los manifiestos de Terraform para lograr el estado que deseas en el entorno respectivo.
Por otro lado, cuando envías código de Terraform a cualquier otra rama (por ejemplo, a una rama de características), Cloud Build se activa para ejecutar terraform plan
, pero no se aplica nada a ningún entorno.
Lo ideal es que los operadores o desarrolladores deban hacer propuestas de infraestructura a
ramas no protegidas
y, luego, enviarlas a través de
solicitudes de extracción.
La app de GitHub de Cloud Build, que se detalla más adelante en este instructivo, activa de forma automática los trabajos de compilación y vincula los informes terraform plan
a estas solicitudes de extracción. De esta manera, puedes analizar y revisar los posibles cambios con los colaboradores y agregar confirmaciones de seguimiento antes de que los cambios se combinen en la rama base.
Si no surgen problemas, primero se deben combinar los cambios en la rama dev
. Esta combinación activa una implementación de infraestructura para el entorno dev
, lo que te permite probar este entorno. Después de realizar las pruebas y asegurarte de que la implementación es correcta, debes combinar la rama dev
con la rama prod
para activar la instalación de la infraestructura en el entorno de producción.
Objetivos
- Configurar tu repositorio de GitHub.
- Configurar Terraform para almacenar el estado en un bucket de Cloud Storage.
- Otorgar permisos a tu cuenta de servicio de Cloud Build.
- Conectar Cloud Build a tu repositorio de GitHub.
- Cambiar la configuración de tu entorno en una rama de características.
- Promover los cambios en el entorno de desarrollo.
- Promover los cambios en el entorno de producción.
Costos
En este documento, usarás los siguientes componentes facturables de Google Cloud:
Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios.
Cuando finalices las tareas que se describen en este documento, puedes borrar los recursos que creaste para evitar que continúe la facturación. Para obtener más información, consulta Cómo realizar una limpieza.
Requisitos previos
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
- En Cloud Shell, obtén el ID del proyecto que acabas de seleccionar:
Si este comando no muestra el ID del proyecto, configura Cloud Shell para que use tu proyecto. Reemplazagcloud config get-value project
PROJECT_ID
por el ID del proyecto.gcloud config set project PROJECT_ID
- Habilita las API necesarias:
Este paso puede tardar unos minutos en finalizar.gcloud services enable cloudbuild.googleapis.com compute.googleapis.com
- Si nunca usaste Git en Cloud Shell, configúralo con tu nombre y dirección de correo electrónico:
Git usa esta información para identificarte como el autor de las confirmaciones que creas en Cloud Shell:git config --global user.email "YOUR_EMAIL_ADDRESS" git config --global user.name "YOUR_NAME"
Configura tu repositorio de GitHub
En este instructivo, usarás un único repositorio de Git para definir tu infraestructura de nube. Debes tener diferentes ramas que correspondan a diferentes entornos para organizar esta infraestructura:
- La rama
dev
contiene los cambios más recientes que se aplican al entorno de desarrollo. - La rama
prod
contiene los cambios más recientes que se aplican al entorno de producción.
Con esta infraestructura, siempre se puede hacer referencia al repositorio a fin de saber qué configuración se espera en cada entorno y combinar cambios nuevos con el entorno dev
para proponerlos. Luego, debes combinar la rama dev
con la rama posterior prod
para promover los cambios.
Para comenzar, debes bifurcar el repositorio solutions-terraform-cloudbuild-gitops.
- En GitHub, dirígete a https://github.com/GoogleCloudPlatform/solutions-terraform-cloudbuild-gitops.git.
En la esquina superior derecha de la página, haz clic en Bifurcar (Fork).
Ahora tienes una copia del repositorio
solutions-terraform-cloudbuild-gitops
con archivos de origen.
En Cloud Shell, reemplaza
YOUR_GITHUB_USERNAME
por tu nombre de usuario de GitHub para clonar este repositorio bifurcado:cd ~ git clone https://github.com/YOUR_GITHUB_USERNAME/solutions-terraform-cloudbuild-gitops.git cd ~/solutions-terraform-cloudbuild-gitops
El código de este repositorio está estructurado de la siguiente manera:
La carpeta
environments/
contiene subcarpetas que representan entornos, comodev
yprod
, que proporcionan una separación lógica entre las cargas de trabajo en diferentes etapas de madurez, desarrollo y producción, respectivamente. Aunque se recomienda que estos entornos sean lo más similares posible, cada subcarpeta tiene su propia configuración de Terraform para garantizar que puedan tener una configuración única según sea necesario.La carpeta
modules/
contiene módulos de Terraform intercalados. Estos módulos representan agrupaciones lógicas de recursos relacionados y se usan para compartir código entre diferentes entornos.El archivo
cloudbuild.yaml
es un archivo de configuración de compilación que contiene instrucciones para Cloud Build, por ejemplo, cómo realizar tareas en función de un conjunto de pasos. Este archivo especifica una ejecución condicional según la rama de la cual Cloud Build recupera el código, por ejemplo:En las ramas
dev
yprod
, se ejecutan los siguientes pasos:terraform init
terraform plan
terraform apply
Para cualquier otra rama, se ejecutan los siguientes pasos:
terraform init
para todas las subcarpetasenvironments
terraform plan
para todas las subcarpetasenvironments
A fin de garantizar que los cambios propuestos sean adecuados para cada entorno, terraform init
y terraform plan
se ejecutan en todas las subcarpetas environments
. Antes de combinar la solicitud de extracción, por ejemplo, puedes revisar los planes para asegurarte de que no se otorgue acceso a una entidad no autorizada.
Configura Terraform para almacenar el estado en un bucket de Cloud Storage
De forma predeterminada, Terraform almacena
el estado
de manera local en un archivo llamado terraform.tfstate
. Esta configuración predeterminada puede dificultar el uso de Terraform para equipos, en especial cuando muchos usuarios ejecutan Terraform al mismo tiempo y cada máquina tiene su propia comprensión de la infraestructura actual.
Para ayudarte a evitar tales problemas, esta sección configura un
estado remoto
que apunta a un bucket de Cloud Storage. El estado remoto es una característica de los
backends
y, en este instructivo, se configura en los archivos backend.tf
, por ejemplo:
En los siguientes pasos, creas un bucket de Cloud Storage y cambias algunos archivos para que apunten a tu bucket nuevo y a tu proyecto de Google Cloud.
En Cloud Shell, crea el bucket de Cloud Storage:
1. Habilita el control de versiones de objetos para mantener el historial de tus implementaciones:PROJECT_ID=$(gcloud config get-value project) gsutil mb gs://${PROJECT_ID}-tfstate
```sh gcloud storage buckets update gs://${PROJECT_ID}-tfstate --versioning ``` Enabling Object Versioning increases [storage costs](/storage/pricing){: track-type="tutorial" track-name="internalLink" track-metadata-position="body" }, which you can mitigate by configuring [Object Lifecycle Management](/storage/docs/lifecycle){: track-type="tutorial" track-name="internalLink" track-metadata-position="body" } to delete old state versions.
Reemplaza el marcador de posición
PROJECT_ID
por el ID del proyecto en los archivosterraform.tfvars
ybackend.tf
:cd ~/solutions-terraform-cloudbuild-gitops sed -i s/PROJECT_ID/$PROJECT_ID/g environments/*/terraform.tfvars sed -i s/PROJECT_ID/$PROJECT_ID/g environments/*/backend.tf
En el SO X/MacOS, es posible que debas agregar dos comillas (
""
) después desed -i
de la siguiente manera:cd ~/solutions-terraform-cloudbuild-gitops sed -i "" s/PROJECT_ID/$PROJECT_ID/g environments/*/terraform.tfvars sed -i "" s/PROJECT_ID/$PROJECT_ID/g environments/*/backend.tf
Verifica si todos los archivos se actualizaron:
git status
El resultado obtenido se verá así:
On branch dev Your branch is up-to-date with 'origin/dev'. Changes not staged for commit: (use "git add <file>..." to update what will be committed) (use "git checkout -- <file>..." to discard changes in working directory) modified: environments/dev/backend.tf modified: environments/dev/terraform.tfvars modified: environments/prod/backend.tf modified: environments/prod/terraform.tfvars no changes added to commit (use "git add" and/or "git commit -a")
Confirma y envía los cambios:
git add --all git commit -m "Update project IDs and buckets" git push origin dev
Según tu configuración de GitHub, tendrás que autenticarte para enviar los cambios anteriores.
Otorga permisos a la cuenta de servicio de Cloud Build
Para permitir que la cuenta de servicio de Cloud Build ejecute secuencias de comandos de Terraform con el objetivo de administrar recursos de Google Cloud, debes otorgarle el acceso adecuado a tu proyecto. Para hacerlo más simple, en este instructivo, se otorga acceso de editor de proyectos. Sin embargo, cuando la función de editor de proyectos tiene un permiso de amplio rango, en entornos de producción debes seguir las prácticas recomendadas de seguridad de TI de tu empresa, para lo cual, por lo general, debes proporcionar el acceso de mínimo privilegio.
En Cloud Shell, recupera el correo electrónico de la cuenta de servicio de Cloud Build de tu proyecto:
CLOUDBUILD_SA="$(gcloud projects describe $PROJECT_ID \ --format 'value(projectNumber)')@cloudbuild.gserviceaccount.com"
Otorga el acceso requerido a tu cuenta de servicio de Cloud Build:
gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$CLOUDBUILD_SA --role roles/editor
Conecta Cloud Build directamente a un repositorio de GitHub
En esta sección, se muestra cómo instalar la app de GitHub de Cloud Build. Esta instalación te permite conectar el repositorio de GitHub con tu proyecto de Google Cloud para que Cloud Build pueda aplicar de forma automática los manifiestos de Terraform cada vez que crees una rama nueva o envíes código a GitHub.
En los siguientes pasos, se proporcionan instrucciones a fin de instalar la app solo para el repositorio
solutions-terraform-cloudbuild-gitops
, pero puedes elegir instalarla en más repositorios o en todos.Ve a la página GitHub Marketplace de la app de Cloud Build:
Abrir la página de la app de Cloud Build
- Si es la primera vez que configuras una app en GitHub, haz clic en Configurar con Google Cloud Build en la parte inferior de la página y, a continuación, haz clic en Otorga a esta aplicación acceso a tu cuenta de GitHub.
- Si no es la primera vez que configuras una app en GitHub, haz clic en Configurar acceso. Se abrirá la página Aplicaciones de tu cuenta personal.
Haz clic en Configurar en la fila de Cloud Build.
Selecciona Solo repositorios seleccionados y, luego, selecciona
solutions-terraform-cloudbuild-gitops
para conectarte al repositorio.Haz clic en Guardar o Instalar, y la etiqueta del botón cambia según el flujo de trabajo. Se te redireccionará a Google Cloud para continuar con la instalación.
Accede con tu cuenta de Google Cloud. Si se te solicita, autoriza la integración de Cloud Build con GitHub.
En la página Cloud Build, selecciona el proyecto. Aparecerá un asistente.
En la sección Selecciona un repositorio, selecciona tu cuenta de GitHub y el repositorio
solutions-terraform-cloudbuild-gitops
.Si aceptas los Términos y Condiciones, selecciona la casilla de verificación y, luego, haz clic en Conectar.
En la sección Crear un activador, haz clic en Crear un activador:
- Agrega un nombre de activador, como
push-to-branch
. Toma nota de este nombre de activador porque lo necesitarás más adelante. - En la sección Evento, selecciona Enviar a una rama.
- En la sección Fuente, selecciona
.*
en el campo Rama. - Haz clic en Crear.
- Agrega un nombre de activador, como
La app de GitHub de Cloud Build ya está configurada y el repositorio de GitHub está vinculado al proyecto de Google Cloud. Desde ahora, los cambios en el repositorio de GitHub activan ejecuciones de Cloud Build, que informan los resultados a GitHub mediante las Verificaciones de GitHub.
Cambia la configuración de tu entorno en una nueva rama de características
En este punto, ya tienes la mayor parte de tu entorno configurado. Por lo tanto, es hora de hacer algunos cambios en el código de tu entorno de desarrollo.
En GitHub, dirígete a la página principal del repositorio bifurcado.
https://github.com/YOUR_GITHUB_USERNAME/solutions-terraform-cloudbuild-gitops
Asegúrate de estar en la rama
dev
.Para abrir el archivo y editarlo, ve al archivo
modules/firewall/main.tf
y haz clic en el ícono de lápiz.En la línea 30, corrige el error tipográfico
"http-server2"
en el campotarget_tags
.El valor debe ser
"http-server"
.Agrega un mensaje de confirmación en la parte inferior de la página, como “Corrección del objetivo de firewall HTTP”, y selecciona Crear una rama nueva para esta confirmación y, luego, iniciar una solicitud de extracción.
Haz clic en Proponer cambios.
En la página siguiente, haz clic en Crear solicitud de extracción para abrir una nueva solicitud de extracción con tu cambio.
Una vez que tu solicitud de extracción esté abierta, se inicia de forma automática un trabajo de Cloud Build.
Haz clic en Show all checks y espera a que la marca se vuelva verde.
Haz clic en Detalles (Details) para ver más información, incluido el resultado del
terraform plan
en el vínculo Ver más detalles de Google Cloud Build.
No combines tu solicitud de extracción.
Ten en cuenta que el trabajo de Cloud Build ejecutó la canalización definida en el archivo
cloudbuild.yaml
. Como se detalló antes, esta canalización tiene comportamientos diferentes según la rama que se recupera. La compilación verifica si la variable$BRANCH_NAME
coincide con alguna carpeta de entorno. Si es así, Cloud Build ejecutaterraform plan
para ese entorno. De lo contrario, Cloud Build ejecutaterraform plan
para todos los entornos a fin de garantizar que el cambio propuesto sea apropiado en todos ellos. Si alguno de estos planes no se ejecuta, falla la compilación.De manera similar, el comando
terraform apply
se ejecuta para las ramas de entorno, pero se ignora por completo en cualquier otro caso. En esta sección, enviaste un cambio de código a una rama nueva, por lo que no se aplicaron implementaciones de infraestructura en el proyecto de Google Cloud.Fuerza la ejecución exitosa de Cloud Build antes de combinar las ramas
Para garantizar que las combinaciones solo se puedan aplicar cuando las ejecuciones respectivas de Cloud Build sean exitosas, continúa con los siguientes pasos:
En GitHub, dirígete a la página principal de tu repositorio bifurcado.
https://github.com/YOUR_GITHUB_USERNAME/solutions-terraform-cloudbuild-gitops
En el nombre de tu repositorio, haz clic en Configuración.
En el menú de la izquierda, haz clic en Ramas.
En Reglas de protección de ramas, haz clic en Agregar regla.
En Patrón del nombre de la rama, escribe
dev
.En la sección Proteger ramas coincidentes, selecciona Solicitar verificaciones de estado para que se aprueben antes de realizar la combinación.
Busca el nombre del activador de Cloud Build que creaste antes.
Haz clic en Crear.
Repite los pasos del 3 al 7 y establece el Branch name pattern en
prod
.
Esta configuración es importante para proteger las ramas
dev
yprod
. Es decir, las confirmaciones primero deben enviarse a otra rama y solo entonces pueden combinarse con la rama protegida. En este instructivo, la protección requiere que la ejecución de Cloud Build sea exitosa para que se permita la combinación.Promueve los cambios en el entorno de desarrollo
Tienes una solicitud de extracción en espera para combinarse. Es momento de aplicar el estado que deseas en el entorno
dev
.En GitHub, dirígete a la página principal del repositorio bifurcado.
https://github.com/YOUR_GITHUB_USERNAME/solutions-terraform-cloudbuild-gitops
Bajo el nombre del repositorio, haz clic en Solicitudes de extracción.
Haz clic en la solicitud de extracción que acabas de crear.
Haz clic en Merge pull request (Combinar solicitud de extracción) y, luego, en Confirmar combinación.
Verifica que se haya activado una Cloud Build nueva:
Abre la compilación y verifica los registros.
Cuando finalice la compilación, verás algo como lo siguiente:
Step #3 - "tf apply": external_ip = EXTERNAL_IP_VALUE Step #3 - "tf apply": firewall_rule = dev-allow-http Step #3 - "tf apply": instance_name = dev-apache2-instance Step #3 - "tf apply": network = dev Step #3 - "tf apply": subnet = dev-subnet-01
Copia
EXTERNAL_IP_VALUE
y abre la dirección en un navegador web.http://EXTERNAL_IP_VALUE
Este aprovisionamiento puede tardar unos segundos en iniciar la VM y propagar la regla de firewall. Con el tiempo, verás Entorno: dev en el navegador web.
Navega hasta el archivo de estado de Terraform en el bucket de Cloud Storage.
https://storage.cloud.google.com/PROJECT_ID-tfstate/env/dev/default.tfstate
Promueve los cambios en el entorno de producción
Ahora que probaste por completo tu entorno de desarrollo, puedes promover tu código de infraestructura en la producción.
En GitHub, dirígete a la página principal del repositorio bifurcado.
https://github.com/YOUR_GITHUB_USERNAME/solutions-terraform-cloudbuild-gitops
Bajo el nombre del repositorio, haz clic en Solicitudes de extracción.
Haz clic en New pull request.
En el repositorio base, selecciona el repositorio recién bifurcado.
En base, selecciona
prod
en tu propio repositorio base. Para comparar, seleccionadev
.Haz clic en Create pull request.
En título, ingresa un título como
Promoting networking changes
y, luego, haz clic en Crear solicitud de extracción.Revisa los cambios propuestos, incluidos los detalles del
terraform plan
de Cloud Build y, luego, haz clic en Combinar solicitud de extracción.Haz clic en Confirmar combinación.
En la consola de Google Cloud, abre la página Historial de compilación para ver cómo se aplican los cambios al entorno de producción:
Espera a que termine la compilación y, luego, verifica los registros.
Al final de los registros, verás algo como esto:
Step #3 - "tf apply": external_ip = EXTERNAL_IP_VALUE Step #3 - "tf apply": firewall_rule = prod-allow-http Step #3 - "tf apply": instance_name = prod-apache2-instance Step #3 - "tf apply": network = prod Step #3 - "tf apply": subnet = prod-subnet-01
Copia
EXTERNAL_IP_VALUE
y abre la dirección en un navegador web.http://EXTERNAL_IP_VALUE
Este aprovisionamiento puede tardar unos segundos en iniciar la VM y propagar la regla de firewall. Con el tiempo, verás Entorno: prod en el navegador web.
Navega hasta el archivo de estado de Terraform en el bucket de Cloud Storage.
https://storage.cloud.google.com/PROJECT_ID-tfstate/env/prod/default.tfstate
Configuraste con éxito una canalización de infraestructura como código sin servidores en Cloud Build. En el futuro, podrías probar lo siguiente:
- Agregar implementaciones para casos prácticos independientes
- Crear entornos adicionales para reflejar tus necesidades
- Usar un proyecto por entorno en lugar de una VPC por entorno
Limpieza
Una vez que completaste el instructivo, borra los recursos que creaste en Google Cloud a fin de que no se te cobre por ellos en el futuro.
Borra el proyecto
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Borra el repositorio de GitHub
Para evitar bloquear nuevas solicitudes de extracción en tu repositorio de GitHub, puedes borrar las reglas de protección de ramas:
- En GitHub, dirígete a la página principal de tu repositorio bifurcado.
- En el nombre de tu repositorio, haz clic en Configuración.
- En el menú de la izquierda, haz clic en Ramas.
- En la sección Reglas de protección de ramas, haz clic en el botón Borrar para las filas
dev
yprod
.
De manera opcional, puedes desinstalar por completo la app de Cloud Build de GitHub:
Ve a la configuración de Aplicaciones de GitHub.
En la pestaña Apps de GitHub instaladas, haz clic en Configurar en la fila Cloud Build. Luego, en la sección Zona de peligro, haz clic en el botón Desinstalar en la fila Desinstalar Google Cloud Builder.
En la parte superior de la página, verás un mensaje que dice "Estás listo. Se puso en cola un trabajo para desinstalar Google Cloud Build”.
En la pestaña Apps de GitHub autorizadas, haz clic en el botón Revocar en la fila Google Cloud Build y, luego, Entiendo, revocar acceso en la ventana emergente.
Si no deseas conservar tu repositorio de GitHub, haz lo siguiente:
- En GitHub, ve a la página principal del repositorio bifurcado.
- En el nombre de tu repositorio, haz clic en Configuración.
- Desplázate hacia abajo hasta la Zona de peligro.
- Haz clic en Borrar este repositorio y sigue los pasos para confirmar.
¿Qué sigue?
- Considera usar plantillas de Cloud Foundation Toolkit a fin de crear con rapidez una base lista para empresas repetible en Google Cloud.
- Mira el video sobre entornos de Google Cloud repetibles a gran escala con canalizaciones de infraestructura como código de Cloud Build de Next '19 acerca del flujo de trabajo de GitOps descrito en este instructivo.
- Consulta el instructivo de entrega continua de estilo GitOps con Cloud Build.
- Consulta las características más avanzadas de Cloud Build: Configura el orden de los pasos de la compilación, Compila, prueba e implementa artefactos, y Crea pasos de compilación personalizados.
- Consulta el blog Garantiza el escalamiento y el cumplimiento de tus implementaciones de Terraform con Cloud Build.
- Lee nuestros recursos sobre DevOps.
- Obtén más información sobre las capacidades de DevOps relacionadas con este instructivo:
- Realiza la verificación rápida de DevOps para comprender cuál es tu posición en comparación con el resto de la industria.