Como usar recomendações para infraestrutura como código

Ao concluir este tutorial, exclua os recursos criados para evitar o faturamento contínuo. Veja mais detalhes em Como fazer a limpeza.

configure o ambiente

1. No console do Google Cloud, selecione seu projeto build.

2. No console do Google Cloud, acesse o Cloud Shell.

   Acesse o Cloud Shell

   Na parte debaixo do console do Google Cloud, uma sessão do Cloud Shell é aberta e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a Google Cloud CLI já instalada e com valores já definidos para seu projeto atual. A inicialização da sessão pode levar alguns segundos.

   Use o Cloud Shell para todos os comandos do terminal neste tutorial.

3. Crie uma variável de ambiente para manter o número do projeto build usando o comando abaixo:

   export BUILD_PROJECT_ID=$DEVSHELL_PROJECT_ID
   

4. Crie uma variável de ambiente para manter o número do seu projeto test. Copie o ID do projeto de teste manualmente e substitua PROJECT-ID por ele.

   export TEST_PROJECT_ID=PROJECT-ID

5. Atribua configurações padrão aos valores usados em todo o tutorial, como região e zona. Neste tutorial, us-central1 é usada como região padrão e us-central1-b como zona padrão.

6. Defina a região e a zona padrão deste tutorial executando o seguinte comando:

   gcloud config set compute/zone us-central1-b --project $BUILD_PROJECT_ID
   gcloud config set compute/zone us-central1-b --project $TEST_PROJECT_ID
   

7. Defina seu projeto build como o projeto padrão:

   gcloud config set project $BUILD_PROJECT_ID
   

8. Crie uma variável de ambiente chamada BUILD_PROJECT_NUMBER para o número do projeto build

   export BUILD_PROJECT_NUMBER=$(gcloud projects describe $DEVSHELL_PROJECT_ID --format='value(projectNumber)')
   

9. Clone o repositório do GitHub para este tutorial:

Crie um bucket para o estado do Terraform

Crie um bucket do Cloud Storage no projeto de criação para armazenar o arquivo de estado do Terraform.

gcloud storage buckets create gs://recommender-tf-state-$BUILD_PROJECT_ID \
  --project=${BUILD_PROJECT_ID} --location=us-central1

Crie um repositório do GitHub

Crie um repositório do GitHub para servir de exemplo de repositório de IaC

1. Crie um novo repositório particular do GitHub. Este repositório do IAC-REPO-NAME funciona como seu repositório de IaC para a finalidade deste tutorial

2. Nas próximas etapas, você enviará os arquivos no subdiretório sample-iac do repositório clonado para sua conta do GitHub.

   1. No Cloud Shell, copie o diretório sample-iac para seu diretório principal. Você usará esse diretório para criar um novo repositório local e enviá-lo para o GitHub.

      cp -r recommender-iac-pipeline-nodejs-tutorial/sample-iac $HOME
      

   2. Navegue até o novo diretório

      cd $HOME/sample-iac
      

   3. Inicialize o repositório na sua máquina local.

      git init
      

   4. Adicione IAC-REPO-NAME como o repositório remoto, substituindo IAC-REPO-NAME e GITHUB-ACCOUNT pelos valores apropriados

      git remote add origin https://github.com/GITHUB-ACCOUNT/IAC-REPO-NAME

   5. Substitua os marcadores nos arquivos neste repositório pelo ID do projeto test e pelo nome do bucket do Cloud Storage do Terraform.

      sed -i "s|__PROJECT_ID__|${TEST_PROJECT_ID}|g" ./terraform.tfvars
      
      sed -i "s|__STATE_BUCKET_NAME__|recommender-tf-state-$BUILD_PROJECT_ID|g" ./backend.tf
      

   6. Adicione, confirme e envie para o GitHub.

      git add .
      git commit -m "First Commit"
      git push origin master
      

   7. Faça login na sua conta do GitHub quando solicitado.

Gere chaves SSH para o repositório

Configure a autenticação de chave SSH com seu repositório de IaC no GitHub e faça upload das chaves no Cloud Storage.

1. Gere chaves SSH para seu repositório do GitHub.

   1. Gere um par de chaves SSH. Substitua your_email@example.com pelo seu endereço de e-mail do GitHub. No Cloud Shell, faça o seguinte:

      ssh-keygen -t rsa -b 4096 -m PEM -C "your_email@example.com"

   2. Quando for solicitado a "Inserir um arquivo em que a chave seja salva", pressione Enter. Isso aceita o local padrão do arquivo.

   3. No prompt para inserir uma senha longa, pressione Enter.

2. Anote o diretório SSH-KEYS-DIR em que você colocou as chaves SSH salvas. Por padrão, o local é $HOME/.ssh/

3. Copie a chave pública SSH que você gerou para o repositório do GitHub como uma Chave de implantação.

   1. Copie a chave pública SSH que você gerou no Cloud Shell. Substitua SSH-KEYS-DIR pelo caminho do diretório.

      cat SSH-KEYS-DIR/id_rsa.pub

   2. Na sua conta do GitHub, navegue até o repositório IAC-REPO-NAME

   3. Clique em Configurações > Implantar chaves.

   4. Clique em adicionar chave de implantação e cole a chave pública SSH que você copiou. Escolha um Título para a chave.

   5. Marque a caixa de seleção "Permitir acesso de gravação"

   6. Clique em Salvar.

4. Volte para a sessão do Cloud Shell

5. Crie o arquivo known_hosts para o GitHub. Na sessão do Cloud Shell, execute o comando:

   ssh-keyscan github.com >> ~/.ssh/known_hosts
   

6. Crie um bucket do Cloud Storage no projeto build e faça upload das chaves SSH e do arquivo known_hosts para ele. Substitua SSH-KEYS-DIR pelo caminho para o diretório em que você gerou as chaves SSH.

   gcloud storage buckets create gs://github-keys-$BUILD_PROJECT_ID --project=${BUILD_PROJECT_ID} --location=us-central1
   
   gcloud storage cp SSH-KEYS-DIR/id_rsa* gs://github-keys-$BUILD_PROJECT_ID
   gcloud storage cp SSH-KEYS-DIR/known_hosts gs://github-keys-$BUILD_PROJECT_ID

7. Gere um token de acesso pessoal para o GitHub. Esse token é usado ao executar operações do Git que utilizam chamadas de API que o serviço do analisador do recomendador realiza para gerar solicitações de envio e manifestos de IaC atualizados.

   1. Na sua conta do GitHub, no canto superior direito de qualquer página, clique na sua foto de perfil e depois em Configurações.

   2. Na barra lateral esquerda, clique em Configurações do desenvolvedor.

   3. Na barra lateral esquerda, clique em Tokens de acesso pessoal

   4. Clique em "Gerar novo token".

   5. Dê ao token um nome descritivo.

   6. Selecione os escopos como repo.

   7. Clique em Gerar token.

   8. Copie o token para a área de transferência.

   9. Na sessão do Cloud Shell, crie uma variável de ambiente.

      export GITHUB_PAT=personal-access-token-you-copied

Configurar o Cloud Build

1. Conecte seu repositório Git IAC-REPO-NAME para se integrar ao Cloud Build.

   1. Acesse a página do aplicativo Cloud Build no GitHub Marketplace.
   2. Role para baixo e clique em Configuração com o Google Cloud Build na parte inferior da página.
   3. Se solicitado, faça login no GitHub.
   4. Selecione Somente repositórios selecionados. Use a lista suspensa Selecionar repositórios para ativar apenas o acesso ao IAC-REPO-NAME no aplicativo Cloud Build.
   5. Clique em Instalar.

   6. Faça login no Google Cloud.

      A página "Autorização" é exibida onde você precisa autorizar o aplicativo Google Cloud Build para se conectar ao Google Cloud.

   7. Clique em Authorize Google Cloud Build by GoogleCloudBuild. Você será redirecionado para o Console do Google Cloud.

   8. Selecione seu projeto do Google Cloud.

   9. Ative a caixa de seleção de consentimento e clique em Avançar.

   10. Na página Selecionar repositório exibida, selecione o repo IAC-REPO-NAME do GitHub.

   11. Clique em Conectar repositório.

   12. Clique em Criar um gatilho. Isso criará uma definição de gatilho para você.

   13. Clique em Criar para salvar o gatilho de compilação.

   Para mais informações, consulte Como executar versões no GitHub.

2. O diretório que você copiou tem um arquivo cloudbuild.yaml. Este arquivo de configuração descreve as etapas que um job do Cloud Build executa quando acionado.

   steps:
   - name: hashicorp/terraform:0.12.0
     args: ['init']
   - name: hashicorp/terraform:0.12.0
     args: ['apply', '-auto-approve']
   

3. Adicionar permissões à sua conta de serviço do Cloud Build para permitir que ela crie contas de serviço, associe papéis e máquinas virtuais (instâncias do Compute Engine) no projeto de teste

   gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \
     --member serviceAccount:$BUILD_PROJECT_NUMBER@cloudbuild.gserviceaccount.com \
     --role roles/compute.admin \
     --project $TEST_PROJECT_ID
   
   gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \
     --member serviceAccount:$BUILD_PROJECT_NUMBER@cloudbuild.gserviceaccount.com \
     --role roles/iam.serviceAccountAdmin \
     --project $TEST_PROJECT_ID
   
   gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \
   --member serviceAccount:$BUILD_PROJECT_NUMBER@cloudbuild.gserviceaccount.com \
   --role roles/iam.securityAdmin \
   --project $TEST_PROJECT_ID
   

4. Abra a página "Gatilhos de compilação" no console do Google Cloud.

5. Selecione o projeto build e clique em Abrir.

6. Atualize a definição do gatilho:

   1. Clique no menu more_vert e em Editar.
   2. Em Configuração, selecione a opção Arquivo de configuração do Cloud Build (yaml ou json) e digite cloudbuild.yaml no campo de texto.
   3. Clique em Salvar.

7. Para testar manualmente o gatilho de compilação, clique em Executar na entrada do gatilho na lista.

8. Verifique se uma instância do Compute Engine chamada tf-compute-1 e uma conta de serviço chamada Terraform Recommender Test foram criadas no seu projeto de teste pelo job do Cloud Build executado na etapa anterior

Implante o serviço do analisador do recomendador do Cloud Run

1. No Cloud Shell, altere os diretórios para o diretório criado clonando o repositório

   cd $HOME/recommender-iac-pipeline-nodejs-tutorial/parser-service
   

2. Configure o Google Cloud para usar uma região padrão nos serviços do Cloud Run. Neste tutorial, use a região us-central1, mas também é possível escolher uma região compatível diferente, se preferir.

   gcloud config set run/region us-central1
   

3. O diretório parser-service tem um subdiretório de stub com alguns JSONs de payload de amostra para você testar o serviço do analisador do recomendador. Execute os seguintes comandos sed para substituir os marcadores PROJECT_ID nesses JSONs pelo ID do projeto de teste.

   sed -i "s|__PROJECT_ID__|${TEST_PROJECT_ID}|g" ./stub/iam.json
   sed -i "s|__PROJECT_ID__|${TEST_PROJECT_ID}|g" ./stub/vm.json
   

4. Execute o seguinte comando para criar uma variável de ambiente para a imagem do Docker.

   export IMAGE=gcr.io/$BUILD_PROJECT_ID/recommender-parser:1.0
   

5. Crie a imagem e faça o upload para o Container Registry.

   gcloud builds submit --tag $IMAGE .
   

6. Crie uma conta de serviço para que o serviço do analisador do recomendador interaja com outros serviços do Google Cloud no pipeline. É uma boa prática conceder permissões granulares aos serviços do Cloud Run. Para mais detalhes, consulte a identidade do serviço do Cloud Run.

   gcloud beta iam service-accounts create recommender-parser-sa \
     --description "Service account that the recommender-parser service uses to invoke other Google Cloud services" \
     --display-name "recommender-parser-sa" \
     --project $BUILD_PROJECT_ID
   

7. O serviço do analisador do recomendador precisa acessar as chaves SSH do GitHub e o estado do Terraform que você enviou para os buckets do Cloud Storage criados anteriormente. Adicione a conta de serviço como um membro ao bucket do Cloud Storage.

   gcloud storage buckets add-iam-policy-binding gs://github-keys-$BUILD_PROJECT_ID \
     --member=serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role=roles/storage.objectUser
   
   gcloud storage buckets add-iam-policy-binding gs://recommender-tf-state-$BUILD_PROJECT_ID \
     --member=serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role=roles/storage.objectUser
   

8. Conceda à conta de serviço do analisador do recomendador o acesso ao Firestore, ao Recommender e à API Service Usage.

   gcloud projects add-iam-policy-binding $BUILD_PROJECT_ID \
     --member serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role roles/datastore.user
   
   gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \
     --member serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role roles/recommender.iamAdmin
   
   gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \
     --member serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role roles/recommender.iamViewer
   
   gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \
     --member serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role roles/recommender.computeAdmin
   
   gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \
     --member serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role roles/serviceusage.serviceUsageConsumer
   

9. Para implantar o serviço do Cloud Run, chamado analisador do recomendador, execute o comando. Substitua GITHUB-ACCOUNT pelo nome de usuário da sua conta do GitHub, e não por e-mail. Aceite todas as solicitações do sistema.

   gcloud run deploy \
    --image=${IMAGE} \
    --no-allow-unauthenticated \
    --region us-central1 \
    --platform managed \
    --service-account recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
    --set-env-vars="GITHUB_ACCOUNT=github.com:GITHUB-ACCOUNT,GITHUB_PAT=${GITHUB_PAT},SSH_KEYS_BUCKET=github-keys-${BUILD_PROJECT_ID},TERRAFORM_STATE_BUCKET=recommender-tf-state-$BUILD_PROJECT_ID" \
    --project $BUILD_PROJECT_ID \
    recommender-parser

Configurar o Firestore

1. No Console do Google Cloud, em seu projeto build, navegue até a página Firestore.
2. Quando a seleção do modo for solicitada, clique em Selecionar modo nativo.
3. Selecione us-east1 como o local padrão.
4. Clique em Criar banco de dados.

O serviço recommender-parser grava documentos nesta banco de dados para as seguintes finalidades:

• Para acompanhar as recomendações recuperadas da API Recommender
• Chame a API Recommender depois que as recomendações forem processadas para atualizar o status de cada recomendação processada para SUCCEEDED ou FAILED, conforme apropriado. Essa é uma etapa importante que torna o pipeline idempotente, garantindo que as recomendações não sejam processadas de maneira incompleta ou várias vezes.

Configurar um job do Cloud Scheduler

1. Crie uma conta de serviço que os jobs do Cloud Scheduler usem para executar o serviço do analisador do recomendador.

   gcloud beta iam service-accounts create recommender-scheduler-sa \
     --description "Service Account used by Cloud Scheduler to invoke the recommender-parser service" \
     --display-name "recommender-scheduler-sa" \
     --project $BUILD_PROJECT_ID
   

2. Dê o papel de execução/invoker da conta de serviço para invocar o serviço do Cloud Run.

   gcloud beta run services add-iam-policy-binding recommender-parser \
   --member=serviceAccount:recommender-scheduler-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
   --role=roles/run.invoker \
   --region=us-central1
   

3. Receba o URL do serviço do recomendador:

   gcloud beta run services list --platform managed --project $BUILD_PROJECT_ID
   

   O job do Cloud Scheduler invoca a rota /recommendation/iam do serviço do analisador do recomendador para analisar as recomendações do IAM e a rota /recommender/vm para analisar as recomendações de dimensionamento da VM.

4. Crie uma variável para o endpoint invocado pelos jobs do Cloud Scheduler. Substitua RECOMMENDER-SERVICE-URL pelo URL do serviço do recomendador que você copiou na etapa anterior.

   export RECOMMENDER_ROUTE_TO_INVOKE_IAM=RECOMMENDER-SERVICE-URL/recommendation/iam

   O URL será parecido com esta amostra de URL depois da anexação das informações da rota:

   RECOMMENDER-SERVICE-URL/recommendation/iam
   

5. Crie um job do Cloud Scheduler chamado recommender-iam-scheduler.

   • Altere o fuso horário selecionado com base no seu local.
   • Substitua IAC-REPO-NAME pelo nome do repositório do GitHub que você criou.

   O corpo da mensagem recebe três entradas, e você precisa construí-la conforme descrito abaixo:

   • repo: é o nome do repositório IAC-REPO-NAME do GitHub que você criou em Criar um repositório do GitHub.

   • projects: uma lista/matriz de IDs de projetos do Google Cloud para o qual esse repositório do IaC do GitHub será mapeado. Neste tutorial, este é seu projeto test.

   • stub: o recomendador gera recomendações do IAM quando um subconjunto de permissões para um papel não é usado por 60 dias e quando recomendações de dimensionamento da VM seguem um padrão semelhante. Para testar esse pipeline sob demanda, stub pode ser transmitido como true para que o pipeline seja testado usando os payloads do recomendador de amostra fornecidos no repositório que você clonou para este tutorial.

   gcloud beta scheduler jobs create http recommender-iam-scheduler \
     --project $BUILD_PROJECT_ID \
     --time-zone "America/Los_Angeles" \
     --schedule="0 */3 * * *" \
     --uri=$RECOMMENDER_ROUTE_TO_INVOKE_IAM \
     --description="Scheduler job to invoke recommendation pipeline" \
     --oidc-service-account-email="recommender-scheduler-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com" \
     --headers="Content-Type=application/json" \
     --http-method="POST" \
     --message-body="{ \"repo\": \"IAC-REPO-NAME\", \"projects\": [\"$TEST_PROJECT_ID\"], \"location\": \"global\", \"stub\": true }"

Etapas adicionais

O Cloud Build publica informações de versão em um tópico do Pub/Sub chamado cloud-builds que foi criado automaticamente quando você ativou a API Cloud Build no seu projeto de versão.

1. Execute o seguinte comando para verificar se o tópico do cloud-builds existe no seu projeto build:

   gcloud pubsub topics describe cloud-builds
   

   Se o tópico existir, você verá a saída a seguir, em que BUILD-PROJECT-ID é o ID do projeto do build:

   name: projects/BUILD-PROJECT-ID/topics/cloud-builds
   

   Se você receber uma mensagem de erro informando que o recurso não foi encontrado, siga as instruções para inscrever-se para criar notificações e criar o tópico manualmente.

2. Crie uma conta de serviço que o Pub/Sub possa usa para invocar o endpoint de serviço do analisador do recomendador.

   gcloud beta iam service-accounts create recommender-ci-subscription-sa \
     --description "Service Account used by Cloud Pub/Sub to push Cloud Build events to the recommender-parser service" \
     --display-name "recommender-ci-subscription-sa" \
     --project $BUILD_PROJECT_ID
   

3. A conta de serviço do Pub/Sub precisa estar associada aos papéis necessários para publicar mensagens e invocar o serviço do analisador do recomendador.

   gcloud projects add-iam-policy-binding $BUILD_PROJECT_ID \
     --member serviceAccount:recommender-ci-subscription-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role roles/pubsub.publisher \
     --project $BUILD_PROJECT_ID
   
   gcloud projects add-iam-policy-binding $BUILD_PROJECT_ID \
     --member serviceAccount:recommender-ci-subscription-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role roles/pubsub.subscriber \
     --project $BUILD_PROJECT_ID
   
   gcloud projects add-iam-policy-binding $BUILD_PROJECT_ID \
     --member serviceAccount:recommender-ci-subscription-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role roles/run.invoker \
     --project $BUILD_PROJECT_ID
   

4. Adicione a conta de serviço recommender-ci-subscription-sa criada para o serviço do analisador do recomendador como membro usando o papel invoker

   gcloud beta run services add-iam-policy-binding recommender-parser \
     --member=serviceAccount:recommender-ci-subscription-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role=roles/run.invoker --region=us-central1
   

5. Navegue até o Pub/Sub no Console do Google Cloud.

6. Clique no tópico cloud-builds.

7. Clique em Criar assinatura.

8. Para o ID da assinatura, digite recommender-service-build-events.

9. Em Tipo de entrega, selecione Push.

10. Em Endpoint, digite o URL do serviço do recomendador anexado por /ci.

11. Marque Ativar autenticação.

    1. Selecione a conta de serviço recommender-ci-subscription-sa criada.
    2. Clique em Conceder em resposta à mensagem de solicitação.

12. Selecione Prazo de confirmação como 60 segundos.

13. Mantenha os demais padrões.

14. Clique em Criar.

Testar o pipeline

O recomendador gera recomendações do IAM quando um subconjunto de permissões de um papel não é usado por 60 dias. As recomendações de dimensionamento da VM seguem um padrão semelhante. Para testar esse pipeline sob demanda, use os payloads de amostra de recomendação JSON fornecidos no subdiretório stub no repositório clonado para este tutorial. Com isso, é possível testar o pipeline excluindo as chamadas de API que o analisador do recomendador realiza no endpoint da API Recommender para atualizar o status de recomendações que foram aplicadas com sucesso.

Como alternativa, se você tem recomendações ativas nos seus projetos do Google Cloud, é possível testar o pipeline de ponta a ponta sem precisar usar stubs. O resultado descrito abaixo é pertinente quando você está usando os payloads de amostra para testar o pipeline. No entanto, as etapas para testar esse pipeline sem amostras permanecem as mesmas.

1. No console do Google Cloud, navegue até o projeto de teste e analise o recurso que foi criado. Você precisa ter o seguinte:

   1. Uma instância do Compute Engine chamada tf-compute-1 com o tipo de máquina g1-small.
   2. Uma conta de serviço chamada Terraform Recommender Test com o papel de editor para seu projeto de teste.

2. Na página do console do Cloud Scheduler no projeto build, clique em Executar agora para o job recommender-iam-scheduler.

3. Clique no job para ver os registros. É possível também ver os registros do serviço do analisador do recomendador para ter uma visão detalhada das etapas que estão sendo executadas pelo serviço.

4. Quando a execução do serviço for concluída, navegue até o repositório IAC-REPO-NAME do GitHub. O serviço recommender-parser pode ter gerado uma solicitação de envio para você. Revise os manifestos de IaC modificados que compõem essa solicitação de envio e clique em Mesclar solicitação de envio, se você estiver satisfeito com as alterações nos manifestos de IaC.

5. Uma nova confirmação para a ramificação mestre é criada quando a solicitação de envio é mesclada. Isso aciona um job do Cloud Build que implanta as modificações nos recursos do Google Cloud no projeto test. Aguarde alguns minutos para que o job do Cloud Build seja concluído. Analise o status dele no console do Google Cloud

6. Quando o job for concluído, navegue até o projeto de teste. Os payloads de amostra fornecidos têm as seguintes alterações nos recursos no projeto de teste.

   • A conta de serviço de teste do Terraform, que anteriormente tinha o papel de editor ao ser implantada, foi alterada para viewer.