Criar clusters básicos

Esta é a segunda parte de um guia que explica uma pequena instalação de prova de conceito do GKE no VMware. A primeira parte é Configurar uma infraestrutura mínima, que mostra como planejar seus endereços IP e a infraestrutura necessária do vSphere e do Google Cloud para sua implantação. Este documento se baseia na configuração e no planejamento feitos na seção anterior e mostra como criar uma estação de trabalho de administrador, um cluster de administrador e um cluster de usuário no ambiente vSphere, usando modelos simples que podem ser preencha este documento. Depois, você pode implantar um aplicativo.

Assim como a configuração de infraestrutura desta instalação simples, os clusters configurados usando este documento podem não ser adequados para suas necessidades de produção e casos de uso reais. Para mais informações, práticas recomendadas e instruções para instalações de produção, consulte os guias de instalação.

Antes de começar

1. Verifique se você configurou seus ambientes do vSphere e do Google Cloud, conforme descrito em Configurar infraestrutura mínima.

2. Se você quiser usar o Terraform para criar o cluster de usuário, use o Terraform na estação de trabalho do administrador ou em outro computador.

Visão geral do procedimento

Estas são as principais etapas envolvidas na configuração:

1. Faça login na Google Cloud CLI com uma conta que tenha as permissões necessárias para criar contas de serviço.

2. Reúna as informações necessárias para configurar o GKE no VMware, incluindo seu nome de usuário e senha do vCenter e os endereços IP que você preparou na seção anterior.

3. Crie uma estação de trabalho de administrador que tenha os recursos e as ferramentas necessários para criar clusters de administrador e de usuário, incluindo as contas de serviço extras necessárias para concluir a configuração.

4. Crie um cluster de administrador para gerenciar e atualizar o cluster de usuário.

5. Crie um cluster de usuário para executar cargas de trabalho.

1. Faça login no Google Cloud CLI

A configuração do GKE no VMware requer várias contas de serviço com permissões diferentes. Embora você precise criar a conta de serviço de acesso a componentes manualmente, a ferramenta de linha de comando gkeadm pode criar e configurar versões padrão das contas restantes para você como parte da criação da estação de trabalho do administrador. Para isso, no entanto, você precisa fazer login na Google Cloud CLI com uma conta que tenha as permissões necessárias para criar e configurar contas de serviço, já que gkeadm usa sua CLI gcloud atual account propriedade ao fazer essa configuração.

1. Faça login na CLI gcloud. Você pode usar qualquer Conta do Google, mas ela precisa ter as permissões necessárias. Se você seguiu a parte anterior deste guia, provavelmente já fez login com uma conta apropriada para criar sua conta de serviço de acesso a componentes.

   gcloud auth login
   

2. Verifique se a propriedade account da CLI gcloud está definida corretamente:

   gcloud config list
   

   A saída mostra o valor da propriedade account do SDK. Exemplo:

   [core]
   account = my-name@google.com
   disable_usage_reporting = False
   Your active configuration is: [default]
   

3. Verifique se você tem os componentes mais recentes da gcloud CLI instalados:

   gcloud components update
   

   Dependendo de como você instalou a gcloud CLI, talvez você veja a seguinte mensagem: "Não é possível executar esta ação porque o gerenciador de componentes da CLI do Google Cloud está desativado para esta instalação. Execute o comando a seguir para atingir o mesmo resultado para esta instalação:" Siga as instruções para copiar e colar o comando e atualizar os componentes.

2. Coletar informações

Use as informações preparadas em Configurar infraestrutura mínima para editar os marcadores na tabela a seguir:

3. Criar uma estação de trabalho de administrador

Antes de criar clusters, você precisa criar uma estação de trabalho de administrador e se conectar a ela usando SSH. A estação de trabalho do administrador é uma VM independente com as ferramentas e os recursos necessários para criar clusters do GKE Enterprise no ambiente do vSphere. Use a ferramenta de linha de comando gkeadm para criar a estação de trabalho do administrador.

Fazer o download do gkeadm

Faça o download de gkeadm no seu diretório atual.

gsutil cp gs://gke-on-prem-release/gkeadm/1.28.200-gke.111/linux/gkeadm ./
chmod +x gkeadm

Você precisa da versão gkeadm (que também é a versão do GKE no VMware) para criar os arquivos de configuração do cluster de administrador e de usuário. Para verificar a versão de gkeadm, execute o seguinte:

./gkeadm version

O exemplo de saída a seguir mostra a versão.

gkeadm 1.28.300 (1.28.200-gke.111)

Embora seja possível fazer o download de outra versão do gkeadm, este guia pressupõe que você esteja instalando a 1.28.200-gke.111 e usa essa versão em todos os arquivos de configuração e comandos.

Criar o arquivo de credenciais

Crie e salve um arquivo chamado credential.yaml no seu diretório atual com o seguinte conteúdo:

apiVersion: v1
kind: CredentialFile
items:
- name: vCenter
  username: "USERNAME"
  password: "PASSWORD"

Criar o arquivo de configuração da estação de trabalho do administrador

Crie e salve novamente um arquivo chamado admin-ws-config.yaml no seu diretório atual com o seguinte conteúdo:

gcp:
  componentAccessServiceAccountKeyPath: "COMPONENT_ACCESS_SA_KEY_PATH"
vCenter:
  credentials:
    address: "ADDRESS"
    fileRef:
      path: "credential.yaml"
      entry: "vCenter"
  datacenter: "DATA_CENTER"
  datastore: "DATASTORE"
  cluster: "VSPHERE_CLUSTER"
  network: "NETWORK"
  resourcePool: "RESOURCE_POOL"
  caCertPath: "CA_CERT_PATH"
proxyUrl: ""
adminWorkstation:
  name: "minimal-installation-admin-workstation"
  cpus: 4
  memoryMB: 8192
  diskGB: 50
  dataDiskName: gke-on-prem-admin-workstation-data-disk/minimal-installation-data-disk.vmdk
  dataDiskMB: 512
  network:
    ipAllocationMode: "static"
    hostConfig:
      ip: "ADMIN_WS_IP"
      gateway: "DEFAULT_GATEWAY_IP"
      netmask: "NETMASK"
      dns:
      - "DNS_SERVER_IP"
  proxyUrl: ""
  ntpServer: ntp.ubuntu.com

Criar a estação de trabalho de administrador

Crie a estação de trabalho do administrador usando o seguinte comando:

./gkeadm create admin-workstation --auto-create-service-accounts

Execute este comando:

• Cria a estação de trabalho do administrador
• Cria automaticamente outras contas de serviço necessárias para a instalação.
• Cria arquivos de configuração de modelo para os clusters de administrador e de usuário

A saída fornece informações detalhadas sobre a criação da estação de trabalho do administrador e fornece um comando que pode ser usado para ter uma conexão SSH com a estação de trabalho do administrador:

...
Admin workstation is ready to use.
Admin workstation information saved to /usr/local/google/home/me/my-admin-workstation
This file is required for future upgrades
SSH into the admin workstation with the following command:
ssh -i /usr/local/google/home/me/.ssh/gke-admin-workstation ubuntu@172.16.20.49
********************************************************************

Para informações mais detalhadas sobre como criar uma estação de trabalho de administrador, consulte Criar uma estação de trabalho de administrador.

Conectar-se à estação de trabalho do administrador

Use o comando exibido na saída anterior para conseguir uma conexão SSH para a estação de trabalho do administrador. Exemplo:

ssh -i /usr/local/google/home/me/.ssh/gke-admin-workstation ubuntu@172.16.20.49

Se você precisar encontrar esse comando novamente, o gkeadm gerará um arquivo chamado gke-admin-ws-... no diretório da sua máquina local em que o gkeadm create admin-workstation foi executado. Ele contém detalhes sobre a estação de trabalho do administrador, incluindo o comando SSH.

Na estação de trabalho do administrador, digite exit para encerrar a conexão SSH e retornar à sua máquina local.

Copie a chave de registro de auditoria para a estação de trabalho do administrador

Na seção anterior, você criou um arquivo de chave JSON para sua conta de serviço de registro de auditoria.

Copie o arquivo de chave JSON para o diretório inicial na estação de trabalho do administrador. Por exemplo, na sua máquina local:

scp -i /usr/local/google/home/me/.ssh/gke-admin-workstation audit-logging-key.json ubuntu@172.16.20.49:~

Ver arquivos na estação de trabalho do administrador

Mais uma vez, acesse uma conexão SSH com a estação de trabalho do administrador.

Na estação de trabalho do administrador, liste os arquivos no diretório principal:

ls -1

A saída pode incluir:

• admin-cluster.yaml, um arquivo de configuração de modelo para criar seu cluster de administrador.
• user-cluster.yaml, um arquivo de configuração de modelo para criar o cluster de usuário.
• O arquivo de certificado do vCenter que você especificou na configuração da estação de trabalho do administrador
• O arquivo credential.yaml que você especificou na configuração da estação de trabalho do administrador.
• O arquivo de chave JSON da conta de serviço de registro de auditoria.
• Arquivos de chave JSON para duas contas de serviço gkeadm criadas para você: uma conta de serviço connect-register e uma conta de monitoramento de geração de registros, bem como o arquivo de chave para a conta de serviço de acesso ao componente que você criou mais cedo.

Exemplo:

admin-cluster.yaml
admin-ws-config.yaml
audit-logging-key.json
sa-key.json
connect-register-sa-2203040617.json
credential.yaml
log-mon-sa-2203040617.json
logs
vc01-cert.pem
user-cluster.yaml

Você precisará especificar alguns desses nomes nos arquivos de configuração para criar clusters. Use os nomes dos arquivos como valores para os marcadores na tabela a seguir:

4. Criar um cluster de administrador

Agora que você tem uma estação de trabalho de administrador configurada com o vCenter e outros detalhes, pode usá-la para criar um cluster de administrador no ambiente do vSphere. Antes de iniciar esta etapa, verifique se você tem uma conexão SSH com a estação de trabalho do administrador, conforme descrito acima. Todos os comandos a seguir são executados na estação de trabalho de administrador.

Criar o arquivo de configuração do cluster de administrador

Abra admin-cluster.yaml e substitua a definição de pelo seguinte:

apiVersion: v1
kind: AdminCluster
name: "minimal-installation-admin-cluster"
bundlePath: "/var/lib/gke/bundles/gke-onprem-vsphere-1.28.200-gke.111-full.tgz"
vCenter:
  address: "ADDRESS"
  datacenter: "DATA_CENTER"
  cluster: "VSPHERE_CLUSTER"
  resourcePool: "RESOURCE_POOL"
  datastore: "DATASTORE"
  caCertPath: "CA_CERT_FILE"
  credentials:
    fileRef:
      path: "credential.yaml"
      entry: "vCenter"
network:
  hostConfig:
    dnsServers:
    - "DNS_SERVER_IP"
    ntpServers:
    - "NTP_SERVER_IP"
  serviceCIDR: "10.96.232.0/24"
  podCIDR: "192.168.0.0/16"
  vCenter:
    networkName: "NETWORK"
  controlPlaneIPBlock:
    netmask: "NETMASK"
    gateway: "DEFAULT_GATEWAY_IP"
    ips:
    - ip: "ADMIN_CONTROL_PLANE_NODE_IP_1"
      hostname: "admin-cp-vm-1"
    - ip: "ADMIN_CONTROL_PLANE_NODE_IP_2"
      hostname: "admin-cp-vm-2"
    - ip: "ADMIN_CONTROL_PLANE_NODE_IP_3"
      hostname: "admin-cp-vm-3"
loadBalancer:
  vips:
    controlPlaneVIP: "ADMIN_CONTROL_PLANE_VIP"
  kind: "MetalLB"
adminMaster:
  cpus: 4
  memoryMB: 16384
  replicas: 3
antiAffinityGroups:
  enabled: false
componentAccessServiceAccountKeyPath: "COMPONENT_ACCESS_SA_KEY"
gkeConnect:
  projectID: "PROJECT_ID"
  registerServiceAccountKeyPath: "CONNECT_REGISTER_SA_KEY"
stackdriver:
  projectID: "PROJECT_ID"
  clusterLocation: "us-central1"
  enableVPC: false
  serviceAccountKeyPath: "LOG_MON_SA_KEY"
  disableVsphereResourceMetrics: false
cloudAuditLogging:
  projectID: "PROJECT_ID"
  clusterLocation: us-central1
  serviceAccountKeyPath: "AUDIT_LOG_SA_KEY"

Validar o arquivo de configuração do cluster de administrador

Verifique se o arquivo de configuração do cluster de administrador é válido e pode ser usado para a criação do cluster:

gkectl check-config --config admin-cluster.yaml

Importe imagens do SO para o vSphere.

Execute gkectl prepare com o arquivo de configuração completo para importar imagens de SO de nó para o vSphere:

gkectl prepare --config admin-cluster.yaml --skip-validation-all

A execução desse comando importa as imagens para o vSphere e as marca como modelos de VM, incluindo a imagem do cluster de administrador.

Esse comando pode levar alguns minutos para ser concluído.

Crie o cluster de administrador

Crie o cluster de administrador:

gkectl create admin --config admin-cluster.yaml

Retomar a criação do cluster de administrador após uma falha

Se a criação do cluster de administrador falhar ou for cancelada, será possível executar o comando create novamente:

gkectl create admin --config admin-cluster.yaml

Localizar o arquivo kubeconfig do cluster de administrador

O comando gkectl create admin cria um arquivo kubeconfig chamado kubeconfig no diretório atual. Você precisará desse arquivo kubeconfig mais tarde para interagir com o cluster de administrador.

Verificar se o cluster de administrador está em execução

Verifique se o cluster de administrador está em execução:

kubectl get nodes --kubeconfig kubeconfig

A saída mostra os nós do cluster de administrador. Exemplo:

gke-admin-master-hdn4z            Ready    control-plane,master ...
gke-admin-node-7f46cc8c47-g7w2c   Ready ...
gke-admin-node-7f46cc8c47-kwlrs   Ready ...

Ativar autorização RBAC

Para conceder à conta de usuário o papel clusterrole/cluster-admin do Kubernetes no cluster, execute o seguinte comando:

gcloud container fleet memberships generate-gateway-rbac \
    --membership=minimal-installation-admin-cluster \
    --role=clusterrole/cluster-admin \
    --users=GOOGLE_ACCOUNT_EMAIL \
    --project=PROJECT_ID \
    --kubeconfig=kubeconfig \
    --context=minimal-installation-admin-cluster \
    --apply

A saída desse comando é semelhante à seguinte, truncada para facilitar a leitura:

Validating input arguments.
Specified Cluster Role is: clusterrole/cluster-admin
Generated RBAC policy is:
--------------------------------------------
...
Applying the generate RBAC policy to cluster with kubeconfig: kubeconfig, context: minimal-installation-admin-cluster
Writing RBAC policy for user: GOOGLE_ACCOUNT_EMAIL to cluster.
Successfully applied the RBAC policy to cluster.

Entre outras coisas, a política de RBAC permite que você faça login no cluster no Console do Google Cloud usando o Google Identity para ver mais detalhes do cluster.

Registro automático na API GKE On-Prem

Como a API GKE On-Prem está ativada no seu projeto, o cluster é registrado automaticamente nela. Registrar seu cluster de administrador na API GKE On-Prem permite usar ferramentas padrão (o Console do Google Cloud, a Google Cloud CLI ou o Terraform) para criar, fazer upgrade, atualizar e excluir clusters de usuário gerenciados pelo cluster de administrador. O registro do cluster também permite executar comandos gcloud para receber informações sobre seu cluster.

5. Criar um cluster de usuário

Esta seção fornece etapas para criar o cluster de usuário usando o console, gkectl, Terraform ou a CLI gcloud.

apiVersion: v1
kind: UserCluster
name: "minimal-installation-user-cluster"
gkeOnPremVersion: "1.28.200-gke.111"
enableControlplaneV2: true
network:
  hostConfig:
    dnsServers:
    - "DNS_SERVER_IP"
    ntpServers:
    - "NTP_SERVER_IP"
  ipMode:
    type: "static"
    ipBlockFilePath: "user-ipblock.yaml"
  serviceCIDR: "10.96.0.0/20"
  podCIDR: "192.168.0.0/16"
  controlPlaneIPBlock:
    netmask: "NETMASK"
    gateway: "DEFAULT_GATEWAY_IP"
    ips:
    - ip: "USER_CONTROL_PLANE_NODE_IP"
      hostname: "cp-vm-1"
loadBalancer:
  vips:
    controlPlaneVIP: "USER_CONTROL_PLANE_VIP"
    ingressVIP: "USER_INGRESS_VIP"
  kind: "MetalLB"
  metalLB:
    addressPools:
    - name: "uc-address-pool"
      addresses:
      - "USER_INGRESS_VIP/32"
      - "SERVICE_VIP_1/32"
      - "SERVICE_VIP_2/32"
enableDataplaneV2: true
nodePools:
- name: "uc-node-pool"
  cpus: 4
  memoryMB: 8192
  replicas: 3
  enableLoadBalancer: true
antiAffinityGroups:
  enabled: false
gkeConnect:
  projectID: "PROJECT_ID"
  registerServiceAccountKeyPath: "CONNECT_REGISTER_SA_KEY"
stackdriver:
  projectID: "PROJECT_ID"
  clusterLocation: "us-central1"
  enableVPC: false
  serviceAccountKeyPath: "LOG_MON_SA_KEY"
  disableVsphereResourceMetrics: false
autoRepair:
  enabled: true

kubectl get nodes --kubeconfig USER_CLUSTER_KUBECONFIG

cp-vm-1     Ready    control-plane,master
user-vm-1   Ready
user-vm-2   Ready
user-vm-3   Ready

gcloud container fleet memberships generate-gateway-rbac \
  --membership=minimal-installation-user-cluster \
  --role=clusterrole/cluster-admin \
  --users=GOOGLE_ACCOUNT_EMAIL \
  --project=PROJECT_ID \
  --kubeconfig=USER_CLUSTER_KUBECONFIG \
  --context=minimal-installation-user-cluster \
  --apply

Validating input arguments.
Specified Cluster Role is: clusterrole/cluster-admin
Generated RBAC policy is:
--------------------------------------------
...
Applying the generate RBAC policy to cluster with kubeconfig: kubeconfig, context: minimal-installation-admin-cluster
Writing RBAC policy for user: GOOGLE_ACCOUNT_EMAIL to cluster.
Successfully applied the RBAC policy to cluster.

gcloud container vmware clusters create minimal-installation-user-cluster \
  --project=PROJECT_ID \
  --admin-cluster-membership=projects/PROJECT_ID/locations/global/memberships/minimal-installation-admin-cluster \
  --location=us-central1 \
  --version=1.28.200-gke.111 \
  --admin-users=GOOGLE_ACCOUNT_EMAIL \
  --service-address-cidr-blocks=10.96.0.0/20 \
  --pod-address-cidr-blocks=192.168.0.0/16 \
  --metal-lb-config-address-pools='pool=uc-address-pool,avoid-buggy-ips=False,manual-assign=False,addresses=USER_INGRESS_VIP/32;SERVICE_VIP_1/32;SERVICE_VIP_2/32' \
  --control-plane-vip=USER_CONTROL_PLANE_VIP \
  --ingress-vip=USER_INGRESS_VIP \
  --static-ip-config-ip-blocks='gateway=DEFAULT_GATEWAY_IP,netmask=NETMASK,ips=USER_NODE_IP_1;USER_NODE_IP_2;USER_NODE_IP_3;USER_NODE_IP_4' \
  --dns-servers=DNS_SERVER_IP \
  --ntp-servers=NTP_SERVER_IP \
  --enable-control-plane-v2 \
  --enable-dataplane-v2 \
  --control-plane-ip-block='gateway=DEFAULT_GATEWAY_IP,netmask=NETMASK,ips=USER_CONTROL_PLANE_NODE_IP'

Waiting for operation [projects/example-project-12345/locations/us-central1/operations/operation-1679543737105-5f7893fd5bae9-942b3f97-75e59179] to complete.

gcloud container vmware operations describe OPERATION_ID \
  --project=PROJECT_ID \
  --location=us-central1

gcloud container vmware node-pools create  uc-node-pool \
  --cluster=minimal-installation-user-cluster \
  --project=PROJECT_ID \
  --location=us-central1 \
  --image-type=ubuntu_containerd  \
  --boot-disk-size=40 \
  --cpus=4 \
  --memory=8192 \
  --replicas=3 \
  --enable-load-balancer

A seguir

Você concluiu esta instalação mínima do GKE no VMware. Como acompanhamento opcional, você pode ver sua instalação em ação implantando um aplicativo.