Implantar um proxy de armazenamento em cache NFS no espaço do kernel no Compute Engine

Fazer o download dos arquivos de configuração do tutorial

1. No Cloud Shell, clone o repositório do GitHub.

   cd ~/
   git clone https://github.com/GoogleCloudPlatform/knfsd-cache-utils.git
   

2. Defina a tag do Git como uma versão válida conhecida (neste caso, v0.9.0):

   cd ~/knfsd-cache-utils
   git checkout tags/v0.9.0
   

3. Navegue até o diretório image no seu repositório de código:

    cd ~/knfsd-cache-utils/image
   

Configurar a rede

Para simplificar a implantação, este tutorial usa a rede VPC padrão. Para permitir que você use o SSH para se conectar a vários recursos para fins de configuração e monitoramento, este tutorial também implanta endereços IP externos.

Práticas recomendadas e arquiteturas de referência para o design da VPC foram do escopo deste tutorial. No entanto, ao integrar esses recursos a um ambiente híbrido, recomendamos que você siga as práticas recomendadas, incluindo as seguintes:

• Crie recursos do Compute Engine sem endereços IP externos.
• Crie conectividade de Internet para VMs privadas para configurar o software.
• Use o Identity-Aware Proxy (IAP) para encaminhamento de TCP para se conectar a recursos.

Para configurar a rede, faça o seguinte:

• No Cloud Shell, defina as seguintes variáveis:

  export BUILD_MACHINE_NETWORK=default
  export BUILD_MACHINE_SUBNET=default
  

Criar a máquina de build do proxy NFS

Nesta seção, você cria e faz login em uma VM que atua como máquina de criação de proxy NFS. Em seguida, execute um script de instalação fornecido para atualizar as versões do Kernel e instalar todo o software necessário para o sistema de proxy KNFSD. O script de instalação do software pode levar alguns minutos para ser executado, mas você só precisa executá-lo uma vez.

1. No Cloud Shell, defina as seguintes variáveis:

   export BUILD_MACHINE_NAME=knfsd-build-machine
   export BUILD_MACHINE_ZONE=us-central1-a
   export IMAGE_FAMILY=knfsd-proxy
   export IMAGE_NAME=knfsd-proxy-image
   

2. Inicie a instância de VM:

   gcloud compute instances create $BUILD_MACHINE_NAME \
     --zone=$BUILD_MACHINE_ZONE \
     --machine-type=n1-standard-16 \
     --project=$GOOGLE_CLOUD_PROJECT \
     --image=ubuntu-2004-focal-v20220615 \
     --image-project=ubuntu-os-cloud \
     --network=$BUILD_MACHINE_NETWORK \
     --subnet=$BUILD_MACHINE_SUBNET \
     --boot-disk-size=20GB \
     --boot-disk-type=pd-ssd \
     --metadata=serial-port-enable=TRUE
   

   Talvez você receba uma mensagem de aviso indicando uma discrepância no tamanho do disco. Você pode ignorar esta mensagem.

3. Crie um arquivo .tar do software necessário para instalação e, em seguida, copie-o para a máquina de criação:

   tar -czf resources.tgz -C resources .
   gcloud compute scp resources.tgz build@$BUILD_MACHINE_NAME: \
     --zone=$BUILD_MACHINE_ZONE \
     --project=$GOOGLE_CLOUD_PROJECT
   

4. Depois que a VM for iniciada, abra um túnel SSH para ela:

   gcloud compute ssh build@$BUILD_MACHINE_NAME \
     --zone=$BUILD_MACHINE_ZONE \
     --project=$GOOGLE_CLOUD_PROJECT
   

5. Depois que o túnel SSH for estabelecido e a linha de comando segmentar a instância knfsd-build-machine, execute o script de instalação:

   tar -zxf resources.tgz
   sudo bash scripts/1_build_image.sh
   

   O script clona o repositório Ubuntu Kernel Code, atualiza a versão do kernel e instala softwares adicionais. Como há um clone do repositório envolvido, o script pode levar muito tempo para ser concluído.

6. Depois que o script de instalação for concluído e exibir um prompt SUCCESS, reinicie a máquina de criação:

   sudo reboot
   

   Quando a máquina de criação for reinicializada, as seguintes mensagens serão exibidas:

   WARNING: Failed to send all data from [stdin]
   ERROR: (gcloud.compute.ssh) [/usr/bin/ssh] exited with return code [255]
   

   Esses erros ocorrem enquanto o Cloud Shell reverte da máquina de criação do proxy NFS para a máquina host. Você pode ignorar esses erros.

7. Depois que a VM for reinicializada, abra novamente um túnel SSH para ela:

   gcloud compute ssh $BUILD_MACHINE_NAME \
     --zone=$BUILD_MACHINE_ZONE \
     --project=$GOOGLE_CLOUD_PROJECT
   

8. Após estabelecer o túnel SSH e acessar a instância nfs-proxy-build na linha de comando, alterne para Root e verifique a versão do SO:

   uname -r
   

   A saída vai ser semelhante a esta, indicando que as atualizações do software foram concluídas:

   linux <$BUILD_MACHINE_NAME> 5.13.*-gcp ...
   

   Se a saída não for semelhante ao exemplo anterior, conclua esse processo para criar a máquina de compilação do proxy NFS novamente.

9. Limpe o disco local e desligue a máquina de criação:

   sudo bash /home/build/scripts/9_finalize.sh
   

   Os seguintes avisos vão ser exibidos:

   userdel: user build is currently used by process 1431
   userdel: build mail spool (/var/mail/build) not found
   

   Esses avisos acontecem enquanto o Cloud Shell reverte a máquina de criação do proxy NFS para a máquina host. Você pode ignorar esses erros.

Criar a imagem de disco personalizada

Nesta seção, você cria uma imagem personalizada a partir da instância. A imagem personalizada é armazenada em um bucket multirregional do Cloud Storage localizado nos Estados Unidos.

1. No Cloud Shell, defina as seguintes variáveis:

   export IMAGE_NAME=knfsd-image
   export IMAGE_DESCRIPTION="first knfsd image from tutorial"
   export IMAGE_LOCATION=us
   

2. Criar a imagem de disco

   gcloud compute images create $IMAGE_NAME \
     --project=$GOOGLE_CLOUD_PROJECT \
     --description="$IMAGE_DESCRIPTION" \
     --source-disk=$BUILD_MACHINE_NAME \
     --source-disk-zone=$BUILD_MACHINE_ZONE \
     --storage-location=$IMAGE_LOCATION
   

3. Depois que a imagem do disco for criada, exclua a instância:

   gcloud compute instances delete $BUILD_MACHINE_NAME \
     --zone=$BUILD_MACHINE_ZONE
   

4. Quando solicitado para continuar, digite Y.

   Ao excluir a instância do $BUILD_MACHINE_NAME, vai ser exibida uma solicitação indicando que os discos anexados na VM serão excluídos. Como você acabou de salvar uma imagem personalizada, não precisa mais desse disco temporário e é seguro excluí-lo.

Criar o servidor de origem NFS

Como mencionado anteriormente, essa arquitetura foi projetada para conectar recursos baseados na nuvem a um servidor de arquivos no local. Para simplificar o processo neste tutorial, crie um recurso padrão que será executado no projeto do Google Cloud para simular essa conexão. Você nomeia o recurso independente nfs-server. A instalação e a configuração do software estão contidas em um script de inicialização. Para mais informações, examine o script ~/knfsd-cache-utils/tutorial/nfs-server/1_build_nfs-server.sh.

1. No Cloud Shell, acesse o diretório de scripts nfs-server transferidos por download:

   cd ~/knfsd-cache-utils/tutorial
   

2. Crie o servidor NFS secundário:

   gcloud compute \
     --project=$GOOGLE_CLOUD_PROJECT instances create nfs-server \
     --zone=$BUILD_MACHINE_ZONE \
     --machine-type=n1-highcpu-2 \
     --maintenance-policy=MIGRATE \
     --image-family=ubuntu-2004-lts \
     --image-project=ubuntu-os-cloud \
     --boot-disk-size=100GB \
     --boot-disk-type=pd-standard \
     --boot-disk-device-name=nfs-server \
     --metadata-from-file startup-script=nfs-server-startup.sh
   

   Est script leva alguns minutos para ser concluído. Talvez você veja uma mensagem de aviso indicando que o tamanho do disco está abaixo de 200 GB. Você pode ignorar esse aviso.

Criar o proxy NFS

Nesta seção, você criará o proxy NFS. Quando o proxy é iniciado, ele configura o armazenamento local, prepara opções de ativação para o servidor NFS e exporta os resultados armazenados em cache. Um script de inicialização fornecido orquestra grande parte desse fluxo de trabalho.

1. No Cloud Shell, defina as seguintes variáveis:

   export PROXY_NAME=nfs-proxy
   

2. Crie a VM nfs-proxy:

   gcloud compute instances create $PROXY_NAME \
     --machine-type=n1-highmem-16 \
     --project=$GOOGLE_CLOUD_PROJECT \
     --maintenance-policy=MIGRATE \
     --zone=$BUILD_MACHINE_ZONE \
     --min-cpu-platform="Intel Skylake" \
     --image=$IMAGE_NAME \
     --image-project=$GOOGLE_CLOUD_PROJECT \
     --boot-disk-size=20GB \
     --boot-disk-type=pd-standard \
     --boot-disk-device-name=$PROXY_NAME \
     --local-ssd=interface=NVME \
     --local-ssd=interface=NVME \
     --local-ssd=interface=NVME \
     --local-ssd=interface=NVME \
     --metadata-from-file startup-script=proxy-startup.sh
   

   Talvez você veja uma mensagem de aviso informando que o tamanho do disco está abaixo de 200 GB. Você pode ignorar esse aviso.

   O script de inicialização configura os comandos de ativação do NFS e permite ajustar o sistema. As configurações de versão do NFS, de sincronização ou assíncrona, nocto e actimeo, são algumas das variáveis que podem ser otimizadas por meio do script de inicialização. Para ver mais informações sobre essas configurações, consulte Como otimizar o sistema de arquivos NFS.

   O comando nesta etapa define a sinalização --metadata-from-file, que injeta o script de inicialização no modelo de imagem. Neste tutorial, você usa um script proxy-startup.sh simples. O script inclui algumas variáveis predefinidas e não inclui muitas opções que você pode usar caso se integre ao pipeline. Para casos de uso mais avançados, consulte o repositório knfsd-cache-utils do GitHub.

Criar o cliente NFS

Nesta etapa, você cria um único cliente NFS (chamado nfs-client) para representar o que provavelmente seria um grupo de instâncias gerenciadas (MIG, na sigla em inglês) maior em escala.

• No Cloud Shell, crie o cliente NFS:

  gcloud compute \
    --project=$GOOGLE_CLOUD_PROJECT instances create nfs-client \
    --zone=$BUILD_MACHINE_ZONE \
    --machine-type=n1-highcpu-8 \
    --network-tier=PREMIUM \
    --maintenance-policy=MIGRATE \
    --image-family=ubuntu-2004-lts \
    --image-project=ubuntu-os-cloud \
    --boot-disk-size=10GB \
    --boot-disk-type=pd-standard \
    --boot-disk-device-name=nfs-client
  

  Talvez você veja uma mensagem de aviso informando que o tamanho do disco está abaixo de 200 GB. Você pode ignorar esse aviso.

Montar o proxy NFS no cliente NFS

Nesta etapa, você abre uma sessão SSH separada no cliente NFS e, em seguida, ativa o proxy NFS. Você vai usar esse mesmo shell para testar o sistema na próxima seção.

1. No console do Google Cloud, acesse a página Instâncias de VMs.

   Acessar instâncias de VM

2. Para se conectar a nfs-client, clique em SSH na coluna Conectar.

3. Na janela SSH de nfs-client, instale as ferramentas NFS necessárias no nfs-client:

   sudo apt-get install nfs-common -y
   

4. Crie um ponto de montagem e ative o proxy NFS:

   sudo mkdir /data
   sudo mount -t nfs -o vers=3 nfs-proxy:/data /data
   

Testar o sistema

Todos os seus recursos foram criados. Nesta seção, você vai executar um teste copiando um arquivo do servidor NFS pelo proxy NFS para o cliente NFS. Na primeira vez que você executa esse teste, os dados são provenientes do servidor de origem. Isso pode levar mais de um minuto.

Na segunda vez que você executa esse teste, os dados são exibidos a partir de um cache armazenado nos SSDs locais do proxy NFS. Nessa transferência, leva muito menos tempo para copiar dados, o que valida que o armazenamento em cache está acelerando a transferência de dados.

1. Na janela SSH de nfs-client que você abriu na seção anterior, copie o arquivo test e visualize a saída correspondente:

   time dd if=/data/test.data of=/dev/null iflag=direct bs=1M status=progress
   

   A saída é semelhante à seguinte, que contém uma linha que mostra o tamanho do arquivo, o tempo de transferência e as velocidades de transferência:

   10737418240 bytes (11 GB, 10 GiB) copied, 88.5224 s, 121 MB/s
   real    1m28.533s
   

   Nessa transferência, o arquivo é veiculado do disco permanente do servidor NFS, o que é limitado pela velocidade do disco do servidor NFS.

2. Execute o mesmo comando uma segunda vez:

   time dd if=/data/test.data of=/dev/null iflag=direct bs=1M status=progress
   

   A saída é semelhante à seguinte, que contém uma linha que mostra o tamanho do arquivo, o tempo de transferência e as velocidades de transferência:

   10737418240 bytes (11 GB, 10 GiB) copied, 9.41952 s, 948 MB/s
   real    0m9.423s
   

   Nessa transferência, o arquivo é exibido do cache no proxy NFS, para que seja concluído mais rapidamente.

Você concluiu a implantação e os testes do proxy de armazenamento em cache KNFSD.

Tópicos avançados do fluxo de trabalho

Esta seção inclui informações sobre como implantar em uma arquitetura híbrida, escalonar para alto desempenho e usar métricas e painéis para solução de problemas e ajustes.

Características do desempenho e dimensionamento de recursos

Como observado anteriormente, este tutorial usa um único proxy KNFSD. Portanto, o escalonamento do sistema envolve a modificação dos recursos de proxy individuais para otimizar para CPU, RAM, rede, capacidade de armazenamento ou desempenho. Neste tutorial, você implantou o KNFSD em uma única VM do Compute Engine com as seguintes opções:

• 16 vCPUs, 104 GB de RAM (n1-highmem-16).
  • Com 16 vCPUs e uma arquitetura de Sandy Bridge ou mais recente, você permite uma velocidade máxima de rede de 32 Gbps.
• Disco permanente de 10 GB como um disco de inicialização
• 4 discos SSD locais Essa configuração fornece um sistema de arquivos de alta velocidade e 1, 5 TB.

Embora esteja além do escopo deste tutorial, você pode dimensionar essa arquitetura criando vários proxies KNFSD em um MIG e usando um balanceador de carga TCP para gerenciar conexões entre os clientes NFS e os proxies NFS. Para mais informações, consulte o repositório knfsd-cache-utils do GitHub (em inglês), que contém scripts do Terraform, código de exemplo para implantação e várias perguntas frequentes que abrangem o escalonamento de cargas de trabalho.

Considerações sobre uma implantação híbrida

Em muitas implantações, a largura de banda da conexão do local para a nuvem é um fator importante a ser considerado ao configurar o sistema. A conectividade híbrida está além do escopo deste tutorial. Para uma visão geral das opções disponíveis, consulte a documentação de conectividade híbrida. Para orientações sobre práticas recomendadas e padrões de design, consulte a série Criar arquiteturas híbridas e de várias nuvens usando o Google Cloud.

Como explorar métricas

Os painéis podem ser úteis para fornecer feedback sobre as métricas a serem usadas no ajuste de desempenho e na solução de problemas gerais. A exploração de métricas está além do escopo deste tutorial. No entanto, um painel de métricas é disponibilizado quando você implanta o sistema de vários nós definido no repositório knfsd-cache-utils do GitHub (em inglês).