Configurar montagens de volumes NFS para jobs

Nesta página, mostramos como montar um compartilhamento de arquivos NFS como um volume no Cloud Run. É possível usar qualquer servidor NFS, incluindo seu próprio servidor NFS hospedado no local ou em uma VM do Compute Engine. Se você ainda não tiver um servidor NFS, recomendamos o Filestore, que é uma oferta de NFS totalmente gerenciada do Google Cloud.

Montar o compartilhamento de arquivos NFS como um volume no Cloud Run apresenta o arquivo compartilhar como arquivos no sistema de arquivos do contêiner. Depois de montar o arquivo compartilhar como um volume, você o acessa como se fosse um diretório no arquivo local usando as operações e bibliotecas do sistema de arquivos da sua linguagem de programação.

Caminhos não permitidos

O Cloud Run não permite montar um volume em /dev, /proc ou /sys, ou nos subdiretórios deles.

Limitações

• O Cloud Run não é compatível com bloqueio de NFS. Os volumes NFS são montados automaticamente no modo sem bloqueio.

Antes de começar

Para montar um servidor NFS como um volume no Cloud Run, verifique se você tem:

• Uma rede VPC em que o servidor NFS ou a instância do Filestore esteja em execução.
• Um servidor NFS em execução em uma rede VPC, com o job do Cloud Run conectado a essa rede VPC. Se você ainda não tiver um servidor NFS, crie um criando uma instância do Filestore.
• O job do Cloud Run está anexado à rede VPC em que o servidor NFS está em execução. Para ter o melhor desempenho, use a VPC direta em vez de conectores de VPC.
• Se você estiver usando um projeto atual, verifique se a configuração do firewall da VPC permite que o Cloud Run acesse seu servidor NFS. Se você está começando de um projeto novo, isso é verdade por padrão. Se você estiver usando o Filestore como servidor NFS, siga a documentação do Filestore para criar uma regra de saída de firewall e permitir que o Cloud Run alcance o Filestore.
• Defina as permissões no compartilhamento de arquivos NFS remoto para permitir o acesso ao usuário do contêiner. Por padrão, o Filestore oferece acesso de leitura a todos os usuários, mas restringe o acesso de gravação ao usuário raiz (uid 0). Se o contêiner exigir acesso de gravação e não for executado como usuário raiz, use um cliente conectado (executado como raiz) para modificar as permissões de compartilhamento. Por exemplo, use o comando chown para mudar a propriedade dos arquivos ou diretórios para o ID de usuário específico em que o contêiner é executado.

Funções exigidas

Para receber as permissões necessárias e configurar jobs do Cloud Run, peça ao administrador para conceder a você os seguintes papéis do IAM no job:

• Desenvolvedor do Cloud Run (roles/run.developer): o job do Cloud Run
• Usuário da conta de serviço (roles/iam.serviceAccountUser) – a identidade de serviço

Para uma lista de papéis e permissões do IAM associados ao Cloud Run, consulte Papéis do IAM do Cloud Run e Permissões do IAM do Cloud Run. Se o job do Cloud Run interagir com APIs doGoogle Cloud , como as bibliotecas de cliente do Cloud, consulte o guia de configuração de identidade de serviço. Para mais informações sobre como conceder papéis, consulte permissões de implantação e gerenciar acesso.

Montar um volume NFS

É possível montar vários servidores NFS, instâncias do Filestore ou outros tipos de volumes em diferentes caminhos de montagem.

Ao usar vários contêineres, primeiro especifique o(s) volumes e, depois, a(s) montagem(ns) de volume de cada contêiner.

resource "google_cloud_run_v2_job" "default" {
  name     = "JOB_NAME"
  location = "REGION"

  template {
    template {
      containers {
        image = "us-docker.pkg.dev/cloudrun/container/hello"
        volume_mounts {
          name       = "VOLUME_NAME"
          mount_path = "MOUNT_PATH"
        }
      }
      vpc_access {
        network_interfaces {
          network    = "default"
          subnetwork = "default"
        }
      }
      volumes {
        name = "VOLUME_NAME"
        nfs {
          server    = google_filestore_instance.default.networks[0].ip_addresses[0]
          path      = "NFS_PATH"
          read_only = IS_READ_ONLY
        }
      }
    }
  }
}

resource "google_filestore_instance" "default" {
  name     = "cloudrun-job"
  location = "REGION"
  tier     = "BASIC_HDD"

  file_shares {
    capacity_gb = 1024
    name        = "share1"
  }

  networks {
    network = "default"
    modes   = ["MODE_IPV4"]
  }
}

Como ler e gravar em um volume

Se você usar o recurso de montagem de volume do Cloud Run, poderá acessar um volume usando as mesmas bibliotecas na linguagem de programação que você usa para ler e gravar arquivos no sistema de arquivos local.

Isso é especialmente útil se você estiver usando um contêiner existente em que espera os dados sejam armazenados no sistema de arquivos local e usa o sistema de arquivos para acessá-lo.

Os snippets a seguir pressupõem uma montagem de volume com mountPath definido como /mnt/my-volume.

var fs = require('fs');
fs.appendFileSync('/mnt/my-volume/sample-logfile.txt', 'Hello logs!', { flag: 'a+' });

f = open("/mnt/my-volume/sample-logfile.txt", "a")

f, err := os.Create("/mnt/my-volume/sample-logfile.txt")

import java.io.File;
File f = new File("/mnt/my-volume/sample-logfile.txt");

Solução de problemas de NFS

Se você tiver problemas, verifique se:

• O serviço do Cloud Run está conectado à rede VPC em que o servidor NFS está.
• Não há regras de firewall impedindo o Cloud Run de alcançar o servidor NFS.
• Se o contêiner precisar gravar dados, verifique se as permissões de compartilhamento do NFS estão configuradas para permitir gravações do usuário do contêiner.

Tempo de inicialização do contêiner e montagens de volumes NFS

O uso de montagens de volume NFS pode aumentar um pouco o tempo de inicialização a frio do contêiner do Cloud Run, porque a montagem de volume é iniciada antes dos contêineres. O contêiner só será iniciado se o NFS for montado.

O NFS só monta um volume após estabelecer uma conexão com o servidor e buscar um identificador de arquivo. Se o Cloud Run não conseguir estabelecer uma conexão com o servidor, o job do Cloud Run não será iniciado.

Além disso, qualquer atraso na rede pode afetar o tempo de inicialização do contêiner, já que o Cloud Run tem um tempo limite total de 30 segundos para todas as montagens. Se o NFS demorar mais de 30 segundos para ser montado, o job do Cloud Run não será iniciado.

Características de desempenho do NFS

Se você criar mais de um volume NFS, todos os volumes serão montados em paralelo.

Como o NFS é um sistema de arquivos de rede, ele está sujeito a limites de largura de banda e o acesso ao sistema de arquivos pode ser afetado pela largura de banda limitada.

Quando você grava no volume NFS, a gravação é armazenada no Cloud Run na memória até que os dados sejam apagados. Os dados são apagados nas seguintes circunstâncias:

• O aplicativo limpa os dados do arquivo explicitamente usando sync(2), msync(2) ou fsync(3).
• O aplicativo fecha um arquivo com close(2).
• A pressão da memória força a recuperação de recursos de memória do sistema.

Para mais informações, consulte a documentação do Linux sobre NFS.

Limpar e remover volumes e montagens de volume

Você pode limpar todos os volumes e montagens ou remover volumes e montagens individuais.

Limpar todos os volumes e ativações de volumes

Para limpar todos os volumes e as montagens de volume do seu job de contêiner único, execute o seguinte comando:

gcloud run jobs update JOB \
    --clear-volumes
    --clear-volume-mounts

Se você tiver vários contêineres, siga as convenções da CLI sidecars para limpar volumes e ativações de volume:

gcloud run jobs update JOB \
    --clear-volumes \
    --clear-volume-mounts \
    --container=container1 \
    --clear-volumes \
    -–clear-volume-mounts \
    --container=container2 \
    --clear-volumes \
    -–clear-volume-mounts

Remover volumes e montagens de volume individuais

Para remover um volume, também é preciso remover todas as montagens de volume que o usam.

Para remover volumes ou ativações de volume individuais, use as flags remove-volume e remove-volume-mount:

gcloud run jobs update JOB \
    --remove-volume VOLUME_NAME
    --container=container1 \
    --remove-volume-mount MOUNT_PATH \
    --container=container2 \
    --remove-volume-mount MOUNT_PATH