Requisitos de las transferencias del sistema de archivos

Antes de crear una tarea de transferencia de sistema de archivos, debes habilitar las APIs necesarias e instalar Docker.

Si recibes errores al realizar la configuración inicial, confirma que el usuario con el que has iniciado sesión tiene los permisos necesarios para completar los pasos de configuración. En muchos casos, estos permisos no están disponibles para todos los usuarios, por lo que es posible que tengas que ponerte en contacto con un administrador del proyecto para obtener ayuda.

Requisitos del sistema

Para usar el Servicio de transferencia de Storage en transferencias de sistemas de archivos, necesitas lo siguiente:

A continuación, se indican los requisitos de la máquina del agente de transferencia:

  • Un servidor o una máquina virtual Linux de 64 bits compatible con Docker que pueda acceder a los datos que quieres transferir. Docker Community Edition es compatible con los sistemas operativos CentOS, Debian, Fedora y Ubuntu.

    Para usar otros sistemas operativos Linux, consulta Docker Enterprise.

  • Al menos 8 GB de memoria por contenedor y al menos cuatro CPUs para que sea más eficaz.

  • Cualquier restricción a nivel de sistema o de usuario sobre el número de IDs de proceso permitidos, como los configurados con ulimit -u, debe tener en cuenta el número de agentes que tienes previsto ejecutar. Cada proceso de agente puede crear hasta varios cientos de hilos. Recomendamos eliminar los límites de ID de proceso al ejecutar agentes de transferencia.

    Los clientes que usen Podman para crear contenedores de agentes deben especificar un valor de --pids-limit lo suficientemente alto como para dar cabida a los subprocesos de los agentes del Servicio de transferencia de Storage. El valor predeterminado de --pids-limit es 2048, lo que puede provocar problemas cuando se ejecuta más de un agente. Recomendamos definir --pids-limit=-1 para permitir un número ilimitado de IDs de proceso por contenedor.

Restricciones de escalado en tareas y agentes

El Servicio de transferencia de Storage tiene las siguientes restricciones de escalado en las tareas de transferencia y los agentes:

  • Menos de mil millones de archivos por trabajo
  • El límite de ancho de banda debe ser superior a 1 MBps
  • Hasta 100 agentes por grupo de agentes
  • Hasta 800 grupos de agentes por proyecto

Habilitar APIs

  1. Enable the Google Storage Transfer API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

Instalar Docker

Si usas la CLI de Google Cloud o Docker para instalar y ejecutar agentes de transferencia, instala Docker Engine en una máquina Linux física o virtual.

Si usas Podman para instalar y ejecutar agentes de transferencia, ve directamente a las instrucciones de instalación específicas de Podman. 

curl -fsSL https://get.docker.com -o get-docker.sh

sudo sh get-docker.sh

sudo systemctl enable docker --now

Si se produce un error durante la instalación, consulta la sección Solución de problemas.

Permitir que Docker se autentique

Si quieres que el contenedor Docker pueda autenticarse con tus credenciales predeterminadas de gcloud, usa el comando que aparece a continuación para crear un volumen Docker que contenga un archivo con tus credenciales de aplicación predeterminadas:

sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login

Siguientes pasos