Transfiere grandes conjuntos de datos desde Cloud Storage a Filestore

Usa el Servicio de transferencia de almacenamiento para mover grandes conjuntos de datos de Cloud Storage a tus archivos compartidos de Filestore.

El Servicio de transferencia de almacenamiento te ayuda a transferir conjuntos de datos grandes de forma rápida y segura entre sistemas de almacenamiento de objetos y archivos, ya sea que tus datos se almacenen en Cloud Storage, proveedores de servicios en la nube de terceros o de forma local.

El Servicio de transferencia de almacenamiento admite transferencias aceleradas de conjuntos de datos grandes, que pueden manejar cientos de TB de datos o más. Mueve tus grandes conjuntos de datos a la nube para aprovechar las operaciones de análisis y aprendizaje automático disponibles en las instancias de Compute Engine subyacentes en las que se activan tus instancias de Filestore.

Con el Servicio de transferencia de almacenamiento, puedes crear transferencias administradas por Google o configurar transferencias autoalojadas para tener control total sobre el enrutamiento de red y el uso del ancho de banda.

Transfiere datos de un bucket de Cloud Storage a un archivo compartido de Filestore

Para transferir datos de Cloud Storage a un archivo compartido de Filestore con el Servicio de transferencia de almacenamiento, debes realizar las siguientes tareas:

1. Configura el entorno.
2. Configura Filestore.
3. Configura el Servicio de transferencia de almacenamiento.
4. Crea y, luego, inicia el trabajo de transferencia.

En las siguientes secciones, se te guiará a través de cada tarea.

Configure su entorno

1. Selecciona o crea un proyecto.

   A los efectos de esta guía, asegúrate de que tus recursos de origen y destino residan en el mismo proyecto.

   En la página del selector de proyectos de la consola, selecciona o crea un proyecto de Google Cloud.

   Si estás probando Filestore y no planeas conservar los recursos que creas, te recomendamos que crees un proyecto en lugar de seleccionar uno existente. Cuando termines de realizar las pruebas, puedes borrar el proyecto y quitar todos los recursos asociados con él.

   Ir al selector de proyectos

2. Habilita la facturación.

   Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud. Descubre cómo confirmar que tienes habilitada la facturación en un proyecto.

3. Habilita las siguientes APIs:

   • API de Filestore

   • API de Resource Manager

   • API de Pub/Sub

   • API de Cloud Storage

   • API de Storage Transfer

   • API de Cloud Logging

   • API de Compute Engine

   • API de Service Usage

   • API de Identity and Access Management

4. Opcional: gcloud, un componente principal del SDK de Google Cloud, se instala en cada VM de Compute Engine. Si realizas alguno de los siguientes pasos desde la línea de comandos local, configura el SDK de Google Cloud.

   Instala y luego inicializa el SDK de Google Cloud.

   Si instalaste el SDK de Google Cloud con anterioridad, ejecuta el siguiente comando para asegurarte de tener la versión más reciente disponible:

   gcloud components update
   

5. Crea una cuenta de servicio. En la sección Otorga a esta cuenta de servicio acceso al proyecto, asigna los siguientes roles:

   • Owner

   • Project IAM Admin

   • Role Administrator

   • Pub/Sub Editor

   • Cloud Filestore Editor

   • Storage Object Admin

   • Storage Transfer Admin

   • Storage Transfer Agent

   1. Copia y guarda el nombre de la cuenta de servicio que creaste para un paso posterior.

   2. Crea una clave de cuenta de servicio para la cuenta que acabas de crear. A los efectos de esta guía, crea solo una clave. Descarga el archivo de claves y guárdalo para un paso posterior.

6. Asigna roles a una cuenta de usuario. En la página IAM, busca tu cuenta de usuario y asígnale los siguientes roles:

   • Owner

   • Project IAM Admin

   • Role Administrator

   • Storage Transfer Admin

   • Storage Admin

   Para obtener más información, consulta Permisos del usuario.

Configura Filestore

1. Crea una instancia de Filestore. Cuando crees la instancia, aplica las siguientes especificaciones:

   1. Asegúrate de que el bucket de Cloud Storage, la VM del cliente y la instancia de Filestore residen en la misma región.

   2. Selecciona un tipo de instancia regional o empresarial.

   3. Opcional: Para conjuntos de datos más grandes, solicita un aumento de la cuota.

   4. Copia el nombre y la dirección IP de la instancia y guárdalos para un paso posterior.

2. Activa una instancia de Filestore en una máquina cliente.

   En esta guía, se describe una transferencia que usa cuatro VMs de Compute Engine como máquinas cliente de NFS. Crearás una sola cuenta de servicio que opere en nombre de las cuatro máquinas cliente. Cada máquina cliente tendrá tres agentes del Servicio de transferencia de almacenamiento instalados.

   1. Crea una instancia de VM de Compute Engine con acceso a otros servicios de Google Cloud.

      1. Configura una VM con las siguientes especificaciones:

         1. Cuando especifiques una ubicación, asegúrate de que el bucket de Google Cloud, la VM del cliente y la instancia de Filestore residen en la misma región.

         2. Cada agente del servicio de transferencia de almacenamiento necesita 4 CPU virtuales y 8 GB de RAM. Para obtener el mejor rendimiento, ejecuta varios agentes por VM. A los efectos de esta guía, aprovisiona una instancia de máquina virtual de Compute Engine con e2-standard-32.

         3. En la sección Identidad y acceso a la API, especifica lo siguiente:

            1. En el menú desplegable Cuentas de servicio, selecciona la cuenta de servicio que acabas de crear.

   2. Una vez que se cree la instancia de VM de Compute Engine, accede a la máquina con SSH. En la página Instancia de VM de Compute Engine, busca la instancia que creaste y haz clic en SSH.

   3. Usa un editor de texto, como Vim, para crear una copia del archivo de claves de la cuenta de servicio y guárdala temporalmente de forma local en la VM. Por ejemplo, service-account-key.json.

   4. Instala Docker en la VM.

   5. gcloud ya está instalado en la instancia de VM de Compute Engine. Desde la línea de comandos de SSH, ingresa el siguiente comando para autorizar a la cuenta de servicio a usar gcloud:

      gcloud auth activate-service-account ACCOUNT --key-file=KEY_FILE
      

      Donde:

      • ACCOUNT es la dirección de correo electrónico de la cuenta de servicio que creaste. Por ejemplo, my-service-account@my-project.iam.gserviceaccount.com

      • KEY_FILE es la ruta de acceso local relativa al archivo de claves que copiaste antes. Por ejemplo, sa-key.json

   6. Desde la línea de comandos de SSH, instala NFS:

      sudo apt-get -y update && sudo apt-get install nfs-common
      

   7. Crea un directorio local para asignar al archivo compartido de Filestore. Cuando repitas estos pasos para instancias posteriores de VM de Compute Engine, usa el mismo nombre y la misma ruta de acceso:

      sudo mkdir -p MY_DIRECTORY
      

      Donde:

      • MY_DIRECTORY es el nombre del directorio POSIX local de la instancia de VM de Compute Engine. Por ejemplo, /usr/local/my_dir

   8. Ejecuta el comando mount para activar el archivo compartido asociado con la instancia de Filestore. Puedes usar cualquiera de las opciones de activación de NFS. Para obtener el mejor rendimiento, consulta las recomendaciones de activación de NFS en Cómo activar un archivo compartido en una instancia de VM de Compute Engine:

      sudo mount -o rw IP_ADDRESS:/FILE_SHARE MY_DIRECTORY
      

      Donde:

      • IP_ADDRESS es la dirección IP para la instancia de Filestore. Puedes encontrar esta información en la página Instancias de Filestore.

      • FILE_SHARE es el nombre del archivo compartido de la instancia. Por ejemplo, my_fs_instance

      • MY_DIRECTORY es el nombre del directorio al que asignaste en el paso anterior. Es un directorio en la instancia de VM de Compute Engine en el que deseas activar la instancia de Filestore.

   9. Confirma el punto de activación:

      mount -l | grep nfs
      

      Esto muestra lo siguiente o algo similar:

      10.66.55.194:/my_fs_instance on /home/usr/my_dir type nfs (rw,relatime,vers=3,rsize=262144,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.66.55.194,mountvers=3,mountport=2050,mountproto=udp,local_lock=none,addr=10.66.55.194)
      

      Como alternativa, también puedes usar el siguiente comando:

      df -h --type=nfs
      

      Esto muestra lo siguiente o algo similar:

      Filesystem                       Size  Used Avail Use% Mounted on
      10.66.55.194:/my_fs_instance  1.0T     0  1.0T   0% /home/usr/my_dir
      

   10. Anota la ruta de acceso del directorio POSIX local y guárdala para un paso posterior.

   11. Repite los pasos anteriores para crear tres instancias de VM de Compute Engine más y activa la misma instancia de Filestore en cada una. Usa la misma cuenta de servicio para administrar las cuatro VMs de Compute Engine. Guarda temporalmente una copia local de la clave de la cuenta de servicio en cada VM.

Configura el servicio de transferencia de almacenamiento

1. Crea un grupo de agentes.

2. Autoriza al agente de servicio para todas las funciones del Servicio de transferencia de almacenamiento.

   1. Ingresa el siguiente comando:

      gcloud transfer authorize --add-missing --creds-file=KEY_FILE
      

      Donde:

      • KEY_FILE es la ruta de acceso local relativa al archivo de claves que copiaste antes. Por ejemplo, sa-key.json

      Anota la notificación que se muestra sobre el agente de servicio y guarda la dirección de correo electrónico asociada para el siguiente paso.

   2. Después de unos minutos, deberías ver el agente de servicio en la página IAM. Una vez propagado, verifica que se hayan asignado los siguientes roles:

      • Pub/Sub Editor

      • Storage Admin

3. Instala los agentes de transferencia.

   Cada agente del servicio de transferencia de almacenamiento requiere 4 CPU virtuales y 8 GB de RAM.

   1. Recomendamos instalar varios agentes para maximizar la tolerancia a errores y aprovechar el escalamiento dinámico que ofrece el Servicio de transferencia de almacenamiento. En el siguiente ejemplo, se muestra cómo instalar tres agentes en una máquina cliente. En la línea de comandos de SSH, ejecuta el siguiente comando:

      gcloud transfer agents install --pool=MY_AGENT_POOL --count=3 \
      --creds-file=MY_SERVICE_ACCOUNT_KEY_FILE
      

      Donde:

      • MY_AGENT_POOL es el nombre del grupo de agentes que creaste anteriormente. Por ejemplo, my-agent-pool

      • MY_SERVICE_ACCOUNT_KEY_FILE es la ruta de acceso relativa a la clave de la cuenta de servicio. Por ejemplo, /relative/path/to/service-account-key.json

   2. Repite estos pasos para cada máquina cliente.

Crea y, luego, inicia el trabajo de transferencia

1. Crea un trabajo de transferencia para mover datos de tu bucket de Cloud Storage a tu instancia de Filestore. Consulta el directorio POSIX local que guardaste antes para especificar la ruta de acceso de destino. Por ejemplo, /home/usr/my_dir.

Supervisa el estado de la transferencia

gcloud transfer jobs monitor JOB_NAME

Polling for latest operation name...done.
Operation name: my-sts-project_transferJobs/OPI6300379522015192941_0000000001660692377
Parent job: OPI6300379522015192941
Start time: 2022-08-16T23:26:17.600981Z
SUCCESS | 100% (731.9MiB of 731.9MiB) | Skipped: 129.8kiB | Errors: 0
End time: 2022-08-16T23:27:23.429472Z

Para obtener más información, consulta Supervisa la actividad del agente o Detalles de la transferencia del sistema de archivos.

¿Qué sigue?

• Mejora el rendimiento de los recursos de Google Cloud.
• Crea una instancia de VM de Compute Engine con acceso a otros servicios de Google Cloud.