Transferir datos

Transfer Appliance admite los siguientes métodos para copiar datos en el dispositivo:

• SCP o SFTP para Microsoft Windows, Linux y macOS.
• Recurso compartido NFS para Linux y macOS.
• Recurso compartido SMB para Microsoft Windows y Linux.
• Montar en el dispositivo para NFS y CIFS.

Después de copiar los datos en Transfer Appliance, verifica que la transferencia de datos al segmento de Cloud Storage se haya completado antes de eliminar los datos de origen.

Requisitos de tamaño y nombre de archivo

Los archivos que se suban al dispositivo deben cumplir los límites de tamaño de archivo y las directrices de nomenclatura de Cloud Storage:

• Los límites de tamaño de archivo se describen en la página Cuotas y límites de Cloud Storage.
• Las directrices para asignar nombres a los archivos se describen en la página Directrices de nomenclatura de objetos.

Transfer Appliance no valida el tamaño ni los nombres de los archivos. Si el dispositivo contiene archivos que no cumplen estas reglas cuando se devuelve a Google, es posible que no podamos transferir esos archivos.

Usar SCP o SFTP para copiar datos

Para copiar datos en el dispositivo mediante SCP o SFTP, sigue estos pasos:

Usar un recurso compartido NFS para copiar datos

Para copiar datos en el dispositivo mediante un recurso compartido NFS, sigue estos pasos:

1. Para montar Transfer Appliance, ejecuta los siguientes comandos en tu fuente de datos:

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      Sustituye IP_ADDRESS por la dirección IP del dispositivo.

   macOS de Apple

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      Sustituye IP_ADDRESS por la dirección IP del dispositivo.

2. Para copiar datos en el dispositivo, utiliza la utilidad de copia que prefieras.

   Copiar datos es una operación de larga duración. En Apple macOS o Linux, te recomendamos que uses tmux o screen para que el proceso de copia no se interrumpa si cierras sesión o se desconecta la red.

Guarda tu clave SSH

Guarda tu clave SSH para iniciar sesión más rápido en tu Transfer Appliance. Guardar tu clave SSH también puede mejorar las velocidades de transferencia.

1. En tu estación de trabajo, genera un par de claves con el siguiente comando:

   posix-terminal
   ssh-keygen -t rsa
   

2. Crea un archivo /tmp/ssh_key en el dispositivo.

3. Copia el contenido del archivo de clave pública de tu estación de trabajo en /tmp/ssh_key del dispositivo. El archivo de clave pública se encuentra en la siguiente ubicación de tu estación de trabajo:

   • Linux: ~/.ssh/id_rsa.pub
   • Windows: C:Users/USERNAME/.ssh

   Para autorizar varias claves, añada cada clave en una línea nueva en /tmp/ssh_key.

4. Ejecuta el siguiente comando en el dispositivo. Se sobrescribirán las claves que ya existan.

   ta copy_ssh_keys
   

5. Inicia sesión en el dispositivo.

   • Si la clave privada está en la ubicación predeterminada de tu estación de trabajo, usa el siguiente comando para iniciar sesión en el dispositivo:

     ssh ta_customer@IP_ADDRESS
     

   • Si la clave privada no está en la ubicación predeterminada, usa el siguiente comando para iniciar sesión en el dispositivo:

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

Usar SMB para transferir datos

Para habilitar el sistema de archivos compartidos SMB, sigue estos pasos:

1. Configura el dispositivo para que use SMB con la siguiente marca de protocolo de recurso compartido de archivos:

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   Se comparte el directorio ta_data y se crea el siguiente usuario:

   • Nombre de usuario: ta_customer
   • Contraseña: ta_customer

2. En función de tu tipo de host, conéctate al sistema de archivos compartidos SMB:

   Microsoft Windows

   Administrador de archivos

   1. Abre el gestor de archivos y edita la ruta del archivo a \\IP_ADDRESS\ta_data.

   2. Cuando se te solicite, introduce tu nombre de usuario y tu contraseña.

   Línea de comandos

   1. En el símbolo del sistema de Windows, escribe lo siguiente: net use X: \\IP_ADDRESS\ta_data

   2. Cuando se te solicite, introduce tu nombre de usuario y tu contraseña.

   Linux

   Administrador de archivos

   1. Abre el gestor de archivos predeterminado y haz clic en Conectar con el servidor.

   2. Introduce smb://IP_ADDRESS/ta_data.

   3. Cuando se te solicite, introduce tu nombre de usuario y tu contraseña.

   Línea de comandos

   1. Instala el cliente SMB: sudo apt-get install smbclient.

   2. Conéctate al sistema de archivos compartidos SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME

      Aparecerá un mensaje de smb:\>.

Usar tus propios recursos compartidos de archivos en el dispositivo

El dispositivo utiliza un comando de montaje de Linux envuelto para montar los recursos compartidos en el dispositivo:

1. Ejecuta estos comandos:

   NFS

   1. Actualiza el archivo /etc/exports del dispositivo que aloja el servidor NFS para conceder acceso IP_ADDRESS al servidor.

   2. Ejecuta los siguientes comandos en el dispositivo:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Haz los cambios siguientes:

      • IP_ADDRESS: la dirección IP del dispositivo.
      • MOUNT_POINT: nombre del punto de montaje de este recurso compartido.
      • NFS_SERVER_IP: la dirección IP de tu dispositivo que aloja el servidor NFS
      • NFS_DIRECTORY: la ruta a tu recurso compartido NFS.
      • OPTIONS: lista de opciones separadas por comas. Estas opciones son las que permite el comando mount de Linux.

   CIFS

   1. Ejecuta los siguientes comandos en el dispositivo:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Haz los cambios siguientes:

      • MOUNT_POINT: nombre del punto de montaje de este recurso compartido.
      • CIFS_SERVER_IP: la dirección IP de tu dispositivo que aloja el servidor CIFS.
      • CIFS_NAME: nombre del recurso compartido de CIFS.
      • OPTIONS: lista de opciones separadas por comas, que incluye la contraseña y el nombre de usuario del recurso compartido CIFS. Estas opciones son las que permite el comando mount de Linux.

   A menos que se especifique lo contrario en las opciones de montaje, el punto de montaje se volverá a montar al reiniciar el dispositivo hasta que lo elimines con el comando "ta unmount".

2. Para desmontar cualquier montaje en el dispositivo, ejecuta lo siguiente:

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. Para copiar datos en el dispositivo, utiliza la utilidad de copia que prefieras.

   RClone

   1. Para ejecutar un comando de copia con RClone en el dispositivo, haz lo siguiente:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Haz los cambios siguientes:

      • MOUNT_POINT: el directorio que contiene los datos que se van a transferir.

   Extracción de archivo

   1. Para archivar tus datos en archivos tar durante la transferencia, ejecuta lo siguiente:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      Haz los cambios siguientes:

      • MOUNT_POINT: el directorio que contiene los datos que se van a transferir.
      • ARCHIVE_SIZE_BYTES: tamaño de destino de los archivos tar que se van a generar. Se ha asignado el valor predeterminado de 1 GB, pero se espera que esté entre 5 MB y 20 GB (ambos incluidos).
      • THREAD_COUNT: número de hilos que se ejecutan simultáneamente para crear archivos. El valor predeterminado es 20, pero debe estar comprendido entre 1 y 10.000, ambos incluidos.

      La extracción del archivo se ejecuta en segundo plano, por lo que puedes salir del terminal sin problemas. La extracción comienza con una fase de enumeración de los datos antes de que pueda empezar la transferencia.

   2. Se devuelve un ID cuando inicias una extracción. Este valor se puede usar para interactuar con la extracción:

      Para comprobar el estado de una extracción, ejecuta lo siguiente:

      ta pull --id=ID --status

      Para pausar una extracción, ejecuta lo siguiente:

      ta pull --id=ID --pause

      Para reanudar una extracción pausada o interrumpida, ejecuta lo siguiente:

      ta pull --id=ID --resume

      Haz los cambios siguientes:

      • ID: el ID de la extracción.

   3. Una vez que se haya completado la extracción, los archivos tar se encontrarán en el directorio /mnt/ta_data/TA_ARCHIVE_ID/. Se generará un archivo de manifiesto y se guardará en /mnt/ta_data/manifest_ID.tsv. Este archivo contendrá información sobre los archivos transferidos, detallando qué archivo tar contiene qué archivos. Del mismo modo, se guardará un archivo de manifiesto de errores en /mnt/ta_data/manifest_ID_ERROR.tsv con información detallada sobre los errores que se hayan producido durante la extracción.

   Se recomienda ejecutar un comando pull a la vez.

   Las pruebas de velocidad se realizaron en un conjunto de datos de 100 GB en un TA7. Estos valores se proporcionan para ayudar a elegir entre las dos utilidades de copia disponibles. Las velocidades de transferencia pueden variar en función del tipo de electrodoméstico y de la conectividad de red.

   Método	Tamaño de archivo	Tamaño del archivo en bytes (solo para la extracción de archivos)	Tarifa (NFS)	Tarifa (pyme)
   RClone	100 MB	N/A	600 MB/s	620 MB/s
   Extracción de archivo	100 MB	10 GB	750 MB/s	850 MB/s
   RClone	1 MB	N/A	280 MB/s	270 MB/s
   Extracción de archivo	1 MB	500 MB	630 MB/s	380 MB/s
   RClone	100 kB	N/A	150 MB/s	150 MB/s
   Extracción de archivo	100 kB	5 MB	270 MB/s	90 MB/s

Comparativas de Data Transfer

Estas velocidades de transferencia de datos representan el rendimiento máximo de escritura de Transfer Appliance al usar herramientas de copia estándar. Para aislar el rendimiento de escritura y eliminar posibles cuellos de botella de lectura de la fuente de datos, los datos se generaron directamente en el recurso compartido NFS montado del dispositivo. El dispositivo (TA40) se conectó a la fuente de datos con un puerto de 10 Gb y se midieron las velocidades de los siguientes tamaños de archivo:

• Archivos de 10 GB, 1 GB y 100 MB (conjunto de datos de 5 TB)
• Archivos de 10 MB y 1 MB (conjunto de datos de 1 TB)

Tamaño de archivo	Velocidad media de copia(NFS)	Tiempo estimado para transferir 40 TB	Tiempo estimado para transferir 300 TB
10 GB	560 MB/s	21 horas	6 días y 12 horas
1 GB	400 MB/s	1 día y 5 horas	9 días
100 MB	300 MBps	1 día y 15 horas	12 días
10 MB	130 MB/s	3 días y 18 horas	28 días
1 MB	30 MBps	16 días	120 días