Descarregue os dados

O Transfer Appliance suporta os seguintes métodos para copiar dados para o dispositivo:

• SCP ou SFTP para Microsoft Windows, Linux e macOS.
• Partilha NFS para Linux e macOS.
• Partilha SMB para Microsoft Windows e Linux.
• Montagem no dispositivo para NFS e CIFS.

Depois de copiar os dados para o Transfer Appliance, verifique se a transferência de dados para o contentor do Cloud Storage está concluída antes de eliminar os dados de origem.

Requisitos de nomenclatura e tamanho do ficheiro

Os ficheiros carregados para o dispositivo têm de estar em conformidade com os limites de tamanho dos ficheiros e as diretrizes de nomenclatura do Cloud Storage:

• Os limites de tamanho dos ficheiros estão documentados na página Quotas e limites do Cloud Storage.
• As diretrizes de nomenclatura de ficheiros estão documentadas na página Diretrizes de nomenclatura de objetos.

O Transfer Appliance não valida o tamanho nem os nomes dos ficheiros. Se o dispositivo contiver ficheiros que não cumprem estas regras quando for devolvido à Google, podemos não conseguir transferir esses ficheiros.

Use SCP ou SFTP para copiar dados

Para copiar dados para o dispositivo através de SCP ou SFTP, siga estes passos:

Use a partilha NFS para copiar dados

Para copiar dados para o dispositivo através da partilha NFS, siga estes passos:

1. Para montar o Transfer Appliance, execute os seguintes comandos na origem de dados:

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      Substitua IP_ADDRESS pelo endereço IP do dispositivo.

   Apple macOS

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      Substitua IP_ADDRESS pelo endereço IP do dispositivo.

2. Para copiar dados para o dispositivo, use um utilitário de cópia à sua escolha.

   A cópia de dados é uma operação de longa duração. No Apple macOS ou Linux, recomendamos que use tmux ou screen para garantir que o processo de cópia sobrevive ao encerramento de sessão ou às desconexões de rede.

Guarde a sua chave SSH

Guarde a sua chave SSH para inícios de sessão mais rápidos no Transfer Appliance. Guardar a chave SSH também pode melhorar as velocidades de transferência.

1. Na estação de trabalho, gere um par de chaves com o seguinte comando:

   posix-terminal
   ssh-keygen -t rsa
   

2. Crie um ficheiro /tmp/ssh_key no dispositivo.

3. Copie o conteúdo do ficheiro de chave pública da sua estação de trabalho para /tmp/ssh_key no dispositivo. O ficheiro de chave pública encontra-se na seguinte localização na sua estação de trabalho:

   • Linux: ~/.ssh/id_rsa.pub
   • Windows: C:Users/USERNAME/.ssh

   Para autorizar várias chaves, adicione cada chave numa nova linha em /tmp/ssh_key.

4. Execute o seguinte comando no dispositivo. As chaves existentes são substituídas.

   ta copy_ssh_keys
   

5. Inicie sessão no dispositivo.

   • Se a chave privada estiver na localização predefinida na sua estação de trabalho, use o seguinte comando para iniciar sessão no dispositivo:

     ssh ta_customer@IP_ADDRESS
     

   • Se a chave privada não estiver na localização predefinida, use o seguinte comando para iniciar sessão no dispositivo:

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

Use o SMB para transferir dados

Para ativar a partilha de ficheiros SMB, siga os passos abaixo:

1. Configure o dispositivo para usar o SMB através da seguinte flag do protocolo de partilha de ficheiros:

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   O diretório ta_data é partilhado e o seguinte utilizador é criado:

   • Nome de utilizador: ta_customer
   • Palavra-passe: ta_customer

2. Com base no tipo de anfitrião, estabeleça ligação à partilha de ficheiros SMB:

   Microsoft Windows

   Gestor de ficheiros

   1. Abra o gestor de ficheiros e edite o caminho do ficheiro para \\IP_ADDRESS\ta_data.

   2. Introduza o nome de utilizador e a palavra-passe quando lhe for pedido.

   Linha de comandos

   1. Introduza o seguinte na linha de comandos do Windows: net use X: \\IP_ADDRESS\ta_data

   2. Introduza o nome de utilizador e a palavra-passe quando lhe for pedido.

   Linux

   Gestor de ficheiros

   1. Abra o gestor de ficheiros predefinido e clique em Ligar ao servidor.

   2. Introduza smb://IP_ADDRESS/ta_data.

   3. Introduza o nome de utilizador e a palavra-passe quando lhe for pedido.

   Linha de comandos

   1. Instale o cliente SMB: sudo apt-get install smbclient.

   2. Ligue-se à partilha de ficheiros SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME

      É apresentada uma mensagem smb:\>.

Use as suas próprias partilhas de ficheiros no dispositivo

O dispositivo usa um comando de montagem do Linux envolvido para montar partilhas no dispositivo:

1. Execute os seguintes comandos:

   NFS

   1. Atualize o ficheiro /etc/exports no seu dispositivo que aloja o servidor NFS concedendo acesso IP_ADDRESS ao servidor.

   2. Execute os seguintes comandos no dispositivo:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Substitua o seguinte:

      • IP_ADDRESS: O endereço IP do dispositivo.
      • MOUNT_POINT: o nome do ponto de montagem desta partilha.
      • NFS_SERVER_IP: o endereço IP do seu dispositivo que aloja o servidor NFS
      • NFS_DIRECTORY: o caminho para a partilha NFS.
      • OPTIONS: a lista de opções separada por vírgulas. Estas opções são as permitidas pelo comando de montagem do Linux.

   CIFS

   1. Execute os seguintes comandos no dispositivo:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Substitua o seguinte:

      • MOUNT_POINT: o nome do ponto de montagem desta partilha.
      • CIFS_SERVER_IP: o endereço IP do seu dispositivo que aloja o servidor CIFS.
      • CIFS_NAME: o nome da partilha CIFS.
      • OPTIONS: a lista de opções separadas por vírgulas, incluindo a palavra-passe e o nome de utilizador da partilha CIFS. Estas opções são as permitidas pelo comando de montagem do Linux.

   Salvo especificação em contrário nas opções de montagem, o ponto de montagem é remontado após o reinício até o remover com o comando "ta unmount".

2. Para desmontar quaisquer montagens no dispositivo, execute o seguinte:

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. Para copiar dados para o dispositivo, use um utilitário de cópia à sua escolha.

   RClone

   1. Para executar um comando de cópia com o RClone no dispositivo, execute o seguinte:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Substitua o seguinte:

      • MOUNT_POINT: o diretório que contém os dados a transferir.

   Extração do arquivo

   1. Para arquivar os dados em ficheiros TAR durante a transferência, execute o seguinte comando:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      Substitua o seguinte:

      • MOUNT_POINT: o diretório que contém os dados a transferir.
      • ARCHIVE_SIZE_BYTES: o tamanho alvo dos ficheiros TAR a serem gerados no destino. Predefinição de 1 GB, esperado entre 5 MB e 20 GB, inclusive.
      • THREAD_COUNT: o número de threads em execução em simultâneo que criam arquivos. Predefinição de 20, esperado entre 1 e 10 000, inclusive.

      A obtenção do arquivo é executada em segundo plano para que possa sair do terminal em segurança. A obtenção começa com uma fase de listagem dos dados antes de a transferência poder começar.

   2. É devolvido um ID quando inicia uma obtenção. Este valor pode ser usado para interagir com a obtenção:

      Para verificar o estado de uma obtenção, execute o seguinte:

      ta pull --id=ID --status

      Para pausar uma obtenção, execute o seguinte comando:

      ta pull --id=ID --pause

      Para retomar uma obtenção pausada ou interrompida, execute o seguinte:

      ta pull --id=ID --resume

      Substitua o seguinte:

      • ID: o ID de obtenção.

   3. Quando a obtenção estiver concluída, pode encontrar os ficheiros TAR no diretório /mnt/ta_data/TA_ARCHIVE_ID/. É gerado um ficheiro de manifesto e guardado em /mnt/ta_data/manifest_ID.tsv. Este ficheiro contém informações dos ficheiros transferidos, detalhando os ficheiros que o ficheiro TAR.GZ contém. Da mesma forma, é guardado um ficheiro do manifesto de erros em /mnt/ta_data/manifest_ID_ERROR.tsv com detalhes sobre os erros encontrados durante a obtenção.

   Recomendamos que execute um comando pull de cada vez.

   Os testes de velocidade foram realizados num conjunto de dados de 100 GB num TA7. Estes valores são fornecidos para ajudar a escolher entre as duas utilidades de cópia disponíveis. As velocidades de transferência podem variar consoante o tipo de dispositivo e a conetividade de rede.

   Método	Tamanho do ficheiro	Archive Size Bytes (apenas extração de arquivo)	Taxa (NFS)	Taxa (SMB)
   RClone	100 MB	N/A	600 MB/s	620 MB/s
   Extração do arquivo	100 MB	10 GB	750 MB/s	850 MB/s
   RClone	1 MB	N/A	280 MB/s	270 MB/s
   Extração do arquivo	1 MB	500 MB	630 MB/s	380 MB/s
   RClone	100 KB	N/A	150 MB/s	150 MB/s
   Extração do arquivo	100 KB	5 MB	270 MB/s	90 MB/s

Referências de transferência de dados

Estas velocidades de transferência de dados representam o desempenho máximo de gravação do Transfer Appliance quando usa ferramentas de cópia padrão. Para isolar o desempenho de escrita e eliminar potenciais gargalos de leitura da origem de dados, os dados foram gerados diretamente na partilha NFS montada do dispositivo. O dispositivo (TA40) foi ligado à origem de dados com uma porta de 10 Gb e as velocidades foram medidas para os seguintes tamanhos de ficheiros:

• Ficheiros de 10 GB, 1 GB e 100 MB (conjunto de dados de 5 TB)
• Ficheiros de 10 MB e 1 MB (conjunto de dados de 1 TB)

Tamanho do ficheiro	Velocidade de cópia média(NFS)	Tempo estimado para a transferência de 40 TB	Tempo estimado para a transferência de 300 TB
10 GB	560 MBps	21 horas	6 dias e 12 horas
1 GB	400 MBps	1 dia e 5 horas	9 dias
100 MB	300 MBps	1 dia e 15 horas	12 dias
10 MB	130 MBps	3 dias e 18 horas	28 dias
1 MB	30 MBps	16 dias	120 dias