Mentransfer data

Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Transfer Appliance mendukung metode berikut untuk menyalin data ke perangkat:

• SCP atau SFTP untuk Microsoft Windows, Linux, dan macOS.
• Pembagian NFS untuk Linux dan macOS.
• Berbagi SMB untuk Microsoft Windows dan Linux.
• Memasang di Appliance untuk NFS dan CIFS.

Setelah menyalin data ke Transfer Appliance, verifikasi bahwa transfer data ke bucket Cloud Storage telah selesai sebelum Anda menghapus data sumber.

Persyaratan ukuran dan penamaan file

File yang diupload ke appliance harus mematuhi panduan penamaan dan batas ukuran file Cloud Storage:

• Batas ukuran file didokumentasikan di halaman Kuota & batas Cloud Storage.
• Pedoman nama file didokumentasikan di halaman Pedoman penamaan objek.

Transfer Appliance tidak memvalidasi ukuran atau nama file. Jika perangkat berisi file yang tidak mematuhi aturan ini saat perangkat dikirim kembali ke Google, kami mungkin tidak dapat mentransfer file tersebut.

Menggunakan SCP atau SFTP untuk menyalin data

Untuk menyalin data ke appliance menggunakan SCP atau SFTP, ikuti langkah-langkah berikut:

Menggunakan berbagi NFS untuk menyalin data

Untuk menyalin data ke appliance menggunakan berbagi NFS, ikuti langkah-langkah berikut:

1. Untuk memasang Transfer Appliance, jalankan perintah berikut di sumber data Anda:

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      Ganti IP_ADDRESS dengan alamat IP untuk perangkat.

   Apple macOS

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      Ganti IP_ADDRESS dengan alamat IP untuk perangkat.

2. Untuk menyalin data ke appliance, gunakan utilitas salinan pilihan Anda.

   Menyalin data adalah operasi yang berjalan lama. Di Apple macOS atau Linux, sebaiknya gunakan tmux atau screen untuk memastikan proses penyalinan tetap berjalan setelah logout atau jaringan terputus.

Menyimpan kunci SSH

Simpan kunci SSH untuk login yang lebih cepat ke Transfer Appliance. Menyimpan kunci SSH juga dapat meningkatkan kecepatan transfer.

1. Di workstation, buat pasangan kunci menggunakan perintah berikut:

   posix-terminal
   ssh-keygen -t rsa
   

2. Buat file /tmp/ssh_key di perangkat.

3. Salin konten file kunci publik dari workstation Anda ke /tmp/ssh_key di appliance. File kunci publik berada di lokasi berikut di workstation Anda:

   • Linux: ~/.ssh/id_rsa.pub
   • Windows: C:Users/USERNAME/.ssh

   Untuk memberikan otorisasi ke beberapa kunci, tambahkan setiap kunci di baris baru di /tmp/ssh_key.

4. Jalankan perintah berikut di appliance. Semua kunci yang ada akan ditimpa.

   ta copy_ssh_keys
   

5. Login ke perangkat.

   • Jika kunci pribadi berada di lokasi default di workstation Anda, gunakan perintah berikut untuk login ke appliance:

     ssh ta_customer@IP_ADDRESS
     

   • Jika kunci pribadi tidak berada di lokasi default, gunakan perintah berikut untuk login ke appliance:

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

Menggunakan SMB untuk mentransfer data

Untuk mengaktifkan berbagi file SMB, ikuti langkah-langkah di bawah:

1. Konfigurasikan appliance untuk menggunakan SMB menggunakan flag protokol berbagi file berikut:

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   Direktori ta_data dibagikan dan pengguna berikut dibuat:

   • Nama pengguna: ta_customer
   • Sandi: ta_customer

2. Berdasarkan jenis host Anda, hubungkan ke berbagi file SMB:

   Microsoft Windows

   Pengelola file

   1. Buka pengelola file dan edit jalur file ke \\IP_ADDRESS\ta_data.

   2. Masukkan nama pengguna dan sandi Anda saat diminta.

   Command line

   1. Masukkan kode berikut di command prompt Windows: net use X: \\IP_ADDRESS\ta_data

   2. Masukkan nama pengguna dan sandi Anda saat diminta.

   Linux

   Pengelola file

   1. Buka pengelola file default dan klik Hubungkan ke server.

   2. Masukkan smb://IP_ADDRESS/ta_data.

   3. Masukkan nama pengguna dan sandi Anda saat diminta.

   Command line

   1. Menginstal klien SMB: sudo apt-get install smbclient.

   2. Menghubungkan ke berbagi file SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME

      Perintah smb:\> akan muncul.

Menggunakan fileshare Anda sendiri di appliance

Appliance menggunakan perintah pemasangan Linux yang digabungkan untuk memasang share di appliance:

1. Jalankan perintah berikut:

   NFS

   1. Perbarui file /etc/exports di perangkat Anda yang menghosting server NFS yang memberikan akses IP_ADDRESS ke server.

   2. Jalankan perintah berikut di appliance:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Ganti kode berikut:

      • IP_ADDRESS: Alamat IP perangkat.
      • MOUNT_POINT: Nama titik pemasangan untuk share ini.
      • NFS_SERVER_IP: Alamat IP perangkat Anda yang menghosting server NFS
      • NFS_DIRECTORY: Jalur ke berbagi NFS Anda.
      • OPTIONS: Daftar opsi yang dipisahkan koma. Opsi ini adalah opsi yang diizinkan oleh perintah mount Linux.

   CIFS

   1. Jalankan perintah berikut di appliance:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Ganti kode berikut:

      • MOUNT_POINT: Nama titik pemasangan untuk share ini.
      • CIFS_SERVER_IP: Alamat IP perangkat Anda yang menghosting server CIFS.
      • CIFS_NAME: Nama berbagi CIFS.
      • OPTIONS: Daftar opsi yang dipisahkan koma, termasuk sandi dan nama pengguna berbagi CIFS. Opsi ini adalah opsi yang diizinkan oleh perintah mount Linux.

   Kecuali jika ditentukan lain dalam opsi pemasangan, titik pemasangan akan dipasang ulang setelah dimulai ulang hingga Anda menghapusnya dengan perintah 'ta unmount'.

2. Untuk melepas pemasangan apa pun di appliance, jalankan perintah berikut:

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. Untuk menyalin data ke appliance, gunakan utilitas salinan pilihan Anda.

   RClone

   1. Untuk menjalankan perintah salin dengan RClone di appliance, jalankan perintah berikut:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Ganti kode berikut:

      • MOUNT_POINT: Direktori yang berisi data yang akan ditransfer.

   Arsipkan Pull

   1. Untuk mengarsipkan data Anda ke dalam file tar selama transfer, jalankan perintah berikut:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      Ganti kode berikut:

      • MOUNT_POINT: Direktori yang berisi data yang akan ditransfer.
      • ARCHIVE_SIZE_BYTES: Ukuran target tar ball yang akan dibuat di tujuan. Defaultnya adalah 1 GB, diperkirakan antara 5 MB dan 20 GB inklusif.
      • THREAD_COUNT: Jumlah thread yang berjalan secara bersamaan untuk membuat arsip. Defaultnya adalah 20, diperkirakan antara 1 dan 10.000 inklusif.

      Pengambilan arsip berjalan di latar belakang sehingga Anda dapat keluar dari terminal dengan aman. Pull dimulai dengan fase listingan data sebelum transfer dapat dimulai.

   2. ID ditampilkan saat Anda memulai pull, nilai ini dapat digunakan untuk berinteraksi dengan pull:

      Untuk memeriksa status pull, jalankan perintah berikut:

      ta pull --id=ID --status

      Untuk menjeda pull, jalankan perintah berikut:

      ta pull --id=ID --pause

      Untuk melanjutkan pull yang dijeda atau terputus, jalankan perintah berikut:

      ta pull --id=ID --resume

      Ganti kode berikut:

      • ID: ID pull.

   3. Setelah pull selesai, tar ball dapat ditemukan di direktori /mnt/ta_data/TA_ARCHIVE_ID/. File manifes akan dibuat dan disimpan di /mnt/ta_data/manifest_ID.tsv. File ini akan berisi informasi file yang ditransfer, yang menjelaskan file apa yang disimpan dalam file tar ball. File manifes error juga akan disimpan di /mnt/ta_data/manifest_ID_ERROR.tsv yang menjelaskan error yang ditemukan selama pull.

   Sebaiknya jalankan satu perintah pull dalam satu waktu.

   Pengujian kecepatan dilakukan pada ukuran set data 100 GB di TA7. Nilai ini diberikan untuk membantu memilih antara dua utilitas salinan yang tersedia. Kecepatan transfer dapat bervariasi bergantung pada jenis perangkat dan konektivitas jaringan.

   Metode	Ukuran File	Byte Ukuran Arsip (Khusus Arsip Pull)	Tarif (NFS)	Tarif (UKM)
   RClone	100 MB	T/A	600 MB/dtk	620 MB/dtk
   Arsipkan Pull	100 MB	10 GB	750 MB/dtk	850 MB/dtk
   RClone	1 MB	T/A	280 MB/dtk	270 MB/dtk
   Arsipkan Pull	1 MB	500 MB	630 MB/dtk	380 MB/dtk
   RClone	100 KB	T/A	150 MB/dtk	150 MB/dtk
   Arsipkan Pull	100 KB	5 MB	270 MB/dtk	90 MB/dtk

Tolok Ukur Transfer Data

Kecepatan transfer data ini mewakili performa tulis maksimum Transfer Appliance saat menggunakan alat salin standar. Untuk mengisolasi performa tulis dan menghilangkan potensi bottleneck baca dari sumber data, data dibuat langsung di share NFS yang dipasang di appliance. Appliance (TA40) terhubung ke sumber data dengan port 10 Gb, dan kecepatan diukur untuk ukuran file berikut:

• File 10 GB, 1 GB, dan 100 MB (set data 5 TB)
• File 10 MB dan 1 MB (set data 1 TB)

Ukuran File	Kecepatan Salin Rata-Rata(NFS)	Perkiraan Waktu untuk Transfer 40 TB	Perkiraan Waktu untuk Transfer 300 TB
10 GB	560 MBps	21 jam	6 hari 12 jam
1 GB	400 MBps	1 hari 5 jam	9 hari
100 MB	300 MBps	1 hari 15 jam	12 hari
10 MB	130 MBps	3 hari 18 jam	28 hari
1 MB	30 MBps	16 hari	120 hari