轉移資料

Transfer Appliance 支援下列方法，可將資料複製到設備：

將資料複製到 Transfer Appliance 後，請先確認資料已轉移到 Cloud Storage 值區，再刪除來源資料。

檔案大小和命名規定

上傳至裝置的檔案必須符合 Cloud Storage 檔案大小限制和命名規範：

Transfer Appliance 不會驗證檔案大小或名稱。如果裝置含有不符合這些規則的檔案，Google 可能無法轉移這些檔案。

使用 SCP 或 SFTP 複製資料

如要使用 SCP 或 SFTP 將資料複製到設備，請按照下列步驟操作：

Microsoft Windows

  1. 下載支援 UTF-8 檔案名稱的 SCP 或 SFTP 用戶端，例如 WinSCP。

  2. 使用 SCP 工具，透過下列設定連線至設備：

    • 檔案通訊協定：安全檔案傳輸通訊協定
    • 主機名稱：裝置的 IP 位址。
    • 通訊埠編號：22
    • 使用者名稱：Transfer Appliance 團隊提供的設備使用者名稱。
    • 密碼：Transfer Appliance 團隊提供的設備密碼。

    Transfer Appliance 上的目的地目錄必須為 /mnt/ta_data。

Linux

  1. 執行下列指令：

    scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data

    更改下列內容：

    • PATH_TO_FILES：要複製的檔案路徑。
    • USERNAME：Transfer Appliance 團隊提供的設備使用者名稱。
    • IP_ADDRESS：設備的 IP 位址。

  2. 系統提示時，請輸入 Transfer Appliance 團隊提供的設備密碼。

Apple macOS

  1. 執行下列指令：

    scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data

    更改下列內容：

    • PATH_TO_FILES：要複製的檔案路徑。
    • USERNAME：Transfer Appliance 團隊提供的設備使用者名稱。
    • IP_ADDRESS：設備的 IP 位址。

  2. 系統提示時，請輸入 Transfer Appliance 團隊提供的設備密碼。

使用 NFS 共用區複製資料

如要使用 NFS 共用將資料複製到設備，請按照下列步驟操作：

  1. 如要掛接 Transfer Appliance，請在資料來源上執行下列指令：

    Linux

    1. sudo mkdir /mnt/data

    2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data

      將 IP_ADDRESS 替換為設備的 IP 位址。

    Apple macOS

    1. cd ~

    2. mkdir ta_data

    3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data

      將 IP_ADDRESS 替換為設備的 IP 位址。

  2. 如要將資料複製到設備，請使用您選擇的複製公用程式。

    複製資料是長時間執行的作業。在 Apple macOS 或 Linux 上，我們建議使用 tmux 或 screen，確保複製程序在登出或網路中斷後仍能繼續執行。

儲存 SSH 金鑰

儲存 SSH 金鑰，即可快速登入 Transfer Appliance。 儲存 SSH 金鑰也能提升傳輸速度。

  1. 在工作站上，使用下列指令產生金鑰組：

    posix-terminal
ssh-keygen -t rsa

  2. 在設備上建立 /tmp/ssh_key 檔案。

  3. 將工作站的公開金鑰檔案內容複製到設備的 /tmp/ssh_key。工作站上的公開金鑰檔案位於下列位置：

    • Linux：~/.ssh/id_rsa.pub
    • Windows：C:Users/USERNAME/.ssh

    如要授權多個金鑰，請在 /tmp/ssh_key 中逐行新增每個金鑰。

  4. 在設備上執行下列指令。系統會覆寫所有現有金鑰。

    ta copy_ssh_keys

  5. 登入設備。

    • 如果私密金鑰位於工作站的預設位置，請使用下列指令登入設備：

      ssh ta_customer@IP_ADDRESS

    • 如果私密金鑰不在預設位置，請使用下列指令登入設備：

      ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS

使用 SMB 傳輸資料

如要啟用 SMB 檔案共用功能，請按照下列步驟操作：

  1. 使用下列檔案共用通訊協定標記，將設備設定為使用 SMB：

     ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb

    系統會共用 ta_data 目錄，並建立下列使用者：

    • 使用者名稱：ta_customer
    • 密碼：ta_customer

  2. 根據主機類型連線至 SMB 檔案共用區：

    Microsoft Windows

    檔案管理員

    1. 開啟檔案管理員，然後將檔案路徑編輯為 \\IP_ADDRESS\ta_data。

    2. 系統出現提示時，輸入使用者名稱和密碼。

    指令列

    1. 在 Windows 命令提示字元中輸入以下內容：net use X: \\IP_ADDRESS\ta_data

    2. 系統出現提示時，輸入使用者名稱和密碼。

    Linux

    檔案管理員

    1. 開啟預設檔案管理員，然後按一下「連線到伺服器」。

    2. 輸入 smb://IP_ADDRESS/ta_data。

    3. 系統出現提示時，輸入使用者名稱和密碼。

    指令列

    1. 安裝 SMB 用戶端：sudo apt-get install smbclient。

    2. 連線至 SMB 檔案共用區：smbclient //IP_ADDRESS/ta_data -U USERNAME

      畫面上會顯示 smb:\> 提示。

在設備上使用自己的檔案共用

裝置會使用包裝好的 Linux 掛接指令，在裝置上掛接共用區：

  1. 執行下列指令：

    NFS

    1. 在代管 NFS 伺服器的裝置上更新 /etc/exports 檔案，授予伺服器 IP_ADDRESS 存取權。

    2. 在設備上執行下列指令：

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
--target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
--options=OPTIONS

      更改下列內容：

      • IP_ADDRESS：設備的 IP 位址。
      • MOUNT_POINT：這個共用項目的掛接點名稱。
      • NFS_SERVER_IP：主機的 IP 位址，該主機代管 NFS 伺服器
      • NFS_DIRECTORY：NFS 共用區的路徑。
      • OPTIONS：以半形逗號分隔的選項清單。 這些選項是 Linux 的 mount 指令允許的選項。

    CIFS

    1. 在設備上執行下列指令：

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
--target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
--options=OPTIONS

      更改下列內容：

      • MOUNT_POINT：這個共用項目的掛接點名稱。
      • CIFS_SERVER_IP：主機裝置的 IP 位址，該裝置會代管 CIFS 伺服器。
      • CIFS_NAME：CIFS 共用名稱。
      • OPTIONS：以逗號分隔的選項清單，包括 CIFS 共用的密碼和使用者名稱。這些選項是 Linux 的 mount 指令允許的選項。

    除非掛接選項另有指定，否則掛接點會在重新啟動時重新掛接，直到您使用「ta unmount」指令移除為止。

  2. 如要卸載設備上的任何掛接點，請執行下列指令：

     ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

  3. 如要將資料複製到設備，請使用您選擇的複製公用程式。

    RClone

    1. 如要在設備上使用 RClone 執行複製指令，請執行下列指令：

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      更改下列內容：

      • MOUNT_POINT：包含要轉移資料的目錄。

    封存提取

    1. 如要在轉移期間將資料封存為 tar 檔案，請執行下列指令：

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
--destination=/mnt/ta_data --count=THREAD_COUNT

      更改下列內容：

      • MOUNT_POINT：包含要轉移資料的目錄。
      • ARCHIVE_SIZE_BYTES：要在目的地產生的 tar 球目標大小。預設為 1 GB，預期介於 5 MB 至 20 GB 之間 (含 5 MB 和 20 GB)。
      • THREAD_COUNT：同時建立封存檔的執行緒數量。預設為 20，預期介於 1 到 10000 之間 (含首尾)。

      封存提取作業會在背景執行，因此您可以放心退出終端機。提取作業開始時，會先列出資料，然後才能開始轉移。

    2. 開始提取時會傳回 ID，這個值可用於與提取作業互動：

      如要檢查提取作業的狀態，請執行下列指令： 

      ta pull --id=ID --status

      如要暫停提取作業，請執行下列指令： 

      ta pull --id=ID --pause

      如要繼續已暫停或中斷的提取作業，請執行下列指令： 

      ta pull --id=ID --resume

      更改下列內容：

      • ID：提取 ID。

    3. 提取完成後，您可以在 /mnt/ta_data/TA_ARCHIVE_ID/ 目錄下找到 tar ball。系統會產生資訊清單檔案，並儲存到 /mnt/ta_data/manifest_ID.tsv。這個檔案會包含所轉移檔案的資訊，詳細說明哪些檔案位於哪些 tar ball 檔案中。同樣地，系統也會在 /mnt/ta_data/manifest_ID_ERROR.tsv 儲存錯誤資訊清單檔案，詳細列出提取期間發生的所有錯誤。

    建議一次執行一個提取指令。

    我們在 TA7 上對 100 GB 的資料集進行速度測試。提供這些值是為了協助您選擇兩種可用的複製公用程式。傳輸速度可能因裝置類型和網路連線而異。

    方法 檔案大小 封存大小 (位元組) (僅限封存提取) 費率 (NFS) 費率 (中小企業)
    RClone 100 MB 不適用 600 MB/秒 620 MB/秒
    封存提取 100 MB 10 GB 750 MB/秒 850 MB/秒
    RClone 1 MB 不適用 280 MB/秒 270 MB/秒
    封存提取 1 MB 500 MB 630 MB/秒 380 MB/秒
    RClone 100 KB 不適用 150 MB/秒 150 MB/秒
    封存提取 100 KB 5 MB 270 MB/秒 90 MB/秒

資料移轉基準

這些資料傳輸速度代表使用標準複製工具時，Transfer Appliance 的最高寫入效能。為隔離寫入效能並消除資料來源可能造成的讀取瓶頸，資料直接在設備掛接的 NFS 共用資料夾中產生。設備 (TA40) 是透過 10 Gb 連接埠連線至資料來源，並測量下列檔案大小的速度：

  • 10 GB、1 GB 和 100 MB 的檔案 (5 TB 資料集)
  • 10 MB 和 1 MB 的檔案 (1 TB 資料集)
檔案大小 平均複製速度(NFS) 預估 40 TB 資料的移轉時間 預估 300 TB 資料的移轉時間
10 GB 560 MBps 21 小時 6 天 12 小時
1 GB 400 MBps 1 天 5 小時 9 天
100 MB 300 MBps 1 天 15 小時 12 天
10 MB 130 MBps 3 天 18 小時 28 天
1 MB 30 MBps 16 天 120 天