檔案系統轉移作業的相關規定

建立檔案系統移轉工作之前，您必須啟用必要的 API 並安裝 Docker。

如果您在執行首次設定時收到錯誤訊息，請確認您登入的使用者是否具備執行設定步驟所需的權限。在許多情況下，這些權限並非所有使用者都能取得，因此您可能需要向專案管理員尋求協助。

系統需求

如要使用 Storage 移轉服務進行檔案系統轉移，您需要：

  • 符合 POSIX 標準的來源和/或目的地。

  • 沒有保留政策的 Cloud Storage 值區。如要轉移至設有保留政策的值區，請參閱「轉移至設有保留政策的值區」。

  • 開啟用於傳出連線的 TCP 通訊埠 443 (HTTPS)。

轉移代理程式機器的相關規定如下：

  • Docker 支援的 64 位元 Linux 伺服器或虛擬機器，可存取您要轉移的資料。Docker Community Edition：支援 CentOS、Debian、Fedora 和 Ubuntu 作業系統。

    如要使用其他 Linux 作業系統，請參閱 Docker Enterprise。

  • 每個容器至少要有 8 GB 記憶體，並且至少要有四個 CPU 才能發揮最佳效能。

  • 任何系統層級或使用者層級的限制 (例如使用 ulimit -u 進行設定)，都必須考量您打算執行的服務數量。每個代理程式程序最多可建立數百個執行緒。建議您在執行轉移代理程式時移除程序 ID 限制。

    使用 Podman 建立代理程式容器的客戶，應指定足以容納 Storage 移轉服務代理程式執行緒的 --pids-limit 值。預設的 --pids-limit 值為 2048，這可能會在執行多個代理程式時造成問題。建議您設定 --pids-limit=-1，讓每個容器可有無限的程序 ID。

工作和代理人的調度限制

Storage 移轉服務對移轉工作和代理程式有下列規模限制：

  • 每項工作處理的檔案數量少於 10 億
  • 頻寬上限必須超過 1MBps
  • 每個代理程式集區最多 100 個代理程式
  • 每個專案最多可有 800 個代理程式集區

啟用 API

  1. Enable the Google Storage Transfer API.

    Enable the API

安裝 Docker

如果您使用 Google Cloud CLI 或 Docker 來安裝及執行轉移代理程式，請在實體或虛擬 Linux 機器上安裝 Docker Engine。

如果您使用 Podman 安裝及執行轉移代理程式，請直接跳至 Podman 專屬安裝說明。

curl -fsSL https://get.docker.com -o get-docker.sh

sudo sh get-docker.sh

sudo systemctl enable docker --now

如果發生安裝錯誤，請參閱疑難排解。

允許 Docker 進行驗證

如要讓 Docker 容器以您的 gcloud 預設憑證進行驗證，請執行以下指令來建立含有應用程式預設憑證檔案的 Docker 磁碟區：

sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login

後續步驟