已知限制

本頁面說明 Cloud Storage 和 Storage 移轉服務的已知限制。

常見限制

Cloud Storage 5 TiB 物件大小限制

Cloud Storage 支援的單一物件大小上限為 5 千兆位元組。如果您有超過 5 TiB 的物件,Cloud Storage 或 Storage 轉移服務會針對這些物件傳輸失敗。

Cloud Storage 物件命名規定

Cloud Storage 會強制執行適用於所有 Storage 移轉服務移轉作業的物件名稱規定

不會轉移已變更的物件

Storage 移轉服務不會在轉移期間鎖定來源檔案。

如果物件資料在傳輸期間更新,Storage Transfer Service 會回應如下:

  • 從非 Google 雲端轉移至 Google Cloud:如果物件資料在轉移期間更新,Storage 移轉服務會針對該特定物件轉移失敗,且不會轉移該物件。

  • 從檔案系統轉移至 Google Cloud:如果物件的資料在轉移期間更新,Storage 移轉服務會再次嘗試上傳。如果上傳作業多次失敗,Storage 移轉服務會記錄 FILE_MODIFIED_FAILURE。詳情請參閱「疑難排解」。

  • 從 Google Cloud 轉移至檔案系統:如果物件在轉移期間更新資料,Storage 移轉服務會再次嘗試下載。如果下載失敗多次,Storage 移轉服務會記錄 PRECONDITION_FAILURE。詳情請參閱「疑難排解」。

如要解決失敗問題,請按照下列步驟操作:

  1. 請再次嘗試轉移。
  2. 如果物件的轉移作業仍持續失敗,請確認在轉移期間,其資料無法更新:

  3. 轉移完成後,您可以重新啟用物件的更新功能。

Cloud Storage 中的資料夾

Cloud Storage 物件位於值區中的扁平命名空間。詳情請參閱「物件命名空間」一文。因此,Storage 移轉服務不會在 Cloud Storage 中建立階層命名空間。舉例來說,如果您要從 Azure Data Lake Storage (ADLS) Gen2 進行移轉,Storage 移轉服務就不會在 Cloud Storage 中重新建立 ADLS Gen2 命名空間。

刪除版本控制功能已暫停的 Amazon S3 值區中的物件

在版本已停用的 Amazon S3 值區中,如果使用 Storage 移轉服務的「在轉移後從來源刪除物件」功能,Storage 移轉服務會移除具有空值版本 ID 的物件,而非目前的版本。

Storage 移轉服務工作的位置

Storage 移轉服務會根據來源 Cloud Storage 值區的區域選擇位置。截至目前,我們已在下列位置建立 Storage Transfer Service 工作。隨著儲存空間移轉服務新增支援的新區域,這份清單可能會有所變動。

如果來源 Cloud Storage 值區位於未列出的地區,我們會選擇來源外部地區的預設地區。

支援的地點
africa-south1 europe-north1 nam4
asia-east1 europe-north2 northamerica-northeast1
asia-east2 europe-southwest1 northamerica-northeast2
asia-northeast1 europe-west1 northamerica-south1
asia-northeast2 europe-west2 southamerica-east1
asia-northeast3 europe-west3 southamerica-west1
asia-south1 europe-west4 us-central1
asia-south2 europe-west6 us-central2
asia-southeast1 europe-west8 us-east1
asia-southeast2 europe-west9 us-east4
asia1 europe-west10 us-east5
australia-southeast1 europe-west12 us-east7
australia-southeast2 me-central1 us-west1
me-central2 us-west2
me-west1 us-west3
us-west4

檔案系統移轉的已知限制

不支援即時支援

Storage 轉移服務不支援每小時變更偵測。Storage 移轉服務是批次資料移轉服務,可每小時掃描一次來源。

支援的作業系統設定

轉移代理程式需要安裝 Docker,並在 Linux 伺服器或虛擬機器 (VM) 上執行。如要複製 CIFS 或 SMB 檔案系統中的資料,您可以在 Linux 伺服器或 VM 上掛接磁碟區,然後透過 Linux 伺服器或 VM 執行代理程式。

記憶體需求

以下是 Transfer Service for On Premises Data 代理程式記憶體需求:
  • 記憶體容量下限:1 GiB
  • 支援高效上傳功能的記憶體容量下限:6 GiB

擴充限制

Storage 移轉服務支援以下個別轉移作業:

  • 大小為數百 TB
  • 最多 10 億個檔案
  • 傳輸速度達數十 Gbps

個別轉移作業的大小若超過這些限制,雖然可靠,但我們尚未測試其效能。

如果資料集超過這些限制,建議您將資料分割成多個轉移作業。

我們目前支援大型目錄,只要每個代理程式在最大目錄中每 100 萬個檔案至少有 1 GB 的記憶體,我們就能重複處理目錄內容,而不會超出記憶體。

代理程式和代理程式集區限制

單一服務專員集區最多可支援 100 位服務專員。在一般環境中,您不太可能需要更多代理程式來提升效能。

每個專案最多支援 800 個代理程式集區。

每個工作一個目錄

我們只支援以遞迴方式傳輸檔案系統目錄的完整內容。您可以建立多個工作來轉移資料集的不同子目錄,藉此分割轉移作業,但我們目前不支援在單一工作中使用檔案 glob 或篩選功能。

支援的檔案名稱

下列規則適用於所有轉移作業的檔案名稱:

  • 檔案名稱必須使用 UTF8 編碼。
  • 檔案名稱必須與萬國碼相容。
  • 不得含有換行符號 (\n) 或回車符號 (\r)。

如果來源目錄包含不支援的檔案名稱,則該目錄的檔案清單工作會失敗。

如果發生這種情況,請更新所有不支援的檔案名稱,然後重新執行工作。

支援的檔案類型

Storage 移轉服務支援一般檔案和類 Unix 隱藏檔案的轉移作業。Unix 風格的隱藏檔案是開頭為 . 字元的檔案。Storage 轉移服務遇到裝置、命名管道或 Socket 等非標準檔案時,會擲回 UNSUPPORTED_FILE_MODE 錯誤。

系統不會在 Cloud Storage 中建立空白目錄,因為物件不會儲存在值區的子目錄中。詳情請參閱「物件命名空間」。

路徑長度上限

Storage 移轉服務會遵循 Cloud Storage 的路徑長度上限 (1024 個位元組)。目標物件的物件前置字串會納入長度限制,因為前置字串會納入 Cloud Storage 中的物件名稱。

支援的檔案中繼資料

如要進一步瞭解系統預設或選用的中繼資料保留方式,請參閱「中繼資料保留」一文。

工作暫停時間延長

工作如果暫停超過 30 天,就會視為閒置。當工作處於非活動狀態時,系統會中止已暫停的工作,並停用工作設定時間表。除非您再次明確啟用工作,否則不會啟動新的執行工作。

檔案系統來源安全性

服務專員存取權

能夠建立移轉工作的使用者,可以從代理程式可存取的任何檔案系統目錄擷取資料,並將資料下載至該目錄。如果代理程式以 root 層級執行,並且獲得整個檔案系統的存取權,惡意人士可能會接管主機。強烈建議您限制代理程式存取權,只開放必要的目錄。