Amazon S3 移轉作業簡介

透過 Amazon S3 專用的 BigQuery 資料移轉服務，您可以自動安排及管理從 Amazon S3 到 BigQuery 的週期性載入工作。

支援的檔案格式

BigQuery 資料移轉服務支援以下格式，可讓您從 Amazon S3 載入資料：

• 逗號分隔值 (CSV)
• JSON (以換行符號分隔)
• Avro
• Parquet
• ORC

支援的壓縮類型

Amazon S3 專用的 BigQuery 資料移轉服務支援載入壓縮資料。BigQuery 資料移轉服務支援的壓縮類型和 BigQuery 載入工作支援的相同。詳情請參閱「載入壓縮與未壓縮資料」。

Amazon S3 必備條件

從 Amazon S3 資料來源載入資料的必要事項

• 提供您來源資料的 Amazon S3 URI
• 具備存取金鑰 ID
• 具備私密存取金鑰
• 至少要針對 Amazon S3 來源資料設定 AWS 代管政策 AmazonS3ReadOnlyAccess

Amazon S3 URI

在提供 Amazon S3 URI 時，路徑必須採用以下格式 s3://bucket/folder1/folder2/... 只有頂層值區名稱是必要的，不一定要提供資料夾名稱。如果指定的 URI 僅含有值區名稱，則會移轉值區中的所有檔案並載入到 BigQuery 中。

Amazon S3 轉移作業執行階段參數設定

Amazon S3 URI 和目的地資料表都可以參數化，可讓您以按日期排列的 Amazon S3 值區載入資料。請注意，URI 的值區部分無法參數化。Amazon S3 移轉作業使用的參數與 Cloud Storage 移轉作業使用的參數相同。

詳情請參閱「在移轉作業中使用執行階段參數」。

Amazon S3 移轉作業的資料擷取

您可以設定 Amazon S3 移轉作業時，在移轉設定中選取寫入偏好設定，指定資料載入 BigQuery 的方式。

增量轉移

使用 APPEND 或 WRITE_APPEND 寫入偏好設定的移轉設定 (也稱為增量移轉)，會在先前成功將資料移轉至 BigQuery 目的地資料表後，逐漸附加新資料。當轉移設定搭配 APPEND 寫入偏好設定執行時，BigQuery 資料移轉服務會篩選自上次成功執行轉移作業以來已修改的檔案。為了判斷檔案修改時間，BigQuery 資料移轉服務會查看檔案中繼資料的「上次修改時間」屬性。舉例來說，BigQuery 資料移轉服務會查看 Cloud Storage 檔案中的 updated 時間戳記屬性。如果 BigQuery 資料移轉服務發現任何檔案的「上次修改時間」是在上次成功移轉作業的時間戳記之後，就會以增量移轉方式轉移這些檔案。

為說明漸進式轉移作業的運作方式，請參考以下 Cloud Storage 轉移作業範例。使用者在 2023-07-01T00:00Z 時間點在 Cloud Storage 值區中建立名為 file_1 的檔案。file_1 的 updated 時間戳記是檔案建立的時間。接著，使用者會從 Cloud Storage 儲存桶建立漸進式移轉作業，並排定每天在 03:00 協調世界時 (UTC) 執行一次，從 2023-07-01T03:00Z 開始。

• 在 2023-07-01T03:00Z，第一個轉移作業就會開始。由於這是此設定的首次移轉作業，BigQuery 資料移轉服務會嘗試將與來源 URI 相符的所有檔案載入目標 BigQuery 資料表。移轉作業執行成功，BigQuery 資料移轉服務已成功將 file_1 載入至目的地 BigQuery 資料表。
• 在 2023-07-02T03:00Z 執行下一次轉移作業時，系統不會偵測到 updated 時間戳記屬性大於上次成功執行轉移作業 (2023-07-01T03:00Z) 的檔案。移轉作業執行成功，但未將任何其他資料載入目標 BigQuery 資料表。

上例說明 BigQuery 資料移轉服務如何查看來源檔案的 updated 時間戳記屬性，判斷來源檔案是否有任何變更，並在偵測到變更時進行轉移。

同樣以上述範例為例，假設使用者在 2023-07-03T00:00Z 時，在 Cloud Storage 值區中建立另一個名為 file_2 的檔案。file_2 的 updated 時間戳記，是檔案建立的時間。

• 下一次轉移作業 (2023-07-03T03:00Z) 偵測到 file_2 的 updated 時間戳記大於上次成功的轉移作業 (2023-07-01T03:00Z)。假設轉移作業在開始執行時，因暫時性錯誤而失敗。在這種情況下，file_2 不會載入至目的地 BigQuery 資料表。上次成功執行轉移作業的時間戳記仍為 2023-07-01T03:00Z。
• 下次轉移作業 (2023-07-04T03:00Z) 偵測到 file_2 的 updated 時間戳記比上次成功的轉移作業 (2023-07-01T03:00Z) 還要晚。這次移轉作業執行完畢後沒有問題，因此成功將 file_2 載入至目的地 BigQuery 資料表。
• 在 2023-07-05T03:00Z 執行下一次轉移作業時，系統不會偵測到 updated 時間戳記大於上次成功執行轉移作業 (2023-07-04T03:00Z) 的檔案。轉移作業成功完成，但未將任何其他資料載入目的地 BigQuery 資料表。

上例顯示，當轉移作業失敗時，系統不會將任何檔案轉移至 BigQuery 目的地資料表。系統會在下次成功執行傳輸作業時，傳輸任何檔案變更。在失敗的轉移作業後，後續成功的轉移作業不會導致資料重複。如果轉移作業失敗，您也可以選擇在例行排程時間以外手動觸發轉移作業。

截斷的轉移作業

使用 MIRROR 或 WRITE_TRUNCATE 寫入偏好設定的移轉設定 (也稱為截斷移轉)，會在每次移轉執行時，將與來源 URI 相符的所有檔案資料覆寫至 BigQuery 目的地資料表。MIRROR 會覆寫目的地資料表中資料的新副本。如果目的地資料表使用分區修飾符，轉移作業只會覆寫指定分區中的資料。含有分區修飾符的目標資料表格式為 my_table${run_date}，例如 my_table$20230809。

在一天內重複執行相同的增量或截斷移轉作業，不會導致資料重複。不過，如果您執行多個不同的移轉設定，且這些設定會影響相同的 BigQuery 目的地資料表，則可能會導致 BigQuery 資料移轉服務產生資料重複。

Amazon S3 URI 對於萬用字元的支援範圍

如果來源資料分成多個共用通用基礎名稱的檔案，那麼當您載入資料時，可以在 URI 中使用萬用字元。萬用字元由星號 (*) 組成，可用於 Amazon S3 URI 中的任何位置，但不得用於值區名稱。

雖然 Amazon S3 URI 可使用多個萬用字元，但如果 Amazon S3 URI 只指定單一萬用字元，則可進行一些最佳化：

• 每個轉移作業的檔案數量上限較高。

• 萬用字元會跨越目錄邊界。舉例來說，Amazon S3 URI s3://my-bucket/*.csv 會與檔案 s3://my-bucket/my-folder/my-subfolder/my-file.csv 相符。

Amazon S3 URI 範例

範例 1

如要將單一檔案從 Amazon S3 載入到 BigQuery，請指定檔案的 Amazon S3 URI。

s3://my-bucket/my-folder/my-file.csv

範例 2

如要將 Amazon S3 值區中的所有檔案載入 BigQuery，請只指定值區名稱 (可搭配或不搭配萬用字元)。

s3://my-bucket/

或

s3://my-bucket/*

請注意，s3://my-bucket* 不是允許的 Amazon S3 URI，因為萬用字元無法用於值區名稱。

範例 3

如要從 Amazon S3 載入共用通用前置字串的所有檔案，請指定通用前置字串，後面加上萬用字元。

s3://my-bucket/my-folder/*

請注意，與從頂層 Amazon S3 值區載入所有檔案不同，您必須在 Amazon S3 URI 的結尾指定萬用字元，才能載入任何檔案。

範例 4

如要載入 Amazon S3 中所有路徑相似的檔案，請指定通用前置字串，後面加上萬用字元。

s3://my-bucket/my-folder/*.csv

範例 5

請注意，萬用字元會跨越目錄，因此 my-folder 和 my-folder 子資料夾中的任何 csv 檔案都會載入至 BigQuery。

如果這些來源檔案位於 logs 資料夾中：

s3://my-bucket/logs/logs.csv
s3://my-bucket/logs/system/logs.csv
s3://my-bucket/logs/some-application/system_logs.log
s3://my-bucket/logs/logs_2019_12_12.csv

則下列資訊可用來識別這些項目：

s3://my-bucket/logs/*

範例 6

如果您有這些來源檔案，但只想轉移副檔名為 logs.csv 的檔案，請按照下列步驟操作：

s3://my-bucket/logs.csv
s3://my-bucket/metadata.csv
s3://my-bucket/system/logs.csv
s3://my-bucket/system/users.csv
s3://my-bucket/some-application/logs.csv
s3://my-bucket/some-application/output.csv

則以下會識別名稱中含有 logs.csv 的檔案：

s3://my-bucket/*logs.csv

範例 7

使用多個萬用字元可讓您更精準地控制要傳輸的檔案，但代價是限制較低。使用多個萬用字元表示每個萬用字元只會比對子目錄中路徑的結尾。例如，針對 Amazon S3 中的下列來源檔案：

s3://my-bucket/my-folder1/my-file1.csv
s3://my-bucket/my-other-folder2/my-file2.csv
s3://my-bucket/my-folder1/my-subfolder/my-file3.csv
s3://my-bucket/my-other-folder2/my-subfolder/my-file4.csv

如果您只想轉移 my-file1.csv 和 my-file2.csv，請使用以下值做為 Amazon S3 URI：

s3://my-bucket/*/*.csv

由於兩個萬用字元都不會跨目錄，這個 URI 會將轉移作業限制在 my-folder1 和 my-other-folder2 中的 CSV 檔案。轉移作業不會包含子資料夾。

AWS 存取金鑰

存取金鑰 ID 和私密存取金鑰用於代表您存取 Amazon S3 資料。最佳做法是建立 Amazon S3 移轉作業專用的唯一存取金鑰 ID 和私密存取金鑰，以提供 BigQuery 資料移轉服務的最低存取權。如需有關管理存取金鑰的資訊，請參閱 AWS 一般參考說明文件。

一致性考量

從 Amazon S3 移轉資料時，有些資料可能無法移轉到 BigQuery，如果最近才將檔案新增至值區中，更是如此。將檔案新增至值區後，BigQuery 資料移轉服務可能需要大約 5 分鐘才能提供該檔案。

傳出資料移轉費用最佳做法

如果目的地資料表未正確設定，從 Amazon S3 進行的轉移作業可能會失敗。導致設定不正確的原因包括：

• 目的地表格不存在。
• 未定義資料表結構定義。
• 資料表結構定義與要移轉的資料不相容。

為避免產生 Amazon S3 出站資料移轉費用，您應先使用一小部分代表性檔案進行移轉測試。小型表示測試應具有小型資料大小和小型檔案計數。

定價

如需 BigQuery 資料移轉服務定價的相關資訊，請參閱定價頁面。

請注意，使用這項服務可能必須支付其他產品 (非 Google) 的使用費用。詳情請參閱 Amazon S3 定價頁面。

配額與限制

BigQuery 資料移轉服務會使用載入工作，將 Amazon S3 資料載入至 BigQuery。所有 BigQuery 載入工作的配額和限制均適用於週期性的 Amazon S3 移轉作業，但請注意以下事項：

後續步驟

• 瞭解如何設定 Amazon S3 移轉作業。
• 瞭解 S3 移轉作業中的執行階段參數。
• 進一步瞭解 BigQuery 資料移轉服務。