搭配 Dataflow 使用 Compute Engine 預留項目

如要確保 Dataflow 工作需要 VM 資源時，這些資源可供使用，您可以採用 Compute Engine 預訂功能。預留項目可確保您取得 Compute Engine 可用區資源的容量。

如要將 Compute Engine 預留項目與 Dataflow 搭配使用，請按照下列步驟操作：

1. 建立 Compute Engine 預留項目。可以是單一專案預留項目或共用預留項目。詳情請參閱下列文件：

   • 為單一專案建立預留項目
   • 建立共用預留項目

   保留項目可包含 GPU 加速器。

2. 提交 Dataflow 工作時，請根據使用的 Beam SDK 版本，傳遞下列其中一個服務選項：

   • Beam 版本 < 2.29：--experiments=skip_gce_quota_verification
   • Beam 版本 >= 2.29：--dataflow_service_options=automatically_use_created_reservation

如要避免同一個專案中的低優先順序工作負載與 Dataflow 爭用預留項目，請在為這些工作負載建立 VM 時，將預留項目相依性設為 none。詳情請參閱「使用預留執行個體」。

如要使用預訂，Dataflow 工作站必須符合預訂設定。您可能需要為工作設定工作站機器類型。詳情請參閱工作人員。

限制

• Dataflow 工作站使用預留項目時，必須遵守所有 Compute Engine 預留項目的限制。請參閱預留的運作方式。

• Dataflow 依賴 Compute Engine 的預設消耗順序。因此，有下列限制：

  • Dataflow 不會使用以 --require-specific-reservation 旗標建立的預留項目。
  • 如果相同專案或機構中的其他工作負載未指定 --reservation 旗標，可能會與 Dataflow 工作負載競爭專案專屬或共用的預留空間。

• Dataflow Prime 工作不會耗用 Compute Engine 預留項目。

定價

Dataflow 工作執行期間，系統會透過 Dataflow 計收預留 Compute Engine VM 的費用；VM 未供 Dataflow 使用時，則會透過 Compute Engine 計費。

如果您將 Compute Engine 預留項目用於 Dataflow，這些預留資源就不符合承諾使用折扣的資格。系統會根據 Dataflow 定價模式計費。

後續步驟

如要進一步瞭解 Compute Engine 預留項目，請參閱「Compute Engine 可用區資源的預留項目」。