排解刪除叢集的問題

本頁面說明如何解決在 Cloud Data Fusion 中刪除暫時性 Dataproc 叢集的問題。

當 Cloud Data Fusion 在管道執行佈建期間建立臨時 Dataproc 叢集時，會在管道執行完畢後刪除該叢集。在極少數情況下，叢集刪除作業會失敗。

強烈建議：請升級至最新的 Cloud Data Fusion 版本，確保叢集維護作業正常運作。

設定閒置時間上限

如要解決這個問題，請設定最大閒置時間值。這樣一來，即使管道結束時明確呼叫失敗，Dataproc 也會自動刪除叢集。

Max Idle Time 適用於 Cloud Data Fusion 6.4 以上版本。

在 Cloud Data Fusion 6.6 以上版本中，閒置時間上限預設為 4 小時。

如要覆寫預設運算設定檔中的預設時間，請按照下列步驟操作：

1. 在 Cloud Data Fusion 網頁介面中開啟執行個體。
2. 依序按一下「系統管理員」>「設定」>「系統偏好設定」。
3. 按一下「Edit System Preferences」，然後以 IntegerUnit 格式新增鍵 system.profile.properties.idleTTL 和值，例如 30m。

建議：如果是 6.6 以下版本，請手動將 Max Idle Time 設為 30 分鐘以上。

手動刪除叢集

如果無法升級版本或設定 Max Idle Time 選項，請改為手動刪除過時的叢集：

1. 取得建立叢集的每個專案 ID：

   1. 在管道的執行階段引數中，確認 Dataproc 專案 ID 是否已針對執行作業進行自訂。

      

   2. 如果未明確指定 Dataproc 專案 ID，請判斷系統使用哪個佈建工具，然後檢查專案 ID：

      1. 在管道執行階段引數中，檢查 system.profile.name 值。

         

      2. 開啟供應者設定，確認是否已設定 Dataproc 專案 ID。如果沒有這項設定或欄位為空白，系統會使用 Cloud Data Fusion 執行個體執行的專案。

2. 針對每個專案：

   1. 在 Google Cloud 控制台中開啟專案，然後前往 Dataproc「Clusters」(叢集) 頁面。

      前往「叢集」

   2. 依據叢集的建立日期排序，從最舊到最新。

   3. 如果資訊面板未顯示，請按一下「Show info panel」(顯示資訊面板)，然後前往「Labels」(標籤)分頁。

   4. 針對每個未使用的叢集 (例如，已過一天以上)，請檢查是否有 Cloud Data Fusion 版本標籤。這表示該資料表是由 Cloud Data Fusion 建立。

   5. 勾選叢集名稱旁的核取方塊，然後點選「Delete」。

略過叢集刪除作業

為了進行偵錯，您可以停止自動刪除暫時叢集的作業。

如要停止刪除作業，請將 Skip Cluster Deletion 屬性設為 True。完成偵錯後，您必須手動刪除叢集。