監控及排解 Dataproc Serverless 互動式工作階段的問題

本文說明如何使用 Spark UI 監控及排解 Dataproc Serverless for Spark 互動式工作階段的問題。

Spark UI

Spark UI 會從 Dataproc Serverless 收集 Apache Spark 執行詳細資料，以便進行 Spark 互動工作階段。系統預設會啟用 Spark UI 功能，使用者無須付費。Spark UI 功能收集的資料會保留 90 天。

所需的 Identity and Access Management 權限和角色

如要使用 Spark UI 功能進行互動式工作階段，必須具備下列權限：

  • 資料收集權限：dataproc.sessions.sparkApplicationWrite。您必須將這項權限授予執行互動式工作階段的服務帳戶。這個角色包含在 Dataproc Worker 角色中，系統會自動將該角色授予 Dataproc Serverless 預設使用的 Compute Engine 預設服務帳戶。不過，如果您為工作階段或工作階段執行階段範本指定自訂服務帳戶，則必須將此 dataproc.sessions.sparkApplicationWrite 權限新增至該服務帳戶 (通常是授予服務帳戶 Dataproc Worker 角色)。

  • Spark UI 存取權限：dataproc.sessions.sparkApplicationRead。您必須將這項權限授予使用者，才能在Google Cloud 控制台中存取 Spark UI。Dataproc Viewer、Dataproc Editor 和 Dataproc Administrator 角色都包含此權限。如要在 Google Cloud 主控台中開啟 Spark UI，您必須具備下列其中一個角色，或是具備包含此權限的自訂角色。

開啟 Spark UI

Google Cloud 控制台的 Spark 工作階段中提供 Spark UI 頁面。

  1. 前往 Dataproc 互動工作階段

  2. 按一下「Interactive Session ID」(互動工作階段 ID)，開啟「Interactive Session Details」(互動工作階段詳細資料) 頁面。
  3. 按一下頂端選單中的「View Spark UI」。

「查看 Spark UI」連結是否已停用？如果建立工作階段或建立工作階段執行階段範本時，未授予必要權限，或是在互動工作階段詳細資料頁面上清除「啟用 Spark UI」核取方塊，或是將 spark.dataproc.appContext.enabled 屬性設為 false (預設值：true)，則「查看 Spark UI」按鈕會停用。