Dataproc Serverless インタラクティブ セッションをモニタリングしてトラブルシューティングする

このドキュメントでは、Spark UI を使用して Dataproc Serverless for Spark のインタラクティブ セッションをモニタリングしてトラブルシューティングする方法について説明します。

Spark UI

Spark UI は、Spark インタラクティブ セッション用に Dataproc Serverless から Apache Spark の実行の詳細を収集します。Spark UI 機能はデフォルトで有効になっており、料金は発生しません。Spark UI 機能によって収集されたデータは 90 日間保持されます。

必要な Identity and Access Management の権限とロール

インタラクティブ セッションで Spark UI 機能を使用するには、次の権限が必要です。

  • データ収集の権限: dataproc.sessions.sparkApplicationWrite。この権限は、インタラクティブ セッションを実行するサービス アカウントに付与する必要があります。これは Dataproc Worker ロールに含まれており、Dataproc Serverless がデフォルトで使用する Compute Engine のデフォルトのサービス アカウントに自動的に付与されます。ただし、セッションまたはセッション ランタイム テンプレートにカスタム サービス アカウントを指定する場合は、そのサービス アカウントにこの dataproc.sessions.sparkApplicationWrite 権限を追加する必要があります（通常は、サービス アカウントに Dataproc Worker ロールを付与します）。

  • Spark UI アクセス権限: dataproc.sessions.sparkApplicationRead。Google Cloud コンソールの Spark UI にアクセスするには、この権限をユーザーに付与する必要があります。この権限は、Dataproc Viewer、Dataproc Editor、Dataproc Administrator ロールに含まれています。Google Cloud コンソールで Spark UI を開くには、これらのロールのいずれか、またはこの権限を含むカスタムロールが必要です。

Spark UI を開く

Spark UI ページは、Spark セッションの Google Cloud コンソールで使用できます。

  1. Dataproc インタラクティブ セッションに移動

  2. インタラクティブ セッション ID をクリックして、[インタラクティブ セッションの詳細] ページを開きます。
  3. 上部のメニューで [View Spark UI] をクリックします。

[Spark UI を表示] リンクが無効になっていますか？必要な権限が付与されていない場合、またはインタラクティブ セッションの詳細ページで [Spark UI を有効にする] チェックボックスをオフにした場合、またはセッションを作成またはセッション ランタイム テンプレートを作成するときに spark.dataproc.appContext.enabled プロパティを false（デフォルト: true）に設定した場合、[Spark UI を表示] ボタンは無効になります。