このドキュメントでは、Spark UI を使用して Dataproc Serverless for Spark のインタラクティブ セッションをモニタリングしてトラブルシューティングする方法について説明します。
Spark UI
Spark UI は、Dataproc Serverless for Spark のインタラクティブ セッションから Apache Spark の実行の詳細を収集します。Spark UI 機能はデフォルトで有効になっており、料金は発生しません。Spark UI 機能によって収集されたデータは 90 日間保持されます。
必要な Identity and Access Management の権限とロール
インタラクティブ セッションで Spark UI 機能を使用するには、次の権限が必要です。
データ収集の権限:
dataproc.sessions.sparkApplicationWrite。この権限は、インタラクティブ セッションを実行するサービス アカウントに付与する必要があります。これはDataproc Workerロールに含まれており、Dataproc Serverless がデフォルトで使用する Compute Engine のデフォルトのサービス アカウントに自動的に付与されます。ただし、セッションまたはセッション ランタイム テンプレートにカスタム サービス アカウントを指定する場合は、そのサービス アカウントにこのdataproc.sessions.sparkApplicationWrite権限を追加する必要があります（通常は、サービス アカウントに DataprocWorkerロールを付与します）。Spark UI アクセス権限:
dataproc.sessions.sparkApplicationRead。Google Cloud コンソールの Spark UI にアクセスするには、この権限をユーザーに付与する必要があります。この権限は、Dataproc Viewer、Dataproc Editor、Dataproc Administratorロールに含まれています。Google Cloud コンソールで Spark UI を開くには、これらのロールのいずれか、またはこの権限を含むカスタムロールが必要です。
Spark UI を開く
Spark UI ページは、Spark セッションの Google Cloud コンソールで使用できます。
- インタラクティブ セッション ID をクリックして、[インタラクティブ セッションの詳細] ページを開きます。
- 上部のメニューで [View Spark UI] をクリックします。
[Spark UI を表示] リンクが無効になっていますか？必要な権限が付与されていない場合、またはインタラクティブ セッションの詳細ページで [Spark UI を有効にする] チェックボックスをオフにした場合、またはセッションを作成またはセッション ランタイム テンプレートを作成するときに spark.dataproc.appContext.enabled プロパティを false（デフォルト: true）に設定した場合、[Spark UI を表示] ボタンは無効になります。
制限事項
Spark UI は、次の Dataproc Serverless ワークロードをサポートしていません。