Surveiller et résoudre les problèmes liés aux sessions interactives

Ce document explique comment surveiller et résoudre les problèmes liés aux sessions interactives Serverless pour Apache Spark à l'aide de l'interface utilisateur Spark.

UI Spark

L'interface utilisateur Spark collecte les détails d'exécution Apache Spark à partir des sessions interactives Serverless pour Apache Spark. La fonctionnalité UI Spark, activée par défaut, est gratuite. Les données collectées par la fonctionnalité d'interface utilisateur Spark sont conservées pendant 90 jours.

Autorisations et rôles Identity and Access Management requis

Vous devez disposer des autorisations suivantes pour utiliser la fonctionnalité d'UI Spark avec les sessions interactives :

  • Autorisation de collecte de données : dataproc.sessions.sparkApplicationWrite. Cette autorisation doit être accordée au compte de service qui exécute les sessions interactives. Il est inclus dans le rôle Dataproc Worker, qui est automatiquement accordé au compte de service Compute Engine par défaut que Serverless pour Apache Spark utilise par défaut. Toutefois, si vous spécifiez un compte de service personnalisé pour votre session ou votre modèle d'exécution de session, vous devez ajouter cette autorisation dataproc.sessions.sparkApplicationWrite à ce compte de service (généralement en attribuant au compte de service le rôle Dataproc Worker).

  • Autorisation d'accès à l'UI Spark : dataproc.sessions.sparkApplicationRead. Cette autorisation doit être accordée à un utilisateur pour qu'il puisse accéder à l'interface utilisateur Spark dans la consoleGoogle Cloud . Elle est incluse dans les rôles Dataproc Viewer, Dataproc Editor et Dataproc Administrator. Pour ouvrir l'interface utilisateur Spark dans la console Google Cloud , vous devez disposer de l'un de ces rôles ou d'un rôle personnalisé qui inclut cette autorisation.

Ouvrir l'UI Spark

La page de l'interface utilisateur Spark est disponible dans la console Google Cloud .

  1. Accéder aux sessions interactives Dataproc

  2. Cliquez sur un ID de session interactive pour ouvrir la page Détails de la session interactive.
  3. Cliquez sur Afficher l'UI Spark dans le menu du haut.

Le lien Afficher l'UI Spark est-il désactivé ? Si une autorisation requise n'est pas accordée, ou si vous décochez la case Activer l'UI Spark sur la page des détails de la session interactive ou définissez la propriété spark.dataproc.appContext.enabled sur false (par défaut : true) lorsque vous créez une session ou créez un modèle de temps d'exécution de session, le bouton Afficher l'UI Spark sera désactivé.