Supervisa y soluciona problemas de las sesiones interactivas de Google Cloud Serverless para Apache Spark

En este documento, se describe cómo supervisar y solucionar problemas de las Google Cloud sesiones interactivas de Serverless para Apache Sparkcon la IU de Spark.

IU de Spark

La IU de Spark recopila detalles de la ejecución de Apache Spark de las sesiones interactivas de Serverless para Apache Spark. La función de la IU de Spark no tiene costo y está habilitada de forma predeterminada. Los datos recopilados por la función de la IU de Spark se conservan durante 90 días.

Google Cloud

Permisos y roles necesarios de Identity and Access Management

Se requieren los siguientes permisos para usar la función de IU de Spark con sesiones interactivas:

  • Permiso de recopilación de datos: dataproc.sessions.sparkApplicationWrite. Este permiso se debe otorgar a la cuenta de servicio que ejecuta sesiones interactivas. Se incluye en el rol Dataproc Worker, que se otorga automáticamente a la cuenta de servicio predeterminada de Compute Engine que Serverless para Apache Spark usa de forma predeterminada. Sin embargo, si especificas una cuenta de servicio personalizada para tu sesión o plantilla de tiempo de ejecución de sesión, debes agregar este permiso dataproc.sessions.sparkApplicationWrite a esa cuenta de servicio (por lo general, otorgándole a la cuenta de servicio el rol Worker de Dataproc).

  • Permiso de acceso a la IU de Spark: dataproc.sessions.sparkApplicationRead. Este permiso se debe otorgar a un usuario para que pueda acceder a la IU de Spark en la consola deGoogle Cloud . Se incluye en los roles Dataproc Viewer, Dataproc Editor y Dataproc Administrator. Para abrir la IU de Spark en la consola de Google Cloud , debes tener uno de estos roles o un rol personalizado que incluya este permiso.

Abre la IU de Spark

La página de la IU de Spark está disponible en la Google Cloud consola.

  1. Ir a Sesiones interactivas de Dataproc

  2. Haz clic en un ID de sesión interactiva para abrir la página Detalles de la sesión interactiva.
  3. Haz clic en Ver IU de Spark en el menú superior.

¿El vínculo Ver IU de Spark está inhabilitado? Si no se otorga un permiso obligatorio, o si borras la casilla de verificación Habilitar la IU de Spark en la página de detalles de la sesión interactiva o estableces la propiedad spark.dataproc.appContext.enabled en false (valor predeterminado: true) cuando creas una sesión o creas una plantilla de tiempo de ejecución de sesión, se inhabilitará el botón Ver la IU de Spark.