Monitorar e resolver problemas das sessões interativas do Google Cloud sem servidor para Apache Spark

Neste documento, descrevemos como monitorar e resolver problemas de sessões interativas do Google Cloud Serverless para Apache Spark usando a interface do Spark.

Interface do Spark

A interface do Spark coleta detalhes de execução do Apache Spark de sessões interativas do Serverless para Apache Spark. Não há cobrança pelo recurso da interface do Spark, que é ativado por padrão. Os dados coletados pelo recurso da interface do Spark são armazenados por 90 dias.

Permissões e papéis necessários do Identity and Access Management

As seguintes permissões são necessárias para usar o recurso da interface do Spark com sessões interativas:

  • Permissão de coleta de dados: dataproc.sessions.sparkApplicationWrite. Essa permissão precisa ser concedida à conta de serviço que executa sessões interativas. Ele está incluído na função Dataproc Worker, que é concedida automaticamente à conta de serviço padrão do Compute Engine usada por padrão pelo Serverless para Apache Spark. No entanto, se você especificar uma conta de serviço personalizada para sua sessão ou modelo de tempo de execução da sessão, adicione a permissão dataproc.sessions.sparkApplicationWrite a essa conta de serviço (normalmente, concedendo à conta de serviço o papel Worker do Dataproc).

  • Permissão de acesso à interface do Spark: dataproc.sessions.sparkApplicationRead. Essa permissão precisa ser concedida a um usuário para acessar a interface do Spark no consoleGoogle Cloud . Ela está incluída nos papéis Dataproc Viewer, Dataproc Editor e Dataproc Administrator. Para abrir a interface do Spark no console Google Cloud , você precisa ter um destes papéis ou um papel personalizado que inclua essa permissão.

Abra a interface do Spark

A página da interface do Spark está disponível no console Google Cloud .

  1. Acessar as sessões interativas do Dataproc

  2. Clique em um ID da sessão interativa para abrir a página Detalhes da sessão interativa.
  3. Clique em Ver interface do Spark no menu superior.

O link Ver interface do Spark está desativado? Se uma permissão obrigatória não for concedida, ou se você desmarcar a caixa de seleção Ativar a interface do Spark na página de detalhes da sessão interativa ou definir a propriedade spark.dataproc.appContext.enabled como false (padrão: true) ao criar uma sessão ou criar um modelo de tempo de execução de sessão, o botão Ver interface do Spark será desativado.