Monitorar e resolver problemas de sessões interativas

Neste documento, descrevemos como monitorar e resolver problemas das sessões interativas do Dataproc sem servidor para Apache Spark usando a interface do Spark.

Interface do Spark

A interface do Spark coleta detalhes de execução do Apache Spark de sessões interativas do Serverless para Apache Spark. Não há cobrança pelo recurso da interface do Spark, que é ativado por padrão. Os dados coletados pelo recurso da interface do Spark são armazenados por 90 dias.

Permissões e papéis necessários do Identity and Access Management

As seguintes permissões são necessárias para usar o recurso da interface do Spark com sessões interativas:

  • Permissão de coleta de dados: dataproc.sessions.sparkApplicationWrite. Essa permissão precisa ser concedida à conta de serviço que executa sessões interativas. Ele está incluído na função Dataproc Worker, que é concedida automaticamente à conta de serviço padrão do Compute Engine que o Serverless para Apache Spark usa por padrão. No entanto, se você especificar uma conta de serviço personalizada para sua sessão ou modelo de tempo de execução da sessão, adicione a permissão dataproc.sessions.sparkApplicationWrite a essa conta de serviço (normalmente, concedendo à conta de serviço o papel Worker do Dataproc).

  • Permissão de acesso à interface do Spark: dataproc.sessions.sparkApplicationRead. Essa permissão precisa ser concedida a um usuário para acessar a interface do Spark no consoleGoogle Cloud . Ela está incluída nos papéis Dataproc Viewer, Dataproc Editor e Dataproc Administrator (links em inglês). Para abrir a interface do Spark no console Google Cloud , você precisa ter um destes papéis ou um papel personalizado que inclua essa permissão.

Abra a interface do Spark

A página da interface do Spark está disponível no console Google Cloud .

  1. Acessar as sessões interativas do Dataproc

  2. Clique em um ID da sessão interativa para abrir a página Detalhes da sessão interativa.
  3. Clique em Ver interface do Spark no menu superior.

O link Ver interface do Spark está desativado? Se uma permissão obrigatória não for concedida, ou se você desmarcar a caixa de seleção Ativar a interface do Spark na página de detalhes da sessão interativa ou definir a propriedade spark.dataproc.appContext.enabled como false (padrão: true) ao criar uma sessão ou criar um modelo de tempo de execução de sessão, o botão Ver interface do Spark será desativado.