Monitorar e resolver problemas de sessões interativas do Dataproc sem servidor

É possível monitorar e resolver problemas do Dataproc sem servidor para Sessões interativas do Spark usando as informações e ferramentas discutidas nas seções a seguir.

Interface do Spark

A interface do Spark coleta detalhes de execução do Apache Spark do Dataproc sem servidor para Spark sessões interativas. Não há custo financeiro para o recurso da interface do Spark, que é ativada por padrão. Os dados coletados pelo recurso Spark UI são armazenados por 90 dias.

Limitações

A interface do Spark não oferece suporte aos seguintes workloads do Dataproc Serverless:

Permissões e papéis de gerenciamento de identidade e acesso obrigatórios

As seguintes permissões são necessárias para usar o recurso da interface do Spark com sessões:

  • Permissão de coleta de dados: dataproc.sessions.sparkApplicationWrite. Isso precisa ser concedida à conta de serviço que executa as sessões interativas. Está incluída no Dataproc Worker que é concedido automaticamente à conta de serviço padrão do Compute Engine que o Dataproc sem servidor usa por padrão. No entanto, se você especificar conta de serviço personalizada para sua sessão ou modelo de ambiente de execução da sessão, você precisa adicionar a permissão dataproc.sessions.sparkApplicationWrite a essa conta de serviço Em geral, isso concede à conta de serviço o papel Worker do Dataproc.

  • Permissão de acesso à interface do Spark: dataproc.sessions.sparkApplicationRead. Isso deve ser concedida a um usuário para acessar a UI do Spark no console do Google Cloud. Ela está incluída nos papéis Dataproc Viewer, Dataproc Editor e Dataproc Administrator. Para abrir a interface do Spark no console do Google Cloud, você precisa ter uma dessas funções ou uma função personalizada que inclua essa permissão.

Abra a interface do Spark

A página da interface do Spark está disponível no console do Google Cloud para sessões Spark.

  1. Acessar as sessões interativas do Dataproc

  2. Clique em um ID de sessão interativa para abrir a página Detalhes da sessão interativa.
  3. Clique em View Spark UI no menu superior.

O link Visualizar interface do Spark está desativado? Se uma permissão necessária não for concedida, ou se você limpar a caixa de seleção Ativar a interface do Spark na página de detalhes da sessão interativa ou definir a propriedade spark.dataproc.appContext.enabled como false (padrão: true) ao criar uma sessão ou criar um modelo de execução de sessão, o botão Visualizar a interface do Spark será desativado.