Saída e registros de jobs do Dataproc

Quando você envia um job do Dataproc, o Dataproc coleta automaticamente a saída do job e a disponibiliza. Isso significa que é possível analisar rapidamente a saída do job sem a necessidade de manter uma conexão com o cluster enquanto os jobs são executados ou de conferir arquivos de registro complexos.

Registros do Spark

Há dois tipos de registros do Spark: registros do driver e do executor. Os registros do driver do Spark contêm a saída do job. Os registros do executor do Spark contêm a saída do executável ou do iniciador do job, como uma mensagem spark-submit "Submitted application xxx", e podem ser úteis para depurar falhas de jobs.

O driver de job do Dataproc, que é diferente do driver do Spark, é um iniciador para muitos tipos de jobs. Ao iniciar jobs do Spark, ele é executado como um wrapper no executável spark-submit subjacente, que inicia o driver do Spark. O driver do Spark executa o job no cluster do Dataproc no modo Spark client ou cluster:

• Modo client: o driver do Spark executa o job no processo spark-submit e os registros do Spark são enviados para o driver do job do Dataproc.

• Modo cluster: o driver do Spark executa o job em um contêiner YARN. Os registros do driver do Spark não estão disponíveis para o driver do job do Dataproc.

Visão geral das propriedades de jobs do Dataproc e do Spark

Propriedade	Valor	Padrão	Descrição
dataproc:dataproc.logging.stackdriver.job.driver.enable	verdadeiro ou falso	falso	Precisa ser definido no momento da criação do cluster. Quando true, a saída do driver do job está no Logging, associada ao recurso do job. Quando false, a saída do driver do job não está no Logging. Observação: as seguintes configurações de propriedade do cluster também são necessárias para ativar os registros do driver do job no Logging e são definidas por padrão quando um cluster é criado: dataproc:dataproc.logging.stackdriver.enable=true e dataproc:jobs.file-backed-output.enable=true
dataproc:dataproc.logging.stackdriver.job.yarn.container.enable	verdadeiro ou falso	falso	Precisa ser definido no momento da criação do cluster. Quando true, os registros do contêiner YARN do job são associados ao recurso do job. Quando false, os registros do contêiner YARN do job são associados ao recurso do cluster.
spark:spark.submit.deployMode	cliente ou cluster	cliente	Controla o modo client ou cluster do Spark.

Jobs do Spark enviados usando a API jobs do Dataproc

As tabelas nesta seção listam o efeito de diferentes configurações de propriedades no destino da saída do driver de job do Dataproc quando os jobs são enviados pela API jobs do Dataproc, o que inclui o envio de jobs pelo consoleGoogle Cloud , pela CLI gcloud e pelas bibliotecas de cliente do Cloud.

As propriedades do Dataproc e do Spark listadas podem ser definidas com a flag --properties quando um cluster é criado e se aplicam a todos os jobs do Spark executados no cluster. As propriedades do Spark também podem ser definidas com a flag --properties (sem o prefixo "spark:") quando um job é enviado à API jobs do Dataproc e se aplicam apenas ao job.

Saída do driver do job do Dataproc

As tabelas a seguir listam o efeito de diferentes configurações de propriedade no destino da saída do driver de job do Dataproc.

dataproc: dataproc.logging.stackdriver.job.driver.enable	Saída
false (padrão)	Transmitido para o cliente No Cloud Storage, em driverOutputResourceUri gerado pelo Dataproc Não está no Logging
verdadeiro	Transmitido para o cliente No Cloud Storage, em driverOutputResourceUri gerado pelo Dataproc No Logging: dataproc.job.driver no recurso de job.

Registros do driver do Spark

As tabelas a seguir listam o efeito de diferentes configurações de propriedade no destino dos registros do driver do Spark.

spark: spark.submit.deployMode	dataproc: dataproc.logging.stackdriver.job.driver.enable	dataproc: dataproc.logging.stackdriver.job.yarn.container.enable	Saída do driver
cliente	false (padrão)	verdadeiro ou falso	Transmitido para o cliente No Cloud Storage, em driverOutputResourceUri gerado pelo Dataproc Não está no Logging
cliente	verdadeiro	verdadeiro ou falso	Transmitido para o cliente No Cloud Storage, em driverOutputResourceUri gerado pelo Dataproc No Logging: dataproc.job.driver no recurso de job
cluster	false (padrão)	falso	Não transmitido para o cliente Não está no Cloud Storage No Logging yarn-userlogs, abaixo do recurso de cluster
cluster	verdadeiro	verdadeiro	Não transmitido para o cliente Não está no Cloud Storage No Logging: dataproc.job.yarn.container no recurso de job

Registros do executor do Spark

As tabelas a seguir listam o efeito de diferentes configurações de propriedade no destino dos registros do executor do Spark.

dataproc: dataproc.logging.stackdriver.job.yarn.container.enable	Registro do executor
false (padrão)	No Logging: yarn-userlogs no recurso de cluster
verdadeiro	No Logging dataproc.job.yarn.container no recurso de job

Jobs do Spark enviados sem usar a API jobs do Dataproc

Esta seção lista o efeito de diferentes configurações de propriedades no destino dos registros de jobs do Spark quando os jobs são enviados sem usar a API jobs do Dataproc, por exemplo, ao enviar um job diretamente em um nó de cluster usando spark-submit ou ao usar um notebook Jupyter ou Zeppelin. Esses jobs não têm IDs nem drivers do Dataproc.

Registros do driver do Spark

As tabelas a seguir listam o efeito de diferentes configurações de propriedades no destino dos registros de driver do Spark para jobs não enviados pela API jobs do Dataproc.

spark: spark.submit.deployMode	Saída do driver
cliente	Transmitido para o cliente Não está no Cloud Storage Não está no Logging
cluster	Não transmitido para o cliente Não está no Cloud Storage No Logging yarn-userlogs, abaixo do recurso de cluster

Registros do executor do Spark

Quando os jobs do Spark não são enviados pela API jobs do Dataproc, os registros do executor ficam no Logging yarn-userlogs, no recurso do cluster.

Ver a saída do job

É possível acessar a saída do job do Dataproc no console Google Cloud , na CLI gcloud, no Cloud Storage ou no Logging.