Buckets de preparo do Dataproc sem servidor para Apache Spark

Este documento fornece informações sobre os buckets de preparo do Serverless para Apache Spark. O Serverless para Apache Spark cria um bucket de preparo do Cloud Storage no seu projeto ou reutiliza um bucket de preparo existente de solicitações de criação de lote anteriores. Esse é o bucket padrão criado pelos clusters do Dataproc no Compute Engine. Para mais informações, consulte Buckets temporários e de preparo do Dataproc.

O Serverless para Apache Spark armazena dependências de carga de trabalho, arquivos de configuração e saída do console do driver de job no bucket de preparação.

O Serverless para Apache Spark define buckets de preparo regionais em locais do Cloud Storage de acordo com a zona do Compute Engine em que sua carga de trabalho é implantada, e depois cria e gerencia esses buckets por local no nível do projeto. Os buckets de staging criados pelo Serverless para Apache Spark são compartilhados entre cargas de trabalho na mesma região e são criados com uma duração de retenção de exclusão reversível do Cloud Storage definida como 0 segundo.