Buckets temporários e preparo do Dataproc

Quando você cria um cluster, o HDFS é usado como o sistema de arquivos padrão. É possível modificar esse comportamento definindo "defaultFS" como um bucket do Cloud Storage. Por padrão, o Dataproc também cria uma preparação do Cloud Storage e um bucket temporário do Cloud Storage no projeto, ou reutiliza buckets atuais de preparação e temporários criados pelo Dataproc a partir de solicitações de criação de cluster anteriores.

• Intervalo de preparação: usado para preparar dependências de jobs de cluster, saída do driver de jobs e arquivos de configuração de cluster. Também recebe resultados do comando gcloud dataproc clusters diagnose da CLI gcloud.

• Bucket temporário: usado para armazenar dados temporários de clusters e jobs, como os arquivos de histórico do Spark e do MapReduce.

Se você não especificar um bucket de preparo ou temporário ao criar um cluster, o Dataproc definirá um local do Cloud Storage nos EUA, na ÁSIA ou na UE para os buckets de preparo e temporários do cluster de acordo com a zona do Compute Engine em que o cluster é implantado e, em seguida, cria e gerencia esses buckets por projeto. Os buckets de preparação e temporários criados pelo Dataproc são compartilhados entre clusters na mesma região e são criados com uma duração de retenção de exclusão reversível do Cloud Storage definida como 0 segundo.

O bucket temporário contém dados efêmeros e tem um TTL de 90 dias. O bucket de preparo, que pode conter dados de configuração e arquivos de dependência necessários para vários clusters, não tem um TTL. No entanto, é possível aplicar uma regra de ciclo de vida aos arquivos de dependência (arquivos com uma extensão de nome de arquivo ".jar" localizados na pasta do bucket de preparo) para programar a remoção dos arquivos de dependência quando eles não forem mais necessários para seus clusters.

Crie seus próprios buckets de preparo e temporários

Em vez de depender da criação de um bucket de preparo padrão e temporário, especifique os buckets atuais do Cloud Storage que o Dataproc usará como o bucket de preparo e temporário do cluster.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --bucket=bucket-name \
    --temp-bucket=bucket-name \
    other args ...

O Dataproc usa uma estrutura de pastas definida para os buckets do Cloud Storage anexados aos clusters. O Dataproc também permite anexar mais de um cluster a um bucket do Cloud Storage. A estrutura de pastas usada para salvar a saída do driver do job no Cloud Storage é:

cloud-storage-bucket-name
  - google-cloud-dataproc-metainfo
    - list of cluster IDs
        - list of job IDs
          - list of output logs for a job

Use a ferramenta de linha de comando gcloud, a API Dataproc ou o consoleGoogle Cloud para listar o nome dos buckets temporários e de preparo de um cluster.

gcloud dataproc clusters describe cluster-name \
    --region=region \
...
clusterName: cluster-name
clusterUuid: daa40b3f-5ff5-4e89-9bf1-bcbfec ...
config:
    configBucket: dataproc-...
    ...
    tempBucket: dataproc-temp...

{
 "projectId": "vigilant-sunup-163401",
 "clusterName": "cluster-name",
 "config": {
  "configBucket": "dataproc-...",
...
  "tempBucket": "dataproc-temp-...",
}

defaultFS

É possível definir core:fs.defaultFS como um local de bucket no Cloud Storage (gs://defaultFS-bucket-name) para definir o Cloud Storage como o sistema de arquivos padrão. Isso também define core:fs.gs.reported.permissions, a permissão relatada pelo conector do Cloud Storage para todos os arquivos, como 777.

Se o Cloud Storage não estiver definido como o sistema de arquivos padrão, o HDFS será usado, e a propriedade core:fs.gs.reported.permissions retornará 700, o valor padrão.

gcloud dataproc clusters create cluster-name \
    --properties=core:fs.defaultFS=gs://defaultFS-bucket-name \
    --region=region \
    --bucket=staging-bucket-name \
    --temp-bucket=temp-bucket-name \
    other args ...