Otimizar a performance em buckets com namespace hierárquico ativado

Nesta página, você encontra orientações sobre como otimizar a performance em buckets com namespace hierárquico ativado.

Como listar objetos

Confira a seguir as considerações de desempenho para listar objetos:

  • Em buckets com namespace hierárquico ativado, listar todos os objetos do bucket inteiro ou com um prefixo exige muitos recursos, já que a operação precisa percorrer cada pasta e subpasta, semelhante ao comando ls -r em um sistema de arquivos. Consequentemente, quanto mais pastas houver no bucket, mais lenta será a listagem de objetos. Um grande número de pastas vazias também pode afetar negativamente o desempenho da listagem de objetos. Para evitar um impacto negativo no desempenho, recomendamos que você maximize o número de objetos em cada pasta e exclua regularmente as pastas vazias.
  • Listar ou recuperar objetos e subpastas em uma pasta específica usando um delimitador e um prefixo específico é mais eficiente em buckets com namespace hierárquico ativado, já que os objetos são organizados em uma estrutura de pastas. Para otimizar a performance das informações do produto ao usar um delimitador e um prefixo específico, defina o parâmetro includeFoldersAsPrefixes. Caso contrário, o Cloud Storage realiza outras verificações para excluir pastas vazias, o que pode deixar a operação mais lenta. Para mais informações sobre como usar o includeFoldersAsPrefixes ao listar objetos, consulte Como listar objetos.

Gerenciamento de pastas

Para uma gestão eficiente de pastas, recomendamos o seguinte:

  • Pré-criação da estrutura de pastas:em vez de depender da criação automática de pastas durante as operações de upload, reescrita e composição de objetos, use a operação de criação de pastas para obter a estrutura desejada com antecedência. A pré-criação da estrutura de pastas melhora a consistência e a previsibilidade do desempenho.
  • Maximize a proporção de objetos por pasta:procure uma proporção alta de objetos por pasta, já que isso reduz a sobrecarga associada à criação e ao gerenciamento de pastas.
  • Limite as solicitações de criação e exclusão de pastas:criar ou excluir pastas exige mais recursos do que trabalhar com objetos individuais devido à natureza hierárquica. Para garantir um desempenho tranquilo, o Cloud Storage limita essas operações a 1.000 solicitações por segundo para cada bucket. As solicitações que excedem esse limite não são explicitamente restritas, mas a disponibilidade de recursos determina se elas podem ser processadas com êxito.

  • Exclua pastas vazias regularmente:elas podem se acumular, principalmente ao usar o gerenciamento do ciclo de vida de objetos ou excluir objetos sem excluir explicitamente as pastas principais. As pastas acumuladas podem afetar a performance da operação de listagem de objetos e outras operações relacionadas a pastas. Confira a seguir alguns dos métodos que podem ser usados para excluir pastas vazias:

    • Ao usar o Cloud Storage FUSE ou o conector do Cloud Storage para interagir com um bucket ativado com namespace hierárquico, a exclusão de um diretório exclui a pasta correspondente no bucket.
    • É possível usar uma exclusão recursiva para excluir pastas automaticamente ao usar o console Google Cloud ou a Google Cloud CLI.

    • Você pode usar um script ou um processo automatizado para excluir pastas vazias periodicamente. O script a seguir oferece uma abordagem básica para excluir pastas vazias. O script exclui pastas sequencialmente, o que pode ser lento para buckets grandes. Por isso, considere otimizar o script para ambientes de produção. Além disso, o script exclui todas as pastas vazias (criadas implícita ou explicitamente), incluindo pastas gerenciadas e as políticas do IAM associadas. Se você precisar manter pastas específicas e gerenciadas, ajuste o script com base nos recursos que quer manter.

      # List all the folders under <bucket>/<prefix> and export results into
# folders.txt
gcloud storage folders list gs://<bucket>/<prefix> | grep storage_url | sed 's/storage_url: //' > folders.txt

# Reverse the folder list and export results into folders-reverse.txt
sed '1!G;h;$!d' folders.txt > folders-reverse.txt

# Try deleting each folder in the reverse order (to guarantee child
# folders are deleted before parent folders). This will fail for
# non-empty folders, so only empty folders will be deleted
xargs -I{} gcloud storage folders delete "{}" < folders-reverse.txt

A seguir