Operações em lote de armazenamento

Esta página oferece uma visão geral das operações em lote de armazenamento, os benefícios, os casos de uso, as configurações de jobs e as limitações.

Visão geral

As operações em lote de armazenamento são um recurso de gerenciamento do Cloud Storage que executa operações em bilhões de objetos do Cloud Storage de maneira sem servidor.

Com as operações em lote de armazenamento, é possível automatizar operações de API em grande escala em objetos do Cloud Storage, reduzindo o tempo de desenvolvimento necessário para escrever e manter scripts para essas operações. Para garantir uma execução confiável, as operações em lote de armazenamento gerenciam automaticamente as novas tentativas de operações com falha. Além disso, as operações em lote de armazenamento oferecem um acompanhamento de progresso detalhado para monitorar o status e a conclusão de todos os jobs. As operações em lote do Storage são um recurso exclusivo disponível apenas com a assinatura do Storage Intelligence. Para informações sobre preços, consulte Preços do Storage Intelligence.

Vantagens

  • Escalonabilidade: realize transformações em milhões de objetos com um único job de operações em lote de armazenamento.
  • Execução sem servidor: execute jobs em lote em um ambiente sem servidor, eliminando a necessidade de gerenciar a infraestrutura.
  • Automação: automatize tarefas complexas e repetitivas, melhorando a eficiência operacional.
  • Tempo de desenvolvimento reduzido: evite escrever e manter scripts personalizados complexos.
  • Performance: conclua operações urgentes no tempo necessário. Com vários jobs em lote em execução simultaneamente em um bucket, é possível processar até 1 bilhão de objetos em três horas.

Casos de uso

As operações em lote do Storage, quando usadas com o Storage Insights, são valiosas para os seguintes casos de uso:

  • Gerenciamento da segurança:

    • Defina chaves de criptografia em vários objetos usando o método rewrite object.
    • Aplique ou remova retenções de objetos para controlar a imutabilidade deles.

  • Compliance:

    • Use as guardas de documentos para atender aos requisitos de retenção de dados para compliance regulatório.
    • Excluir dados entre períodos específicos para atender aos requisitos de conformidade de exclusão.

  • Transformação de dados: realize atualizações em massa nos metadados de objetos.

  • Otimização de custos: exclua objetos em massa nos buckets do Cloud Storage para reduzir os custos de armazenamento.

Configurações de jobs

Para criar um job de operações em lote de armazenamento, é necessário definir as seguintes configurações de job. As configurações de job são parâmetros que controlam como o job é definido para diferentes requisitos de processamento.

  • Nome do job: um nome exclusivo para identificar o job de operações em lote de armazenamento. Ele é usado para rastrear, monitorar e referenciar o job. Os nomes dos jobs são alfanuméricos, por exemplo, job-01.

  • Job Description (opcional): uma breve descrição da finalidade do trabalho. Isso ajuda a entender e documentar os detalhes do trabalho. Por exemplo, Deletes all objects in a bucket.

  • Nome do bucket: o nome do bucket de armazenamento que contém os objetos a serem processados. Isso é essencial para localizar os dados de entrada. Por exemplo, my-bucket. É possível especificar apenas um nome de bucket para um job.

  • Seleção de objetos: os critérios de seleção que definem quais objetos serão processados. É possível especificar os critérios usando uma das seguintes opções:

    • Manifesto: crie um manifesto e especifique o local dele ao criar o job de operações em lote de armazenamento. O manifesto é um arquivo CSV enviado para Google Cloudque contém um objeto ou uma lista de objetos que você quer processar. Cada linha no manifesto precisa incluir bucket e name do objeto. Opcionalmente, especifique o generation do objeto. Se você não especificar o generation, a versão atual do objeto será usada.

      O arquivo precisa incluir uma linha de cabeçalho com o seguinte formato:

      bucket,name,generation

      Confira abaixo um exemplo do manifesto:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      Também é possível criar um manifesto usando conjuntos de dados do Storage Insights. Para mais detalhes, consulte Criar um manifesto usando os conjuntos de dados do Storage Insights.

    • Prefixos de objetos: especifique uma lista de prefixos para filtrar objetos no bucket. Somente objetos com esses prefixos são processados. Se estiver vazio, todos os objetos no bucket serão processados.

  • Tipo de job:as operações em lote do Storage oferecem suporte aos seguintes tipos de job, executando um único job por operação em lote.

    • Excluir objetos: é possível excluir objetos em um bucket. Isso é crucial para a otimização de custos, o gerenciamento do ciclo de vida dos dados e a conformidade com as políticas de exclusão de dados.

    • Atualizações de metadados: é possível modificar os metadados do objeto. Isso inclui a atualização de metadados personalizados, classe de armazenamento e outras propriedades de objetos.

    • Atualizações de retenção de objetos: é possível ativar ou desativar as retenções de objetos. As retenções de objetos impedem que eles sejam excluídos ou modificados, o que é essencial para a conformidade e a retenção de dados.

    • Atualizações da chave de criptografia do objeto: é possível gerenciar as chaves de criptografia gerenciadas pelo cliente de um ou mais objetos. Isso inclui aplicar ou alterar chaves de criptografia usando o método rewrite object.

Limitações

As operações em lote de armazenamento têm as seguintes limitações:

  • Os jobs de operações em lote de armazenamento têm uma vida útil máxima de 14 dias. Qualquer job em andamento que não seja concluído em até 14 dias após a criação é cancelado automaticamente.

  • Não recomendamos executar mais de 20 jobs de operações em lote simultâneos no mesmo bucket.

  • As operações em lote de armazenamento não são compatíveis com o VPC Service Controls.

  • As operações em lote de armazenamento não são compatíveis com os seguintes buckets:

Próximas etapas