Sobre pools de armazenamento de hiperdisco

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Os pools de armazenamento de hiperdisco podem ser usados ​​com o Compute Engine para armazenamento em grande escala. Um pool de armazenamento de hiperdisco é uma coleção pré-adquirida de capacidade, taxa de transferência e IOPS que você pode provisionar para seus aplicativos conforme necessário. Você pode usar pools de armazenamento de hiperdiscos para criar e gerenciar discos em pools e usar os discos em diversas cargas de trabalho. Ao gerenciar discos de forma agregada, você pode economizar custos e, ao mesmo tempo, atingir o crescimento esperado de capacidade e desempenho. Ao usar apenas o armazenamento necessário em pools de armazenamento de hiperdiscos, você reduz a complexidade da capacidade de previsão e reduz o trabalho de gerenciamento, passando do gerenciamento de centenas de discos para o gerenciamento de um único pool de armazenamento.

Os pools de armazenamento incluem os seguintes benefícios:

• Menor custo total de propriedade (TCO) —Os pools de armazenamento de hiperdiscos usam thin provisioning e redução de dados para ajudá-lo a armazenar seus dados com eficiência e obter o melhor TCO da categoria.
• Maior eficiência : os pools de armazenamento de hiperdisco podem aproveitar o provisionamento dinâmico e a redução de dados para ajudá-lo a obter maior utilização de recursos e menor TCO.
• Menos sobrecarga de gerenciamento por meio de maior flexibilidade — Os discos em pools de armazenamento de hiperdiscos podem ser provisionados em tamanhos maiores e usar apenas o que precisam, liberando os proprietários de cargas de trabalho das tediosas previsões de capacidade e desempenho e do tempo de inatividade relacionado ao redimensionamento.
• Transparente para cargas de trabalho —Não há alteração na forma como as cargas de trabalho individuais usam volumes de hiperdisco ao usar pools de armazenamento. Não há necessidade de tempo de inatividade ou qualquer outro impacto nas cargas de trabalho.

Os dados em discos individuais em um pool de armazenamento mantêm o mesmo isolamento que teriam se os discos não fossem criados em um pool de armazenamento.

Quando usar pools de armazenamento

Você pode usar pools de armazenamento para resolver estes problemas:

• Dificuldade em planejar os requisitos de recursos ao migrar cargas de trabalho locais que usam uma SAN para Google Cloud

  Estimar as necessidades de desempenho e capacidade de cada aplicativo é demorado e sujeito a erros, e pode adicionar semanas à migração para a nuvem ou à implementação de aplicativos.

  Com pools de armazenamento de hiperdisco, você pode criar discos no pool de armazenamento usando uma superestimação da capacidade ou do desempenho necessário e, em seguida, consumir do pool de armazenamento apenas a quantidade de espaço em disco em que você grava dados ou o IOPS ou a taxa de transferência que sua carga de trabalho usa.

• Subutilização de recursos

  Garantir que seus volumes sejam bem utilizados pode ser complexo e dolorosamente difícil. O armazenamento em bloco é frequentemente subutilizado porque você provisiona as necessidades máximas de capacidade e desempenho para evitar interrupções ou lentidão no desempenho. No entanto, muitas aplicações raramente atingem esses picos. Com capacidade e desempenho de provisionamento dinâmico e redução de dados, os pools de armazenamento de hiperdisco facilitam o aumento da utilização do armazenamento em bloco e, ao mesmo tempo, simplificam suas operações.

• Gerenciamento complexo do armazenamento em blocos usado por suas cargas de trabalho

  Gerenciar centenas ou até milhares de volumes de disco consome tempo e consome recursos para fornecer inovações.

  Ao criar discos para suas instâncias do Compute Engine em um pool de armazenamento, você pode especificar um tamanho ou limite de desempenho muito maior do que o esperado que a carga de trabalho usará. À medida que suas cargas de trabalho gravam nos discos, os recursos de espaço e desempenho são retirados da capacidade e do desempenho provisionados do pool de armazenamento. Apenas a quantidade de recursos de armazenamento em bloco que você usa é subtraída da capacidade e do desempenho provisionados do pool de armazenamento, e não a quantidade que você provisionou ao criar os discos. O tamanho do disco e o desempenho especificados ao criar os discos no pool de armazenamento atuam como um limite superior para esses recursos. Como resultado, você só precisará modificar o tamanho ou o desempenho provisionado de um disco se esse limite for atingido.

  Se você criar discos no pool de armazenamento e sua carga de trabalho exceder a capacidade e o planejamento de desempenho em vários discos, será possível adicionar mais capacidade ou desempenho ao pool de armazenamento. A capacidade e o desempenho adicionais podem ser usados ​​por todos os discos criados no pool de armazenamento.

Recursos do pool de armazenamento de hiperdisco

Os pools de armazenamento possuem os seguintes recursos:

• Provisionamento dinâmico de capacidade e desempenho : a capacidade e o desempenho são alocados conforme necessário, em vez de alocar todos os recursos antecipadamente. Isso ajuda a evitar baixas taxas de utilização de recursos de armazenamento, onde grandes quantidades de espaço em disco ou desempenho são alocadas, mas não utilizadas.
• Redução de dados : os pools de armazenamento usam uma variedade de tecnologias de redução de dados para aumentar a eficiência do armazenamento. A redução de dados depende muito do tipo de dados armazenados. Os dados que já estão compactados ou criptografados antes de serem armazenados em um disco em um pool de armazenamento de hiperdisco não produzirão redução adicional.

Como funcionam os pools de armazenamento de hiperdisco

Você cria um pool de armazenamento com a capacidade agregada e o desempenho que suas cargas de trabalho precisarão e, em seguida, cria discos no pool de armazenamento. Você pode então anexar os discos às suas VMs. Ao criar os discos, você pode criá-los com um tamanho ou limite de desempenho provisionado muito maior do que o necessário. Isso simplifica o planejamento e oferece espaço para crescimento posterior, sem a necessidade de alterar o tamanho provisionado ou o desempenho do disco posteriormente.

Se suas cargas de trabalho aumentarem e seus discos precisarem de mais capacidade ou desempenho, você poderá aumentar a capacidade provisionada e o desempenho do pool de armazenamento. A quantidade de espaço em disco ou desempenho usado pelos discos individuais no pool de armazenamento pode então aumentar até o limite especificado quando você criou o disco. Ao criar inicialmente os discos em um pool de armazenamento de capacidade avançada ou desempenho avançado com um tamanho ou limite de desempenho muito maior e alocar espaço e desempenho adicionais por meio do pool de armazenamento, você consolida o gerenciamento de armazenamento em disco e reduz custos.

Se um conjunto de armazenamento de capacidade avançada atingir 100% de utilização e não houver espaço livre no conjunto de armazenamento, as gravações em todos os discos no conjunto de armazenamento falharão até que você reduza o espaço usado no conjunto de armazenamento excluindo dados ou discos. A maioria dos softwares comerciais interpreta os erros retornados quando o espaço do pool se esgota de maneira semelhante às falhas de hardware.

É importante que você gerencie e monitore ativamente seu pool de armazenamento para evitar erros de falta de espaço. Você também deve entender como sua carga de trabalho responderá se encontrar um erro de falta de espaço para um disco em um pool de armazenamento.

Quando a utilização do desempenho agregado de todos os discos no conjunto de armazenamento atinge a quantidade total de desempenho provisionado para o conjunto de armazenamento, os discos podem encontrar contenção de desempenho. Se a contenção de recursos de desempenho for detectada em um pool de armazenamento de desempenho avançado para quaisquer discos nos pools, o recurso de crescimento automático tentará aumentar automaticamente o IOPS disponível para discos no pool de armazenamento para evitar problemas de desempenho.

Tipos de provisionamento para conjuntos de armazenamento de hiperdisco

Ao criar um pool de armazenamento de hiperdisco, você pode configurá-lo com provisionamento padrão ou avançado para capacidade e desempenho.

Conjuntos de armazenamento de capacidade padrão

Com o provisionamento de capacidade padrão, você cria discos no pool de armazenamento até que a capacidade total provisionada de todos os discos no pool de armazenamento atinja a capacidade provisionada do pool de armazenamento. Os discos em um pool de armazenamento de capacidade padrão consomem capacidade de maneira semelhante aos discos do pool que não são de armazenamento.

Pools de armazenamento de capacidade avançada

Os discos em um pool de armazenamento de capacidade avançada consomem capacidade de maneira diferente dos discos em um pool de armazenamento de capacidade padrão e dos discos de pool que não são de armazenamento. Pools de armazenamento de capacidade avançada oferecem provisionamento dinâmico e redução de dados para capacidade, permitindo provisionar discos com mais capacidade do que a adquirida. Os discos em conjuntos de armazenamento de capacidade avançada consomem capacidade com base apenas no número de bytes gravados em seus discos após a redução de dados, o que significa que você pode provisionar mais capacidade para seus usuários finais e aplicativos do que a adquirida em seu conjunto de armazenamento.

Com a capacidade avançada, você cria discos no pool de armazenamento onde o tamanho cumulativo de todos os discos pode exceder a capacidade provisionada do pool de armazenamento em até 500%. A capacidade utilizada do conjunto de armazenamento é definida pela quantidade de dados gravados e não pela quantidade de capacidade de disco provisionada.

Você pode preencher discos em um pool de armazenamento de capacidade avançada até o tamanho provisionado, desde que os dados gravados em todos os discos no pool de armazenamento não excedam a capacidade do pool de armazenamento. Se a utilização do pool de armazenamento atingir 80% da capacidade provisionada do pool, o recurso de crescimento automático tentará adicionar automaticamente capacidade ao pool de armazenamento. Se a capacidade do pool de armazenamento for totalmente usada, as gravações em todos os discos do pool de armazenamento falharão até que você exclua os dados ou exclua os discos para diminuir a capacidade usada do pool de armazenamento. A maioria dos aplicativos de software interpreta os erros retornados quando o espaço do pool se esgota de maneira semelhante às falhas de hardware, por isso é importante para ambos:

• Monitore seu pool de armazenamento para evitar ficar sem espaço em disco
• Entenda como sua carga de trabalho responde se isso acontecer

Os pools de armazenamento não têm visibilidade em seu sistema de arquivos, portanto, considera-se que os dados excluídos ainda estão em uso até que seu sistema operacional (SO) os marque como não utilizados com um comando DISCARD ou TRIM . Todas as imagens de sistema operacional fornecidas pelo Google são configuradas para fazer isso por padrão, assim como as imagens de sistema operacional de terceiros mais comuns, mas você deve confirmar isso se não estiver usando uma imagem de sistema operacional fornecida pelo Google. Mais informações sobre como verificar ou configurar esse recurso estão disponíveis em Desativar inicialização lenta e ativar comandos DISCARD .

Conjuntos de armazenamento de desempenho padrão

O provisionamento de desempenho padrão é a melhor opção para os seguintes tipos de cargas de trabalho:

• Cargas de trabalho que não terão sucesso se o desempenho for limitado pelos recursos do pool de armazenamento
• Cargas de trabalho em que os discos no pool de armazenamento provavelmente terão picos de desempenho correlacionados, por exemplo, discos de dados para bancos de dados que estão em pico de utilização todas as manhãs.

Com o provisionamento de desempenho padrão, o provisionamento dinâmico não está disponível. Além disso, os discos criados num conjunto de armazenamento de desempenho padrão não partilham recursos de desempenho com o resto do conjunto de armazenamento. A quantidade agregada de desempenho de todos os discos criados no pool de armazenamento não pode exceder o total de IOPS provisionados ou a taxa de transferência do pool de armazenamento.

Ao criar o pool de armazenamento, você provisiona desempenho suficiente no pool de armazenamento para cobrir as necessidades combinadas de desempenho máximo de todos os discos no pool de armazenamento. Ao criar discos no pool de armazenamento, você provisiona uma quantidade de desempenho que cobre os requisitos de desempenho máximo desse disco. Você pode continuar criando discos no pool de armazenamento até que o total de IOPS provisionados de todos os discos atinja a quantidade provisionada do pool de armazenamento.

Em um pool de armazenamento balanceado de hiperdisco com desempenho padrão, os primeiros 3.000 IOPS e 140 MiBps de taxa de transferência de cada disco no pool de armazenamento (a linha de base ) não consomem recursos do pool de armazenamento. Quando você cria discos no pool de armazenamento, qualquer IOPS e taxa de transferência que exceda os valores de linha de base consomem IOPS e taxa de transferência do pool de armazenamento.

Pools de armazenamento de desempenho avançado

O provisionamento de desempenho avançado é mais adequado para cargas de trabalho que não têm horários de pico de uso altamente correlacionados. Se todas as suas cargas de trabalho atingirem o pico ao mesmo tempo, o pool de armazenamento de desempenho avançado poderá atingir os limites de desempenho do pool de armazenamento, resultando em contenção por recursos de desempenho.

IOPS de desempenho avançado e provisionamento de taxa de transferência permitem compartilhar um pool de desempenho provisionado em todos os discos em um pool de armazenamento. O conjunto de armazenamento aloca dinamicamente recursos de desempenho à medida que os discos no conjunto de armazenamento leem e gravam dados. Somente a quantidade de IOPS e a taxa de transferência usada por um disco no pool de armazenamento consome o desempenho do pool de armazenamento.

Como os pools de armazenamento de desempenho avançado são provisionados de forma dinâmica, você pode alocar mais IOPS ou taxa de transferência aos discos no pool de armazenamento do que provisionou para o pool de armazenamento — até 500% do IOPS ou taxa de transferência provisionada para o pool de armazenamento. Por exemplo, se você provisionar 100.000 IOPS para um pool de armazenamento, poderá ter 10 discos no pool de armazenamento, cada um provisionado com 50.000 IOPS.

Em um pool de armazenamento balanceado de hiperdisco com provisionamento de desempenho avançado, os discos não têm desempenho de linha de base. Cada operação de leitura e gravação de um disco balanceado de hiperdisco no conjunto de armazenamento consome recursos do conjunto de armazenamento provisionado.

A qualquer momento, quando o desempenho agregado usado por todos os discos no pool de armazenamento atingir a quantidade total de desempenho provisionado para o pool de armazenamento, os discos poderão competir entre si por recursos de desempenho. Como resultado, os discos não conseguem atingir os níveis máximos de desempenho que você provisionou para os discos. Quando a contenção de recursos é detectada por um período prolongado, o Compute Engine tenta adicionar desempenho automaticamente ao pool de armazenamento. Ao usar pools de armazenamento de desempenho avançado, você deve:

• Monitore seus pools de armazenamento para evitar ficar sem desempenho provisionado
• Entenda como sua carga de trabalho responde se isso acontecer

Exemplo

Suponha que você tenha um pool de armazenamento balanceado de hiperdisco com 100.000 IOPS provisionados.

Com provisionamento de desempenho padrão:

• Você pode provisionar até 100.000 IOPS agregados ao criar discos balanceados de hiperdisco no pool de armazenamento.
• Você será cobrado pelos 100.000 IOPS de desempenho provisionado do pool de armazenamento balanceado de hiperdisco.

• Assim como os discos criados fora de um pool de armazenamento, os discos hiperdiscos balanceados em pools de armazenamento de desempenho padrão são provisionados automaticamente com até 3.000 IOPS de linha de base e 140 MiB/s de taxa de transferência de linha de base. Este desempenho de linha de base não é contabilizado no desempenho provisionado do pool de armazenamento. Somente quando você adiciona discos ao pool de armazenamento com desempenho provisionado acima da linha de base é que isso é contabilizado no desempenho provisionado do pool de armazenamento, por exemplo:

  • Um disco provisionado com 3.000 IOPS usa 0 IOPS de pool e o pool ainda tem 100.000 IOPS provisionados disponíveis para outros discos.
  • Um disco provisionado com 13.000 IOPS usa 10.000 IOPS de pool e o pool tem 90.000 IOPS provisionados restantes que você pode alocar para outros discos no pool de armazenamento.

Com provisionamento de desempenho avançado:

• Você pode provisionar até 500.000 IOPS de desempenho agregado do hiperdisco ao criar discos no pool de armazenamento.
• Você será cobrado por 100.000 IOPS provisionados pelo pool de armazenamento.
• Se você criar um único disco ( Disk1 ) no pool de armazenamento que tenha 5.000 IOPS, você não consumirá nenhum IOPS do pool de armazenamento provisionado. No entanto, a quantidade de IOPS que você pode provisionar para novos discos criados no pool de armazenamento agora é de 495.000.
• Se Disk1 começar a ler e gravar dados e usar o máximo de 5.000 IOPS em um determinado minuto, 5.000 IOPS serão consumidos do IOPS provisionado do pool de armazenamento. Quaisquer outros discos criados no mesmo pool de armazenamento podem usar um máximo agregado de 95.000 IOPS no mesmo minuto sem entrar em contenção.

Tipos de pools de armazenamento de hiperdisco

O tipo de conjunto de armazenamento de hiperdisco criado determina o tipo de discos que você pode criar no conjunto de armazenamento.

• Pool de armazenamento de taxa de transferência de hiperdisco : ao criar o pool de armazenamento, você especifica a capacidade e a taxa de transferência a serem provisionadas para o pool de armazenamento. Cada disco de taxa de transferência de hiperdisco criado no pool de armazenamento usa parte da capacidade e da taxa de transferência provisionadas.
• Pool de armazenamento balanceado de hiperdisco : ao criar o pool de armazenamento, você especifica a capacidade, a taxa de transferência e o IOPS a serem provisionados para o pool de armazenamento. Cada disco balanceado de hiperdisco criado no pool de armazenamento com capacidade provisionada e desempenho acima dos valores de linha de base usa parte da capacidade e do desempenho provisionados do pool de armazenamento.

Pools de armazenamento de taxa de transferência de hiperdisco

Você pode usar pools de armazenamento de taxa de transferência de hiperdiscos para gerenciar o uso do disco de taxa de transferência de hiperdiscos.

Suporte ao tipo de máquina

Os pools de armazenamento de taxa de transferência de hiperdiscos são suportados com a mesma série de máquinas que suportam taxa de transferência de hiperdiscos. Para obter uma lista das séries de máquinas suportadas, consulte Suporte ao tipo de máquina hiperdisco .

Disponibilidade regional do pool de armazenamento de taxa de transferência de hiperdisco

Os pools de armazenamento de taxa de transferência de hiperdiscos podem ser usados ​​em qualquer zona que ofereça discos de taxa de transferência de hiperdiscos. Para obter uma lista das regiões disponíveis, consulte Disponibilidade regional do hiperdisco .

Você também pode verificar as atualizações mais recentes das regiões e zonas disponíveis usando o seguinte comando:

gcloud compute storage-pool-types list --filter="name=hyperdisk-throughput"

Pools de armazenamento balanceados de hiperdisco

Você pode usar pools de armazenamento balanceados de hiperdiscos para gerenciar o uso do disco balanceado de hiperdiscos.

Em pools de armazenamento balanceados de hiperdiscos com provisionamento de desempenho padrão, os discos balanceados de hiperdiscos consomem apenas IOPS e taxa de transferência superiores aos valores de linha de base de 3.000 IOPS e taxa de transferência de 140 MiBps por disco. Por exemplo:

• Se você provisionar um disco balanceado de hiperdisco com 3.000 IOPS e 140 MiBps de taxa de transferência em um pool de armazenamento com provisionamento de desempenho padrão, o disco não consumirá nenhum IOPS ou taxa de transferência do pool de armazenamento.
• Se você provisionar um disco balanceado de hiperdisco com 4.000 IOPS e 180 MiBps de taxa de transferência em um pool de armazenamento com provisionamento de desempenho padrão, o disco consumirá 1.000 IOPS e 40 MiBps de taxa de transferência do pool de armazenamento.

Suporte ao tipo de máquina

Os pools de armazenamento balanceados de hiperdisco são suportados com a mesma série de máquinas que suportam o balanceado de hiperdisco. Para obter uma lista das séries de máquinas suportadas, consulte Suporte ao tipo de máquina hiperdisco .

Disponibilidade regional do pool de armazenamento balanceado de hiperdisco

Os pools de armazenamento balanceado de hiperdisco podem ser usados ​​em qualquer zona que ofereça discos balanceados de hiperdisco. Para obter uma lista das regiões disponíveis, consulte Disponibilidade regional do hiperdisco .

Você também pode verificar as atualizações mais recentes das regiões e zonas disponíveis usando o seguinte comando:

gcloud compute storage-pool-types list --filter="name=hyperdisk-balanced"

Limites para conjuntos de armazenamento

As tabelas a seguir listam os limites para os diferentes tipos de conjuntos de armazenamento.

Desempenho

O desempenho dos discos em um conjunto de armazenamento é igual ao dos discos que não foram criados em um conjunto de armazenamento.

Limitações de pools de armazenamento

Os pools de armazenamento de hiperdisco têm as seguintes limitações:

Limites de recursos :

• Você pode criar um pool de armazenamento de hiperdisco com até 5 PiB de capacidade provisionada.
• Você pode criar no máximo cinco pools de armazenamento por hora.
• Você pode criar no máximo 10 pools de armazenamento por dia.
• Você pode criar no máximo 10 pools de armazenamento por projeto.
• Não é possível alterar o modelo de provisionamento de um pool; você não pode alterar um conjunto de armazenamento de capacidade padrão para um conjunto de armazenamento de capacidade avançada ou um conjunto de armazenamento de desempenho avançado para um conjunto de armazenamento de desempenho padrão.
• Os pools de armazenamento são um recurso zonal.
• Você pode criar até 1.000 discos em um pool de armazenamento.
• Você pode usar pools de armazenamento de hiperdisco apenas com o Compute Engine. As instâncias do Cloud SQL não podem usar pools de armazenamento de hiperdisco.
• Você pode alterar a capacidade provisionada ou o desempenho de um pool de armazenamento no máximo duas vezes em um período de 24 horas.

Limites para discos em um pool de armazenamento :

• Somente novos discos no mesmo projeto e zona podem ser criados em um pool de armazenamento.
• Não é permitido mover discos para dentro ou para fora de um pool de armazenamento. Para mover um disco para dentro ou para fora de um pool de armazenamento, é necessário recriar o disco a partir de um instantâneo. Para obter mais informações, consulte Alterar o tipo de disco .
• Para criar discos de inicialização em um pool de armazenamento, você deve usar um pool de armazenamento balanceado de hiperdisco.
• Os pools de armazenamento não oferecem suporte a discos regionais .
• Você não pode clonar , criar instantâneos ou configurar replicação assíncrona para discos em um pool de armazenamento.
• Os discos balanceados de hiperdisco em um pool de armazenamento não podem ser anexados a várias instâncias de computação.

Reservas

Você pode usar o pool de armazenamento de hiperdisco com reservas . Você pode criar uma instância de computação que consuma uma reserva e também use um hiperdisco em um pool de armazenamento. Alternativamente, você pode criar a instância que consome uma reserva e depois anexar um hiperdisco que foi criado em um pool de armazenamento à instância. Para mais informações, veja como consumir reservas .

Preços

Os pools de armazenamento de hiperdisco são cobrados mensalmente pela capacidade, taxa de transferência e IOPS do pool de armazenamento provisionado. Você não será cobrado pelas IOPS provisionadas, pela taxa de transferência ou pela capacidade dos discos criados no pool de armazenamento.

Com pools de armazenamento de capacidade padrão e desempenho padrão, a capacidade e o desempenho provisionado têm o mesmo preço do disco subjacente. Por exemplo, o preço da capacidade padrão para um pool de armazenamento balanceado de hiperdisco é o mesmo preço da capacidade de disco balanceado de hiperdisco independente.

Os pools de armazenamento de capacidade avançada e desempenho avançado têm preços mais altos devido ao provisionamento dinâmico e à redução de dados. Mesmo com esse prêmio, as economias do provisionamento dinâmico e da redução de dados ainda podem reduzir os custos totais de armazenamento em blocos por meio de maior eficiência e utilização.

Para obter mais informações sobre preços, consulte Preços de disco .

Descontos por uso contínuo com pools de armazenamento de hiperdiscos

Os pools de armazenamento de hiperdisco não são elegíveis para:

• Descontos por uso contínuo (CUDs) baseados em recursos
• Descontos por uso prolongado (SUDs)

O que vem a seguir?

• Aprenda como criar um pool de armazenamento de hiperdisco .
• Saiba como mover discos existentes para um pool de armazenamento, conforme descrito em Alterar o tipo de disco .
• Revise as informações de preços do disco .