Configurar políticas de armazenamento de mensagens

Se você publicar mensagens no endpoint global do Pub/Sub, o Pub/Sub armazenará automaticamente as mensagens na região do Google Cloud mais próxima. Se você quiser controlar as regiões em que seus as mensagens são armazenadas e processadas, uma política de armazenamento de mensagens sobre o tópico.

Visão geral da política de armazenamento de mensagens

É possível definir uma política de armazenamento de mensagens ao criar um novo tópico ou atualizar um tópico usando o console, a Google Cloud CLI ou as APIs REST.

A política de armazenamento de mensagens só é aplicada ao conteúdo das mensagens. A política não se aplicam a outros dados, como nomes de tópicos, rótulos ou configurações do Identity and Access Management (IAM).

O Pub/Sub armazena mensagens quando um cliente as publica no Pub/Sub Uma política de armazenamento de mensagens garante que O Pub/Sub armazena e processa mensagens apenas no conjunto regiões do Google Cloud que você especificar, não importa onde a publicação ou origem das solicitações de assinatura. Se a política permitir a publicação de várias regiões operações, o Pub/Sub armazena a mensagem em uma região permitida mais próxima para onde a mensagem publicada entra na rede do Google Cloud.

Ao especificar uma política de armazenamento de mensagens, enforceInTransit para True. Essa flag rege o seguinte:

• Solicitações de publicação, pull e streamingPull recebidas em uma região não são permitidas na política de armazenamento de mensagens são rejeitadas com uma FAILED_PRECONDITION erro.

• A entrega de assinaturas de push é processada apenas dentro do ou várias regiões. Em alguns casos, essa restrição pode pausar completamente a mensagem para assinaturas push. Quando uma assinatura push entra em um devido aos locais de envio sendo excessivamente restritos por uma combinação de fatores como local de armazenamento de mensagens, regiões permitidas e exportação local do recurso, esse estado se torna visível no Stackdriver.

Políticas de armazenamento de mensagens para novos tópicos

• Se você não especificar uma política de armazenamento de mensagens ao criar um tópico, a política de armazenamento de mensagens é determinada automaticamente com base na política da organização de restrição da localização de recursos em vigor. Quando nenhuma política da organização está em vigor, a política de armazenamento de mensagens permite todas as regiões.

• Da mesma forma, na ausência de uma política de armazenamento de mensagens especificada, os A sinalização enforceInTransit é determinada com base no Aplicar regiões em trânsito para mensagens do Pub/Sub política da organização. Para mais informações sobre essa política da organização, consulte Restrições da política da organização.

• Se você especificar uma política de armazenamento de mensagens ao criar um tópico, essa política poderá conter apenas as regiões permitidas pela política da organização Restrição de localização de recursos em vigor. Quando nenhuma política da organização estiver em vigor, a política de armazenamento de mensagens poderá conter qualquer região.

Políticas de armazenamento de mensagens para tópicos existentes

• Quando uma política da organização é atualizada, as alterações não se propagam automaticamente para tópicos existentes. Desse modo, a política de armazenamento de mensagens de um tópico existente pode ficar fora de sincronia com a política da organização mais recente. Para Para mais informações, consulte Gerenciar as diferenças entre as políticas de organização e de tópicos.

• Quando a política de armazenamento de mensagens de um tópico é atualizada, as alterações não são propagadas. em mensagens já publicadas. As mensagens já armazenadas com base em uma política antiga não são movidas para ficarem consistentes com a nova política. Em vez disso, as alterações se aplicam somente às mensagens publicadas após a atualização.

Exceções

A política especifica uma lista de nomes de regiões permitidas do Google Cloud. Dessa maneira, os seguintes itens não são compatíveis:

• Listas de exclusão
• Zonas ou locais multirregionais

Se você publicar uma mensagem com uma chave de ordem e a política de armazenamento de mensagens excluir a região mais próxima, o serviço Pub/Sub retornará um erro.

Configurar políticas de armazenamento de mensagens

Há duas maneiras de configurar políticas de armazenamento de mensagens para tópicos, incluindo:

• Defina uma política de armazenamento de mensagens usando uma política da organização.
• Configure uma política de armazenamento de mensagens ao criar um tópico.

Definir uma política de armazenamento de mensagens usando uma política da organização

Configurar uma política de armazenamento de mensagens ao criar um tópico

gcloud pubsub topics create TOPIC_ID \
    --message-storage-policy-allowed-regions=REGION1, REGION2

 POST https://pubsub.googleapis.com/v1/projects/PROJECT_ID/topics/TOPIC_ID
 Authorization: Bearer $(gcloud auth application-default print-access-token)
 Content-Type: application/json --data @response-body.json

{
  "name": "projects/PROJECT_ID/topics/TOPIC_ID",
  "messageStoragePolicy": {
    "allowedPersistenceRegions": ["REGION"],
    "enforceInTransit": true
  }
}

{
  "name": "projects/PROJECT_ID/topics/TOPIC_ID",
  "messageStoragePolicy": {
    "allowedPersistenceRegions": [
      "REGION"
    ],
    "enforceInTransit": true
  }
}

Atualizar políticas de armazenamento de mensagens

gcloud pubsub topics update TOPIC_ID \
    --recompute-message-storage-policy

gcloud pubsub topics update TOPIC_ID \
    --message-storage-policy-allowed-regions=REGION1, REGION2

 PATCH https://pubsub.googleapis.com/v1/projects/PROJECT_ID/topics/TOPIC_ID
 Authorization: Bearer $(gcloud auth application-default print-access-token)
 Content-Type: application/json --data @response-body.json

{
  "name": "projects/PROJECT_ID/topics/TOPIC_ID",
  "messageStoragePolicy": {
    "allowedPersistenceRegions": ["REGION"], // Replace with your required region
    "enforceInTransit": true
  }
}

{
  "name": "projects/PROJECT_ID/topics/TOPIC_ID",
  "messageStoragePolicy": {
    "allowedPersistenceRegions": [
      "REGION"
    ],
    "enforceInTransit": true
  }
}

Gerenciar as diferenças entre as políticas da organização e de tópico

Conferir as diferenças entre as políticas de organização e de tópicos

gcloud pubsub topics describe TOPIC_ID

Resolver diferenças entre políticas de organização e de tópicos

Monitoramento e solução de problemas

Para ajudar você a entender onde os dados de mensagens são armazenados, Pub/Sub oferece métricas detalhadas por região do Google Cloud.

Você pode usar essas métricas para:

• entender como seus dados são distribuídos em todo o mundo;
• otimizar o local de implantação de editores e assinantes com base nesses dados.

Métricas de armazenamento de mensagens

Contagens de mensagens armazenadas não confirmadas:

subscription/num_unacked_messages_by_region

Volume de dados armazenados:

subscription/unacked_bytes_by_region

Idade da mensagem mais antiga:

subscription/oldest_unacked_message_age_by_region

Métricas análogas estão disponíveis para tópicos e snapshots. Além disso, as métricas correspondentes estão disponíveis para mensagens confirmadas que são retidas opcionalmente para repetição. Exemplo:

subscription/num_retained_acked_messages_by_region

Consequências de desempenho e disponibilidade

A política de armazenamento de mensagens não afeta o SLA geral, mas introduz uma compensação entre disponibilidade e controle quando editores ou assinantes são executados fora do Google Cloud ou em regiões não permitidas pela política. Usuários que executar clientes editores dentro do conjunto de regiões permitidas pelo armazenamento de mensagens políticas não veem as alterações na latência ou na disponibilidade do serviço.

Para entender essas compensações, vale a pena considerar como as solicitações de publicação são encaminhadas. Geralmente, o Pub/Sub tenta armazenar as mensagens o mais próximo possível da origem da solicitação. As solicitações originadas no Google Cloud são, em regra, vinculadas às instâncias do Pub/Sub na mesma região. Se um editor estiver localizado em uma única região, somente adicionar mais regiões à política de armazenamento de mensagens não aumenta a disponibilidade. Ao publicar de fora do Google Cloud, outra camada de roteamento é envolvidas para levar a solicitação a uma região próxima do Google Cloud em que o O serviço Pub/Sub está disponível.

Considere uma política de armazenamento de mensagens que permita somente a região us-central1.

1. Um cliente editor em execução em us-east1 emite uma solicitação Publish.
2. A solicitação é roteada para um servidor Pub/Sub em us-east1.
3. Em vez de armazenar os dados em us-east1, a solicitação é roteada para a região mais próxima permitida pela política de armazenamento de mensagens, que é us-central1.
4. O Pub/Sub armazena as mensagens publicadas em us-central1 e as encaminha para os assinantes a partir desse local.

Esse mecanismo tem implicações na latência da solicitação e na disponibilidade geral do sistema. Como a solicitação transfere mais links de rede, a conclusão leva mais tempo e tem uma chance relativamente maior de falha. Isso também significa que os assinantes podem ver a mensagem um pouco mais tarde, porque ela precisa viajar até a região permitida mais próxima antes de ser enviada. Se a política permitir uma única região, mas seus aplicativos editores forem executados em várias regiões, o aplicativo distribuído ficará tão disponível quanto a única região permitida.

A seguir

• Consulte Visão geral das APIs do Pub/Sub para informações sobre como usar endpoints globais ou de localização.