Configura políticas de almacenamiento de mensajes

Si publicas mensajes en el extremo global de Pub/Sub, Pub/Sub almacena automáticamente los mensajes en la región de Google Cloud más cercana. Si quieres controlar las regiones en las que se almacenan y procesan los mensajes, puedes configurar una política de almacenamiento de mensajes sobre tu tema.

Descripción general de la política de almacenamiento de mensajes

Puedes establecer una política de almacenamiento de mensajes cuando creas un tema nuevo o cuando actualizar un tema con la consola, Google Cloud CLI o las APIs de REST.

La política de almacenamiento de mensajes solo se aplica al contenido de los mensajes. La política no aplicar a otros datos, como nombres de temas, etiquetas o la configuración de Identity and Access Management (IAM).

Pub/Sub almacena mensajes cuando un cliente los publica en Pub/Sub Una política de almacenamiento de mensajes garantiza que Pub/Sub almacena y procesa mensajes solo en el conjunto de las regiones de Google Cloud que especifiques, sin importar dónde se publiquen se originan las solicitudes de suscripción. Si la política permite la publicación en varias regiones operaciones, Pub/Sub almacena el mensaje en la región permitida más cercana donde el mensaje publicado ingresa a la red de Google Cloud.

Cuando especificas una política de almacenamiento de mensajes, puedes establecer De enforceInTransit a True. Esta marca rige lo siguiente:

• Las solicitudes de publicación, extracción y streamingPull que se reciben en una región no permitida en la política de almacenamiento de mensajes se rechazan con un error FAILED_PRECONDITION.

• La entrega de suscripciones push solo se controla dentro de las regiones de Cloud permitidas. En algunos casos, esta restricción puede detener completamente para las suscripciones de envío. Cuando una suscripción push entra en un estado de este tipo debido a que las ubicaciones push están demasiado restringidas por una combinación de factores, como la ubicación de almacenamiento de mensajes, las regiones permitidas y la ubicación de recursos de exportación, este estado se vuelve visible en Stackdriver.

Políticas de almacenamiento de mensajes para temas nuevos

• Si no especificas una política de almacenamiento de mensajes cuando creas un tema la política de almacenamiento de mensajes se determina automáticamente según la política de la organización de restricción de ubicación de recursos vigente. Cuando no hay ninguna política de la organización vigente, la política de almacenamiento de mensajes admite todas las regiones.

• Del mismo modo, si no hay una política de almacenamiento de mensajes especificada, la marca enforceInTransit se determina en función de la política de la organización vigente Aplicar las regiones en tránsito para los mensajes de Pub/Sub. Para ver más información sobre esta política de la organización, consulta Restricciones de las políticas de la organización.

• Si especificas una política de almacenamiento de mensajes cuando creas un tema, esta puede contener solo las regiones permitidas por la política de la organización vigente Restricción de ubicación de recursos. Cuando no hay ninguna política de la organización vigente, la política de almacenamiento de mensajes puede contener cualquier región.

Políticas de almacenamiento de mensajes para temas existentes

• Cuando se actualiza una política de la organización, los cambios no se propagan de forma automática a los temas existentes. Por lo tanto, es posible que la política de almacenamiento de mensajes de un tema existente no esté sincronizada con la última política de la organización. Para obtener más información, consulta Administra las diferencias entre las políticas de la organización y de temas.

• Cuando se actualiza la política de almacenamiento de mensajes de un tema, los cambios no se propagan a mensajes ya publicados. Los mensajes que ya están almacenados según una política anterior no se modifican para que sean coherentes con la política nueva. En cambio, los cambios se aplican solo a los mensajes publicados después de la actualización.

Excepciones

La política especifica una lista de nombres de regiones permitidas de Google Cloud. Por lo tanto, los siguientes elementos no son compatibles:

• Listas de exclusiones
• Zonas o ubicaciones multirregionales

Si publicas un mensaje con una clave de ordenamiento y la política de almacenamiento de mensajes excluye la región más cercana, el servicio de Pub/Sub muestra un error.

Configura políticas de almacenamiento de mensajes

Existen dos formas de configurar políticas de almacenamiento de mensajes para los temas, incluidas las siguientes:

• Establece una política de almacenamiento de mensajes con una política de la organización.
• Configura una política de almacenamiento de mensajes cuando crees un tema.

Establece una política de almacenamiento de mensajes con una política de la organización

Configura una política de almacenamiento de mensajes cuando se crea un tema

gcloud pubsub topics create TOPIC_ID \
    --message-storage-policy-allowed-regions=REGION1, REGION2

 POST https://pubsub.googleapis.com/v1/projects/PROJECT_ID/topics/TOPIC_ID
 Authorization: Bearer $(gcloud auth application-default print-access-token)
 Content-Type: application/json --data @response-body.json

{
  "name": "projects/PROJECT_ID/topics/TOPIC_ID",
  "messageStoragePolicy": {
    "allowedPersistenceRegions": ["REGION"],
    "enforceInTransit": true
  }
}

{
  "name": "projects/PROJECT_ID/topics/TOPIC_ID",
  "messageStoragePolicy": {
    "allowedPersistenceRegions": [
      "REGION"
    ],
    "enforceInTransit": true
  }
}

Actualiza las políticas de almacenamiento de mensajes

gcloud pubsub topics update TOPIC_ID \
    --recompute-message-storage-policy

gcloud pubsub topics update TOPIC_ID \
    --message-storage-policy-allowed-regions=REGION1, REGION2

 PATCH https://pubsub.googleapis.com/v1/projects/PROJECT_ID/topics/TOPIC_ID
 Authorization: Bearer $(gcloud auth application-default print-access-token)
 Content-Type: application/json --data @response-body.json

{
  "name": "projects/PROJECT_ID/topics/TOPIC_ID",
  "messageStoragePolicy": {
    "allowedPersistenceRegions": ["REGION"], // Replace with your required region
    "enforceInTransit": true
  }
}

{
  "name": "projects/PROJECT_ID/topics/TOPIC_ID",
  "messageStoragePolicy": {
    "allowedPersistenceRegions": [
      "REGION"
    ],
    "enforceInTransit": true
  }
}

Administra las diferencias entre las políticas de la organización y de temas

Consulta las diferencias entre las políticas de la organización y de temas

gcloud pubsub topics describe TOPIC_ID

Resolver las diferencias entre las políticas de la organización y de temas

Supervisa y soluciona problemas

Para ayudarte a comprender dónde se almacenan los datos de los mensajes, Pub/Sub ofrece métricas desglosadas por cada región de Google Cloud.

Puedes usar estas métricas para lograr lo siguiente:

• Comprender cómo se distribuyen tus datos en todo el mundo
• Optimizar la ubicación de implementación del publicador y del suscriptor en función de esos datos

Métricas de almacenamiento de mensajes

Recuentos de mensajes almacenados no confirmados:

subscription/num_unacked_messages_by_region

Volumen de datos almacenados:

subscription/unacked_bytes_by_region

Antigüedad del primer mensaje:

subscription/oldest_unacked_message_age_by_region

Las métricas análogas están disponibles para los temas y las instantáneas. Además, las métricas correspondientes están disponibles para los mensajes confirmados que se retienen de forma opcional con el fin de volver a reproducirlos. Por ejemplo:

subscription/num_retained_acked_messages_by_region

Implicaciones de rendimiento y disponibilidad

La política de almacenamiento de mensajes no afecta al ANS general, pero presenta una compensación de control de disponibilidad cuando los publicadores o suscriptores se ejecutan fuera de Google Cloud o en regiones no permitidas por la política. Usuarios que ejecutar clientes publicadores dentro del conjunto de regiones que permite el almacenamiento de mensajes de Google Cloud no ven cambios en la latencia ni la disponibilidad del servicio.

Para entender estas compensaciones, es conveniente considerar cómo se enrutan las solicitudes de publicación. En general, Pub/Sub intenta almacenar tus mensajes lo más cerca posible del origen de la solicitud. Como regla general, las solicitudes que se originan en Google Cloud están vinculadas a las instancias de Pub/Sub en la misma región. Si un publicador se encuentra en una sola región, solo agregar más regiones a la política de almacenamiento de mensajes no aumenta la disponibilidad. Cuando se publica desde fuera de Google Cloud, se aplica una capa adicional de enrutamiento para enviar la solicitud a una región cercana de Google Cloud, donde El servicio de Pub/Sub está disponible.

Considera una política de almacenamiento de mensajes que solo permita la región us-central1.

1. Un cliente publicador que se ejecuta en us-east1 emite una solicitud Publish.
2. La solicitud se enruta a un servidor de Pub/Sub en us-east1.
3. En lugar de almacenar los datos en us-east1, la solicitud se enruta a la región más cercana permitida por la política de almacenamiento de mensajes, que es us-central1.
4. Pub/Sub almacena los mensajes publicados en us-central1 y reenvía mensajes a los suscriptores desde esa ubicación.

Este mecanismo afecta a la latencia de solicitudes y la disponibilidad general del sistema. Debido a que la solicitud desvía más vínculos de red, requiere más tiempo para completarse y tiene más probabilidades de fallar. Esto también significa que los suscriptores pueden ver el mensaje un poco más tarde porque debe dirigirse a la región permitida más cercana antes del envío. Si la política permite una sola región, pero tus aplicaciones de publicador se ejecutan en varias regiones, la aplicación distribuida estará disponible en función de la única región permitida.

¿Qué sigue?

• Consulta la Descripción general de las APIs de Pub/Sub para información sobre cómo usar extremos globales o de ubicación.