Código de error 429

Cuando la cantidad de solicitudes enviadas a un modelo supera la capacidad de procesamiento disponible, Vertex AI devuelve un código de error 429, lo que indica que el recurso se agotó. El mensaje de error específico y la ruta de resolución dependen de si usas el servicio de pago por uso o si compraste capacidad de procesamiento aprovisionada.

Información sobre el error 429

En la siguiente tabla, se compara cómo se controla el error 429 en los frameworks de cuota de prepago y de capacidad de procesamiento aprovisionada.

Pago por uso Capacidad de procesamiento aprovisionada
Mensaje de error Resource exhausted, please try again later. Too many requests. Exceeded the Provisioned Throughput.
Causa La cantidad de solicitudes supera la capacidad disponible en el grupo de recursos compartidos. La cantidad de solicitudes supera tu capacidad de procesamiento reservada.
Impacto en el ANS Las solicitudes que reciben un error 429 no se toman en cuenta en la tasa de error, como se describe en el Acuerdo de Nivel de Servicio (ANS). Los errores por uso inferior al rendimiento que compraste se muestran como 5XX. En el caso de la capacidad de procesamiento aprovisionada estándar, los errores 5XX se contabilizan en el ANS. El ANS no cubre la capacidad de procesamiento aprovisionada de zona única. Los errores por uso superior al rendimiento comprado se tratan como pago por uso y no se registran como incumplimiento del ANS.

Con una suscripción de capacidad de procesamiento aprovisionada, reservas una cantidad específica de capacidad de procesamiento para tus modelos. Si no tienes una suscripción y los recursos compartidos no están disponibles, recibirás un error 429. Aunque no tengas capacidad reservada, puedes volver a enviar la solicitud.

En el caso de los proyectos con rendimiento aprovisionado, Vertex AI reserva el rendimiento comprado para el uso de tu proyecto. Cuando usas menos de la cantidad que compraste, los errores que, de otro modo, serían 429 se muestran como 5XX y se registran como parte del porcentaje de errores del ANS. Cuando superas la cantidad que compraste, las solicitudes adicionales se procesan a pedido como pago por uso.

Cómo resolver errores 429

Los pasos para resolver un error de 429 varían según el marco de cuotas.

Pago por uso

En el framework de cuota de prepago, tienes las siguientes opciones para resolver los errores 429:

  • Usa el extremo global: Siempre que sea posible, usa el extremo global en lugar de un extremo regional.
  • Implementa una estrategia de reintento: Usa la retirada exponencial truncada para reintentar las solicitudes.
  • Solicita un aumento de cuota: Si tu modelo usa cuotas, puedes enviar una solicitud de aumento de cuota (QIR).
  • Suaviza el tráfico: Si tu modelo usa la cuota compartida dinámica (DSQ), suavizar el tráfico y reducir los picos grandes puede ser útil. Para obtener más información, consulta Cuota compartida dinámica.
  • Suscríbete a la capacidad de procesamiento aprovisionada: Para obtener un nivel de servicio más coherente, suscríbete a la capacidad de procesamiento aprovisionada. Para obtener más información, consulta Capacidad de procesamiento aprovisionada.

Capacidad de procesamiento aprovisionada

Para resolver un error de 429 cuando tienes una suscripción a la capacidad de procesamiento aprovisionada, puedes hacer lo siguiente:

  • Permitir el procesamiento a pedido: Usa el comportamiento predeterminado y no establezcas un encabezado en tus solicitudes de predicción. Cualquier excedente se procesa a pedido y se factura como pago por uso.
  • Aumenta la capacidad reservada: Aumenta la cantidad de GSU en tu suscripción a la capacidad de procesamiento aprovisionada.

¿Qué sigue?