¿Cómo puedo optimizar los trabajos de inferencia por lotes en Amazon Bedrock?

Resolución

Los tiempos de ejecución de los trabajos por lotes dependen de la capacidad disponible, de los trabajos simultáneos en cola y de la asignación de recursos específica del modelo. Utiliza los siguientes métodos de resolución para optimizar tus trabajos de inferencia por lotes en Amazon Bedrock.

Proporcionar peticiones de entrada simples y completas

Para reducir el tiempo de procesamiento del trabajo y mejorar la calidad de los resultados, crea peticiones claras y concisas que no incluyan un contexto innecesario.

No superar las cuotas de servicio

Si ejecutas varios trabajos de inferencia por lotes en paralelo, asegúrate de que no superen las cuotas de servicio que varían según el modelo y la región de AWS.

Para obtener más información sobre proyectos a gran escala, consulta Automatización de la inferencia por lotes de Amazon Bedrock: creación de una canalización escalable y eficiente.

Programación de trabajos para que se ejecuten fuera de las horas punta

Utiliza Amazon EventBridge para programar trabajos de inferencia por lotes fuera las horas pico, cuando la disponibilidad de los recursos puede ser mayor.

Uso de la inferencia entre regiones

Utiliza perfiles de inferencia entre regiones en las solicitudes de la API CreateModelInvocationJob para distribuir las cargas de trabajo entre las regiones.