En el día de hoy, Amazon ha lanzado una actualización significativa para su herramienta SageMaker HyperPod, que ahora permite desplegar modelos base desde Amazon SageMaker JumpStart, así como modelos personalizados o ajustados desde Amazon S3 o Amazon FSx. Esta innovación permite a los usuarios entrenar, ajustar y desplegar modelos utilizando los mismos recursos informáticos de HyperPod, optimizando así la utilización de recursos a lo largo de todo el ciclo de vida del modelo.
SageMaker HyperPod ofrece una infraestructura de alto rendimiento y resiliente, diseñada especialmente para el entrenamiento y ajuste de modelos a gran escala. Desde su lanzamiento en 2023, ha sido adoptada por creadores de modelos base que buscan reducir costos, minimizar tiempos de inactividad y acelerar su llegada al mercado. Con el soporte de Amazon EKS, los usuarios pueden orquestar sus Clusters HyperPod, facilitando la gestión de recursos y procesos.
Este lanzamiento cuenta con nuevas funcionalidades que aceleran el proceso de despliegue de modelos fundacionales. Entre las mejoras se incluye la capacidad de desplegar más de 400 modelos de pesos abiertos con un solo clic desde SageMaker JumpStart, así como opciones flexibles para desplegar modelos personalizados desde varias fuentes. Las organizaciones que utilizan Kubernetes como parte de su estrategia de inteligencia artificial generativa se beneficiarán de un trabajo más eficiente y una facilidad de implementación.
El despliegue automatizado basado en la demanda permitirá a los modelos gestionar picos de tráfico mientras optimizan el uso de recursos en momentos de menor actividad. Asimismo, la gobernanza de tareas de HyperPod permitirá priorizar las cargas de trabajo de inferencia, garantizando una utilización eficiente de los recursos.
Estos avances están diseñados pensando en diferentes tipos de usuario, desde administradores de sistemas hasta científicos de datos y ingenieros de operaciones de Machine Learning, ofreciendo herramientas y métricas que facilitan la observabilidad y el manejo de cargas de trabajo de inferencia.
Con estos desarrollos, Amazon SageMaker HyperPod proporciona un camino claro para que las organizaciones optimicen el ciclo de vida de sus modelos de inteligencia artificial, permitiendo una integración más fluida entre el entrenamiento y la producción. Este enfoque promete mejorar no solo la eficiencia operativa, sino también la rapidez con que los modelos se implementan en entornos productivos.
vía: AWS machine learning blog
