En el marco del AWS Summit en Nueva York, se presentó una nueva suite integral de capacidades de personalización para los modelos de la fundación Amazon Nova, que ahora están disponibles a través de recetas listas para usar en Amazon SageMaker AI. Estas recetas permitirán a los usuarios adaptar los modelos Nova Micro, Nova Lite y Nova Pro a lo largo del ciclo de vida del entrenamiento de modelos, lo que incluye etapas como la pre-entrenamiento, ajuste fino supervisado y alineación.
La serie de publicaciones que se lanzará a continuación examinará estas recetas de personalización y proporcionará una guía de implementación paso a paso. Se inicia con la técnica de Optimización de Preferencias Directa (DPO), que facilita la sintonización de las salidas del modelo según las preferencias del usuario. Esta técnica utiliza pares de respuestas —una preferida y otra no— para guiar al modelo hacia resultados que reflejen mejor el tono y las directrices deseadas.
Los modelos personalizados podrán desplegarse en Amazon Bedrock utilizando un rendimiento de salida provisionado. La versión eficiente en parámetros del DPO admite inferencia bajo demanda. Las recetas de personalización de Nova están disponibles en trabajos de entrenamiento de SageMaker, lo que brinda flexibilidad para seleccionar el entorno más adecuado según los requisitos de infraestructura y escala.
El flujo de trabajo para utilizar estas recetas con los trabajos de entrenamiento de SageMaker incluye varios pasos. Primero, el usuario selecciona una receta específica de personalización que proporciona configuraciones exhaustivas para controlar los parámetros de entrenamiento de Amazon Nova. Una vez enviada la solicitud por API al plano de control de SageMaker, el sistema utiliza un script lanzador para ejecutar la receta en un clúster de cómputo gestionado. SageMaker se encarga de aprovisionar la infraestructura necesaria y orquestar el entrenamiento distribuido.
Esta arquitectura simplificada proporciona una experiencia totalmente gestionada, permitiendo a los usuarios definir rápidamente los parámetros de entrenamiento en un modelo Amazon Nova y seleccionar su infraestructura preferida, mientras que SageMaker se ocupa de la gestión de infraestructura de extremo a extremo, dentro de un modelo de precios solo por el tiempo de entrenamiento consumido.
Además, el modelo de Amazon Nova personalizado se puede desplegar en Amazon Bedrock utilizando la API createcustommodel, integrándose así con herramientas nativas como Amazon Bedrock Knowledge Bases, Guardrails y Agents.
El artículo también detalla un caso de uso empresarial donde la adaptación del modelo Amazon Nova Micro optimiza el llamado de funciones estructuradas para flujos de trabajo específicos de aplicaciones, destacando una mejora del 81% en la puntuación F1 y un aumento de hasta el 42% en métricas ROUGE. Esto permitirá que los modelos sean más eficientes en diversas aplicaciones comerciales, como asistentes de soporte al cliente y automatización de flujos de trabajo.
A medida que las técnicas de alineación como DPO se implementan, se espera que esta tecnología revolucione la forma en que las empresas personalizan y optimizan los modelos de IA, haciendo más accesible esta avanzada personalización para organizaciones de diversos sectores.
vía: AWS machine learning blog
