Amazon ha presentado una nueva interfaz de línea de comandos (CLI) y un kit de desarrollo de software (SDK) para su servicio Amazon SageMaker HyperPod, que simplifican el uso de capacidades avanzadas de entrenamiento distribuido e inferencia. Con estos nuevos recursos, los científicos de datos y los profesionales de aprendizaje automático pueden gestionar modelos de inteligencia artificial a gran escala de manera más accesible y eficiente.
La CLI de SageMaker HyperPod ofrece una experiencia intuitiva de línea de comandos, ocultando la complejidad de los sistemas distribuidos. Gracias a comandos simples, los usuarios pueden lanzar trabajos de entrenamiento, afinar modelos, desplegar puntos finales de inferencia y supervisar el rendimiento de los clústeres. Estos aspectos la hacen ideal para experimentaciones rápidas e iteraciones.
Para casos de uso más avanzados que requieran un control detallado, el SDK permite un acceso programático que facilita la personalización de flujos de trabajo de aprendizaje automático, utilizando una interfaz en Python que permite a los desarrolladores definir parámetros de entrenamiento y despliegue de forma precisa.
En una reciente demostración, se expusieron ejemplos prácticos sobre cómo emplear la CLI y SDK para entrenar y desplegar grandes modelos de lenguaje en SageMaker HyperPod, utilizando técnicas como el entrenamiento paralelo totalmente fragmentado (Fully Sharded Data Parallel).
Los usuarios interesados deben cumplir ciertos requisitos previos, como la instalación de operadores de Kubernetes específicos en el clúster. La instalación de la CLI y SDK es sencilla y se puede llevar a cabo utilizando comandos de pip, asegurándose de estar en la versión más reciente para utilizar todas las nuevas funciones.
Con la CLI, los científicos de datos pueden configurar contextos de clúster y lanzar trabajos de aprendizaje automático sin necesidad de profundos conocimientos en infraestructura. Para aquellos que buscan una experiencia más programática, el SDK de SageMaker HyperPod ofrece más flexibilidad y opciones de personalización.
La nueva CLI y SDK de SageMaker HyperPod facilitan el proceso de llevar modelos de inteligencia artificial de la fase de experimentación a producción, permitiendo a las organizaciones implementar soluciones de inteligencia artificial más rápidamente y con menor complejidad.
vía: AWS machine learning blog
