Amazon ha presentado una nueva funcionalidad en Amazon SageMaker HyperPod, enfocada en la gobernanza de tareas, diseñada para optimizar la eficiencia en el entrenamiento y reducir la latencia de red de las cargas de trabajo de inteligencia artificial (IA). Esta herramienta permite una asignación más eficiente de los recursos computacionales en los clústeres de Amazon Elastic Kubernetes Service (EKS), facilitando el uso efectivo de los recursos entre equipos y proyectos.
Los administradores ahora pueden gestionar la asignación de computación acelerada y establecer políticas de prioridad de tareas, lo que resulta en una mayor utilización de los recursos. Esto permitirá a las organizaciones centrarse en acelerar la innovación en IA generativa y reducir el tiempo de comercialización, en lugar de preocuparse por la coordinación en la asignación de recursos.
Las cargas de trabajo de IA generativa suelen requerir una comunicación extensa entre instancias de Amazon Elastic Compute Cloud (EC2), y la latencia de estas comunicaciones puede verse afectada por la disposición física de las instancias en la infraestructura del centro de datos. Al organizar los centros de datos en unidades organizativas jerárquicas, se puede optimizar el tiempo de procesamiento, dado que las instancias que se encuentran en la misma unidad organizativa experimentan tiempos de respuesta más rápidos.
Para mejorar la colocación de las cargas de trabajo de IA generativa en clústeres SageMaker HyperPod, es posible utilizar información de topología de EC2 durante las presentaciones de trabajos. Esta información de topología, que refleja la disposición de los nodos en la red, ayuda a reducir la latencia mediante la minimización de saltos en la red y permite una mejor eficiencia en el entrenamiento al optimizar la colocación de las cargas de trabajo.
Con la programación consciente de la topología, SageMaker HyperPod puede mejorar la comunicación en la red y gestionar tareas de manera más eficaz. El uso de etiquetas de topología de red permite programar trabajos que optimicen la comunicación y, en consecuencia, el uso de los recursos para las cargas de trabajo de IA.
Los científicos de datos que trabajan en estos clústeres tienen la responsabilidad de entrenar, afinar y desplegar modelos en instancias computacionales aceleradas. Para implementar la programación consciente de la topología, primero se debe confirmar la información topológica de los nodos en el clúster y, luego, ejecutar un script que identifique qué instancias están en los mismos nodos de red. Esto permite una mayor visibilidad y control sobre la disposición de las instancias de entrenamiento.
Los requisitos para comenzar con la programación consciente de la topología incluyen tener un clúster EKS y un clúster SageMaker HyperPod con instancias habilitadas para información de topología, entre otros elementos técnicos específicos. Además, es posible visualizar la información de topología al ejecutar comandos adecuados en la línea de comandos.
La gobernanza de tareas de SageMaker HyperPod ofrece diferentes métodos para programar tareas utilizando la conciencia de la topología, incluyendo la modificación de archivos de manifiesto de Kubernetes y el uso de la interfaz de línea de comandos de SageMaker HyperPod.
En resumen, la nueva funcionalidad de SageMaker HyperPod es una innovación significativa para mejorar la eficiencia en el entrenamiento de IA, reduciendo la latencia de comunicación y optimizando la utilización de recursos, lo que promete transformar la forma en que las organizaciones gestionan sus cargas de trabajo de IA generativa. Se anima a los usuarios interesados a probar esta solución y ofrecer comentarios sobre su experiencia.
vía: AWS machine learning blog
