AWS ha presentado su nueva funcionalidad AppSync Events, que permite la creación de APIs Websocket más seguras y escalables. Esta herramienta no solo facilita la transmisión de eventos en tiempo real a millones de suscriptores, sino que también asegura una baja latencia en la propagación de eventos desde modelos de inteligencia artificial generativa hacia los usuarios finales. Esta integración es fundamental para mejorar la experiencia del usuario en aplicaciones de IA, haciendo que la respuesta a las solicitudes sea casi instantánea.
En un reciente artículo, AWS discute cómo utilizar AppSync Events como base para diseñar una arquitectura de gateway de IA sin servidor. La funcionalidad se integra con varios servicios de AWS para ofrecer una cobertura completa de las capacidades que permiten arquitecturas de gateway de IA. Para guiar a los desarrolladores a través de esta transición, AWS ha proporcionado código de ejemplo que puede ser implementado directamente en cuentas de usuarios para facilitar el inicio de sus proyectos.
El concepto de AI Gateway se presenta como un patrón de middleware arquitectónico que busca mejorar la disponibilidad, seguridad y visibilidad de los grandes modelos de lenguaje (LLMs). Esta arquitectura tiene en cuenta las diversas necesidades de diferentes actores dentro de una organización: los usuarios buscan respuestas rápidas y agradables, los desarrolladores desean arquitecturas flexibles, el personal de seguridad exige gobernanza y el personal de ingeniería de sistemas necesita soluciones de monitoreo.
Las capacidades del AI Gateway incluyen autenticación y autorización a través de Amazon Cognito, acceso a APIs con baja latencia, gestión de autorizaciones, limitación de tasa y medición para manejar el tráfico de bots, acceso a distintos modelos de IA y soluciones para el registro y análisis del comportamiento de la aplicación. También permite un monitoreo efectivo de los puntos clave que ayudan al personal a reaccionar rápidamente a los eventos.
La arquitectura propuesta enfatiza la creación de canales de comunicación entre los usuarios y los modelos de LLM mediante la utilización de nombres de espacio en AppSync Events, que fortalecen la privacidad asegurando que solo los usuarios autorizados puedan acceder a sus respectivos canales de entrada y salida. Esto se realiza mediante funciones Lambda que validan la autorización del usuario.
Además, se hace hincapié en la importancia de la limitación de tasa y el control del uso de tokens, dado que este es un aspecto crucial para muchas empresas que implementan soluciones de IA generativa. La integración de Amazon DynamoDB permite mantener contadores atómicos para rastrear el consumo de tokens, garantizando que los usuarios no excedan sus límites diarios o mensuales.
AWS también ha tenido en cuenta la necesidad de análisis de datos, ofreciendo una solución que permite a los desarrolladores extraer información valiosa de los registros generados por la aplicación. Esto se logra a través de una arquitectura que incluye Amazon Firehose, S3 y Amazon Athena, lo que facilita la transformación de datos en tablas estructuradas y consultables.
Con esta innovadora introducción de AppSync Events, AWS sigue fomentando el desarrollo de soluciones de AI Gateway que no solo hacen que el acceso a modelos de lenguaje sea más eficiente, sino que también aseguran una mayor transparencia y control para todos los actores involucrados. Esta nueva tracción en la integración de IA parece estar diseñada para adaptarse a las necesidades crecientes de las empresas que buscan aprovechar la inteligencia artificial de manera segura y efectiva.
vía: AWS machine learning blog
