Amazon Bedrock ha dado un paso significativo en la gestión proactiva de costos para implementaciones de inteligencia artificial generativa. En la primera parte de su serie, se presentó una solución que incorpora un mecanismo robusto de vigilancia de costos, diseñado para hacer cumplir límites de uso de tokens en tiempo real. A medida que las organizaciones buscan controlar sus gastos relacionados con la IA generativa, se exploraron estrategias iniciales de seguimiento de tokens y técnicas de ejecución de presupuestos.
En esta continuación, se enfocan en estrategias avanzadas de monitoreo de costos. La solución de vigilancia de costos se ha desarrollado como un mecanismo centralizado para limitar proactivamente el uso de IA generativa, asegurando que se mantenga dentro de los presupuestos predeterminados. Entre las mejoras se destacan enfoques de etiquetado personalizados, que permiten una asignación precisa de costos, y el desarrollo de mecanismos de informes integrales.
Una de las adiciones clave es el etiquetado a nivel de invocación, que adjunta metadatos ricos a cada solicitud de API, creando un rastro de auditoría completo en los registros de Amazon CloudWatch. Esto resulta invaluable al investigar decisiones presupuestarias o al analizar patrones de uso a través de diferentes aplicaciones y equipos. El flujo de trabajo principal de AWS Step Functions ha sido actualizado para soportar este enfoque.
Además, se ha evolucionado la estructura de entrada de la API para permitir un etiquetado personalizado, introduciendo parámetros opcionales para configuraciones específicas del modelo. Los componentes de esta nueva estructura incluyen la identificación del modelo, el contenido de las solicitudes y un objeto de etiquetas que permite el seguimiento a nivel de aplicación.
Para respaldar la validación y el etiquetado, se ha incorporado un paso nuevo en el flujo de trabajo que utiliza una función Lambda de AWS para asegurar que cada solicitud se alinee con el modelo específico. Esto incluye la adición de etiquetas que serán necesarias para un análisis posterior.
Con la implementación de métricas personalizadas en CloudWatch, se puede realizar un seguimiento de datos en múltiples dimensiones, tales como tipo de modelo y centro de costos, lo que permite a las organizaciones tener visibilidad detallada sobre su uso de IA. La estrategia incluye la generación de métricas únicas y el almacenamiento de datos monitoreados para un análisis granular.
Por otro lado, Amazon Bedrock ha lanzado perfiles de inferencia de aplicaciones, que ayudan a las organizaciones a aplicar etiquetas de asignación de costos personalizadas, superando limitaciones anteriores en el seguimiento de gastos. La creación de estos perfiles se realiza mediante la CLI de AWS o la API, lo que permite definir etiquetas como identificadores de departamento y equipo.
Con herramientas como AWS Cost Explorer, las organizaciones pueden visualizar y analizar su gasto en la nube, segmentando costos por servicio, etiquetas y dimensiones personalizadas. Esto proporciona una visión clara de los gastos de IA, permitiendo generar informes que desglosen los gastos de Amazon Bedrock por unidades de negocio o proyectos específicos.
En resumen, la integración de la vigilancia en tiempo real con reportes de costos exhaustivos otorga a las organizaciones la capacidad de gestionar sus recursos de inteligencia artificial de manera proactiva, manteniendo su presupuesto de innovación bajo control y asegurando que los proyectos se desarrollen sin contratiempos.
vía: AWS machine learning blog
