Amazon ha lanzado nuevas capacidades para su plataforma Amazon Bedrock que permiten a las organizaciones evaluar modelos fundamentales y sistemas de Generación Aumentada por Recuperación de manera más efectiva. A partir de ahora, los usuarios pueden evaluar tanto modelos alojados en Amazon Bedrock como aquellos que funcionan en otras plataformas, gracias a las Evaluaciones de Amazon Bedrock.
Una de las herramientas más destacadas de esta nueva oferta es la técnica denominada «LLM-as-a-judge», que realiza evaluaciones automatizadas con una calidad similar a la humana. Este enfoque permite evaluar diferentes dimensiones de la inteligencia artificial responsable, como la exactitud y la exhaustividad, sin intervención manual. Además, las organizaciones podrán utilizar métricas personalizadas que se alineen con sus requisitos de negocio específicos, lo que facilitará una evaluación más significativa y útil de sus aplicaciones de inteligencia artificial generativa.
El sistema también aporta plantillas predefinidas y métricas construidas según criterios generales, pero permite a los usuarios diseñar métricas a medida que reflejen mejor sus necesidades. Entre las funciones disponibles se incluye la posibilidad de integrar contenido dinámico en las evaluaciones y opciones avanzadas para definir formatos de salida personalizados.
Este avance está diseñado para ayudar a las empresas a mantener la calidad y mejorar continuamente sus sistemas de inteligencia artificial, alineándolo con sus objetivos estratégicos. La incorporación de métricas personalizadas no solo amplía las capacidades de evaluación, sino que también promueve un análisis más robusto y contextualizado de los resultados obtenidos, lo que se traduce en un impacto más significativo en el rendimiento del negocio.
vía: AWS machine learning blog
