Google Cloud dio a conocer Discovery Bench, un meta-benchmark en desarrollo que permite analizar cómo cambia el desempeño de los agentes de IA cuando las consultas contienen distintos niveles de ambigüedad. La propuesta busca sustituir las calificaciones aisladas por evaluaciones que identifiquen dónde, cómo y por qué falla un sistema.
Ivan
Un benchmark que modifica la dificultad de cada consulta
Discovery Bench genera versiones fáciles y difíciles de un mismo caso de evaluación, con el propósito de medir qué tan cerca se encuentra un agente de recuperar correctamente los datos requeridos. El enfoque se concentra en la etapa de descubrimiento, donde el sistema debe localizar tablas o archivos dentro de repositorios empresariales antes de analizar su contenido.
El método utiliza un concepto de la teoría de la información denominado surprisal, que representa la incertidumbre restante sobre el conjunto de datos correcto a partir de una consulta. Mediante la incorporación o eliminación de términos con diferente capacidad informativa, Google Cloud puede construir preguntas con niveles de ambigüedad altos, medios y bajos.
Admin
Este proceso se ejecuta a través de iterative surprisal-based query refinement, o iSQR, un ciclo que modifica progresivamente la consulta y permite justificar qué palabras fueron agregadas o retiradas. La dificultad deja de depender únicamente de una clasificación humana y pasa a estar respaldada por una medida cuantitativa.
Las pruebas realizadas sobre KramaBench con un agente de recuperación basado en Gemini 3.1 Pro registraron un F1 de 0,34 con alta ambigüedad, 0,76 en la consulta neutral, 0,81 con ambigüedad media y 0,78 con baja ambigüedad. Los resultados mostraron que añadir más contexto no produjo necesariamente un mejor desempeño.
Admin
Discovery Bench también examina la calidad de las evaluaciones
El análisis permitió detectar casos donde una consulta considerada resuelta pasaba de un F1 perfecto a cero tras retirar una palabra determinante. Un benchmark convencional habría registrado únicamente el resultado favorable, sin mostrar que el agente podía perder por completo la tabla correcta ante una formulación levemente más vaga.
Google Cloud también utilizó el enfoque para revisar los propios conjuntos de evaluación y encontró tablas de referencia que no respondían las preguntas, consultas con 124 tablas fragmentadas y períodos expresados en meses cuando eran necesarias fechas exactas. Estas inconsistencias podían producir conclusiones erróneas sobre el rendimiento de los agentes.
Admin
Manav Garg, ingeniero de software de Data Cloud Frontier AI, y Sunil Pedapudi, líder técnico del mismo equipo, explicaron que la evaluación debía revelar el punto exacto donde el agente comenzaba a perder capacidad frente a consultas menos precisas.
“La pregunta interesante en las evaluaciones nunca es si el agente puede aprobar. Es cuán vaga puede volverse la pregunta antes de que el agente falle”.
Para las organizaciones, Discovery Bench ofrece una forma de reconocer límites operacionales antes de integrar agentes en procesos dependientes de datos empresariales. La propuesta no fue presentada como un producto comercial, sino como un marco de evaluación que Google Cloud continúa desarrollando para medir tanto los sistemas como la calidad de los benchmarks utilizados.
