Los agentes de IA están empezando a realizar análisis biológicos reales: inspeccionar conjuntos de datos, ejecutar flujos de trabajo computacionales y producir valiosos resultados de investigación. A medida que la IA para la ciencia se acerca al uso práctico en laboratorios, la cuestión de cómo evaluar eficazmente los agentes biológicos se vuelve cada vez más importante. El BixBench Verified 50 es una lista seleccionada de preguntas para evaluar agentes biológicos en varios dominios de bioinformática. Probamos el BIOS AI Scientist en el BixBench Verified 50 junto con agentes de IA de propósito general y específicos de dominio. La BIOS lideraba con un 90% de precisión junto con K-Dense. A continuación: > Biomni Labs - 88,7% > Edison Scientific - 78,0% > Claude - 65,3% & > SDK de OpenAI Agents - 61,3% Consulta los resultados completos: Una conclusión clave: evaluar agentes biológicos no se limita a si la cadena de análisis funciona correctamente. En una tarea de referencia, el agente calculó las correlaciones correctas, pero malinterpretó el significado biológico de una columna de conjunto de datos. El resultado: análisis numéricamente correcto, pero conclusiones biológicamente invertidas. A medida que los agentes biológicos pasan de los indicadores controlados a entornos científicos reales, necesitamos evaluar el flujo de trabajo, las suposiciones y el razonamiento, no solo si la respuesta final es numéricamente correcta. Lee más en nuestra entrada del blog: