Más pruebas de que los LLM no son conscientes y no están generalizando ninguna información, y por lo tanto no van a convertirse en inteligentes de manera general, sino que son, de hecho, (aún extremadamente útiles) respondedores estadísticos entrenados.
Lossfunk
Lossfunk19 mar, 22:14
🚨 Impactante: Los LLMs de Frontier obtienen entre un 85-95% en los estándares de codificación. Les dimos problemas equivalentes en lenguajes que no podrían haber memorizado. Colapsaron a un 0-11%. Presentando EsoLang-Bench. Aceptado en los talleres de Razonamiento Lógico e ICBINB en ICLR 2026 🧵
A los graduados en informática se les presentan desafíos de codificación en lenguajes que no han visto antes + con solo un poco de sintaxis y se les pide que hagan cosas como codificar una secuencia de Fibonacci para demostrar que no solo están repitiendo, todo el tiempo Y eso filtra a algunas personas, pero no al 90%
35