Další důkaz, že LLM nejsou vědomé a nezobecňují žádné informace, a proto se nestanou obecně inteligentními, ale jsou ve skutečnosti (stále velmi užiteční) vyškolenými statistickými reagéry.
Lossfunk
Lossfunk19. 3. 22:14
🚨 Šokující: Frontier LLM dosahují 85-95 % na standardních programátorských testech. Dali jsme jim ekvivalentní úlohy v jazycích, které si nemohli zapamatovat. Ty se zhroutily na 0-11 %. Představujeme EsoLang-Bench. Přijat na workshopy Logického uvažování a ICBINB na ICLR 2026 🧵
Absolventi informatiky dostávají programátorské výzvy v jazycích, které ještě neviděli + s trochou syntaxe a jsou žádáni, aby dělali věci jako naprogramování Fibonacciho posloupnosti, aby dokázali, že to neopakují pořád A to lidi vyřadí, ale ne 90 %
65