🚨 BREAKING: Stanford pudotti juuri epämukavimman artikkelin LLM-päättelystä. Se osoittaa järjestelmällisen purkamisen siitä, miksi LLM:t epäonnistuvat jatkuvasti, vaikka tulostaulut sanovat niiden olevan täydellisiä. He jakavat päättelyn kahteen ryhmään: ei-ruumiillistuneeseen (matematiikka, logiikka, maalaisjärki) ja ruumiillisuuteen (fyysinen maailma).. Ja samat viat toistuvat kaikkialla. Yksi huolestuttavimmista löydöksistä on, kuinka usein mallit tuottavat epäuskollista päättelyä.. Mallit antavat oikean lopullisen vastauksen, mutta heidän selityksensä on täysin keksitty tai loogisesti väärä. Se kirjaimellisesti opettaa meidät luottamaan tekaistuun päätöksentekoon.. Ne kärsivät myös perustavanlaatuisista arkkitehtonisista epäonnistumisista (romahtaminen valon logiikan alla) ja kestävyyden epäonnistumisista (yhden sanan muuttaminen kehotteessasi kääntää koko vastauksen). Ja ruumiillistunut päättely? Vielä pahempaa. LLM:illä ei ole lainkaan fyysistä maadoitusta, joten ne epäonnistuvat perusfysiikassa ennustettavasti. Johtopäätös: LLM:t perustelevat juuri sen verran, että kuulostavat vakuuttavilta, mutta eivät tarpeeksi ollakseen luotettavia. Otamme käyttöön järjestelmiä, jotka läpäisevät vertailuarvot mutta epäonnistuvat hiljaisesti tuotannossa.