🚨 BREAKING: Stanford baru saja menjatuhkan makalah yang paling tidak nyaman tentang penalaran LLM. Ini menunjukkan penghancuran sistematis mengapa LLM terus gagal, bahkan ketika papan peringkat mengatakan mereka sempurna. Mereka membagi penalaran menjadi dua ember: non-embodied (matematika, logika, akal sehat) dan embodied (dunia fisik). dan kegagalan yang sama persis muncul di mana-mana. Salah satu temuan yang paling mengganggu adalah seberapa sering model menghasilkan penalaran yang tidak setia. Model akan memberi Anda jawaban akhir yang benar, tetapi penjelasan mereka benar-benar dibuat-buat atau salah secara logis. Ini benar-benar melatih kita untuk mempercayai proses keputusan palsu. Mereka juga menderita kegagalan arsitektur mendasar (runtuh di bawah logika cahaya) dan kegagalan ketahanan (mengubah satu kata dalam prompt Anda membalik seluruh jawaban). Dan penalaran yang diwujudkan? Lebih buruk lagi. LLM tidak memiliki pentanahan fisik, sehingga mereka gagal dalam fisika dasar secara dapat diprediksi. Kesimpulannya: Alasan LLM cukup untuk terdengar meyakinkan, tetapi tidak cukup untuk dapat diandalkan. Kami menerapkan sistem yang lulus tolok ukur tetapi gagal diam-diam dalam produksi.