Ce résultat de BullshitBench explique en grande partie l'intuition répandue selon laquelle Claude est le meilleur outil quotidien, malgré les benchmarks impressionnants de Google et d'OAI. Contrastez BullshitBench avec les benchmarks de résolution de problèmes. Tous ces derniers supposent des solutions correctes. Mais dans la vie réelle, les problèmes sont mal définis et il est souvent difficile de savoir quelles questions valent la peine d'être posées ou même ont des réponses. Vous avez besoin d'un modèle qui peut vous éloigner du mauvais chemin — c'est-à-dire, appeler les conneries.