Dacă încerci să înțelegi lumea, vei genera constant idei ciudate, confuze sau controversate. Dacă încerci să influențezi politica, vei schimba constant claritatea conceptuală pentru o atitudine memetică. Optimizarea pentru ambele nu va obține de obicei niciuna.

Impresia mea este că încercarea de a "automatiza cercetarea alinierii" înseamnă cam același lucru cu automatizarea cercetării capacităților. Cu excepția faptului că iei superinteligența mai în serios și, prin urmare, vei fi mult mai eficient.

Discursul meu de la atelierul post-AGI este probabil preferatul pe care l-am ținut vreodată. Este vorba despre înțelegerea tendințelor autodistructive ale grupurilor în termeni de angajamente legate de teoria jocurilor. Video și transcriere mai jos.