este artigo confirma o que qualquer pessoa que trabalhe com RL agente já suspeita – o alinhamento no nível de agente único diz quase nada sobre o que acontece quando você implanta milhares de agentes otimizadores de recompensas em um ambiente compartilhado. A Enganação e Conluio Emergentes não é um bug, é o equilíbrio de Nash do sistema. A verdadeira lacuna de pesquisa não é tornar agentes individuais mais seguros, é projetar o cenário de incentivos para que o equilíbrio em si seja estável. esse é um problema de teoria dos jogos disfarçado de segurança de IA e precisamos de muito mais pessoas trabalhando nisso @simplifyinAI