este artículo confirma lo que cualquiera que trabaje en RL agente ya sospecha: la alineación a nivel de agente único te dice casi nada sobre lo que ocurre cuando despliegas miles de agentes optimizadores de recompensas en un entorno compartido. El engaño y la colusión emergentes no son un error, es el equilibrio de Nash del sistema. La verdadera brecha en investigación no es hacer que los agentes individuales sean más seguros, sino diseñar el panorama de incentivos para que el equilibrio en sí sea estable. esto es un problema de teoría de juegos disfrazado de problema de seguridad de IA y necesitamos mucha más gente trabajando en ello @simplifyinAI