🚨 СРОЧНО: исследователи внедрили одного плохого актера в группу агентов LLM. вся сеть не смогла достичь консенсуса. это проблема византийских генералов. кошмар распределенных систем, которому уже 40 лет. и теперь это также проблема вашего агентского пайплайна. в полностью безобидных условиях, без плохих актеров, агенты LLM все равно не могут прийти к общим ценностям. и ситуация ухудшается, когда вы добавляете больше агентов в группу. режим сбоя показывает. это не тонкая коррупция ценностей. это не один агент, который подсовывает неправильный ответ. модели просто... застывают. они истекают временем. они ходят по кругу. разговор никогда не заканчивается согласием. это важно, потому что весь хайп вокруг многоагентного ИИ предполагает, что координация работает. автономные рои агентов, совместное решение проблем, децентрализованные ИИ-системы. все это предполагает, что если вы поместите несколько LLM в одну комнату и дадите им протокол, они придут к общему решению. Византийский консенсус — одна из старейших и наиболее изученных проблем в распределенных системах. классические алгоритмы решили ее десятилетия назад с строгими математическими гарантиями. вопрос заключался в том, могут ли агенты LLM достичь того же через общение на естественном языке вместо формальных протоколов. ответ, по крайней мере на данный момент, — нет. и причина этого стоит того, чтобы с ней поразмышлять. традиционные алгоритмы консенсуса работают, потому что каждый узел следует идентичному детерминированному протоколу. LLM являются стохастическими. один и тот же запрос дает разные результаты в разных запусках. согласие, которое держится на третьем раунде, может раствориться на четвертом, когда агенты пересматривают свои рассуждения после того, как увидят ответы сверстников. это фундаментальное несоответствие: протоколы консенсуса предполагают детерминированные конечные автоматы. LLM — это противоположность этому. это также означает, что "больше агентов = лучшие ответы" имеет потолок, который никто не измеряет. при определенном размере группы накладные расходы на координацию и сбои в сходимости перевешивают любые преимущества от разнообразных точек зрения. практическое следствие неудобно для всех, кто строит многоагентные системы для задач с высокими ставками. надежное согласие не является возникающим свойством простого общения умных агентов. его нужно явно проектировать, с формальными гарантиями, а не надеяться на его существование. мы внедряем многоагентные системы в финансы, здравоохранение, автономную инфраструктуру. и проблема консенсуса, самый базовый примитив координации, еще не решена.