Мой простой взгляд на агентские вещи заключается в том, что вся производительность на основе моделей зависит от контекста, поэтому вам нужно предоставить доступ ко всем вашим данным, к самым чувствительным из чувствительных данных, больше, чем вы когда-либо думали, что это нормально делиться, и это будет означать, что вы захотите размещать это самостоятельно в больших масштабах

вы начнете с самостоятельного хостинга виртуальной машины / инфраструктуры секретов, чтобы выполнять более крупные задачи, в конечном итоге вы перейдете на «голое» железо, а затем, когда начнете чувствовать себя некомфортно из-за больших моделей, вы купите кластер GPU и самостоятельно разместите тонко настроенные модели, которые подходят для 90% ваших задач

Когда всё пойдёт наперекосяк, вам понадобятся журналы аудита, оповещения, ограничение радиуса поражения и всё такое.

итак, это не проблема "ai engineering", это очень-очень традиционная проблема инфраструктуры предприятия / нулевого доверия!