Почему идеальная LLM не делает агентные системы предсказуемыми

Даже если LLM перестанет галлюцинировать и начнёт отвечать детерминированно, многоагентные системы могут оставаться непредсказуемыми. Причина — в архитектуре взаимодействия агентов, а не только в поведении отдельной модели.

В материале разбирается проблема непредсказуемости многоагентных систем, построенных на основе LLM. Автор отмечает, что даже идеальная модель без галлюцинаций и с детерминированными ответами не гарантирует ожидаемое поведение всей цепочки агентов. Ключевой вывод в том, что источник нестабильности может быть не в самой модели, а в способе, которым агенты взаимодействуют друг с другом. При этом развитие подходов вроде RAG, fine-tuning и верификации помогло повысить предсказуемость отдельных LLM, но это не снимает риски на уровне всей системы.

Источники 1

Почему идеальная LLM не делает агентные системы предсказуемыми Habr AI

Почему идеальная LLM всё равно не сделает агентные системы предсказуемыми

Представьте LLM, которая никогда не галлюцинирует, никогда не ошибается. На один и тот же запрос всегда выдаёт один и тот же ответ — символ в символ. Можно ли тогда наконец относиться к LLM‑системе как к обычному коду — как к фиксированному, предсказуемому алгоритму?

Скорее нет, чем да.

И дело тут не в качестве модели. Предсказуемость отдельного компонента не гарантирует предсказуемость системы, собранной из таких компонентов. Даже если завтра появится LLM с нулевым уровнем галлюцинаций, многоагентный пайплайн, построенный на её основе, всё равно может вести себя непредсказуемо. Просто источник непредсказуемости смещается — с вероятностной природы самой модели на архитектуру взаимодействия агентов. И я хочу вам это доказать на простом примере.

По моим наблюдениям последние года два‑три вендоры потратили на то, чтобы сделать LLM предсказуемее. Тут вам и RAG и fine‑tuning, верификация выходов, низкая температура, жёсткие промпт‑шаблоны. Более того, в узких доменах это работает — уровень галлюцинаций становится совсем незначимым.

Именно это позволило перейти от единичных запросов к многоагентным архитектурам. Вместо одной универсальной модели, мега чат‑бота теперь у нас цепочка специализированных агентов. Каждый из них решает свою маленькую подзадачу и передаёт результат дальше — все в лучших традициях дедушки Форда.

Логика на первый взгляд простая: если каждое звено надёжно, надёжна и вся цепочка. Но, к сожалению, это не всегда так. И на простейшем демонстрационном проете я попытаюсь показать суть явления. Читать далее

#llm #многоагентные_системы #хаос #галлюцинации #ai_агенты | @habr_ai