KotПо фидбеку на прошлую статью поняла, что читают по верхам, и видится что я написала очередную статью про то, что LLM галлюцинируют.
Ну да. Но статья не про факт, а про причины галлюцинаций, которые не столь очевидны. И даёт практический ход, как их избежать.
Эмоции пользователя — триггер галлюцинаций. Человек в стрессе — и модель начинает врать больше. Системно, не случайно. Sycophancy (подхалимство) усиливается под давлением. Именно поэтому самые дорогие факапы случаются на эмоциональных запросах. И взлом с использованием социнженерии чаще идет именно через эмоции. ** Смена принципала. **Когда модель отвечает пользователю — она оптимизирует под него. Когда размечает ситуацию для системы — подхалимничать не перед кем. Код не оценивает обаяние.
Отсюда паттерн: один вызов LLM классифицирует запрос, код решает что можно говорить, второй вызов озвучивает с размеченными полями данных. Пустота, которую надо заполнять, не возникает. Промптом или RAG это не решить.
* В принципе статью можно уже не читать) Основная идея буквально в 10 строках.