Галлюцинации LLM

Галлюцинации языковых моделей (англ. hallucinations) — ответы LLM, которые звучат уверенно и правдоподобно, но содержат неверные или выдуманные сведения: несуществующие статьи и законы, ошибочные даты, вымышленные функции библиотек, искажённое содержание переданного документа. Термин условный — модель не «видит» несуществующее, а порождает статистически правдоподобный текст; некоторые исследователи предпочитают слово «конфабуляция». Галлюцинации — главная причина, по которой ответы моделей требуют проверки в ответственных применениях.^[1]

Виды

• Фактические — противоречат реальному миру: неверная столица, выдуманная биография, несуществующий судебный прецедент.
• По отношению к контексту (нарушение faithfulness) — модель искажает или дополняет документ, который ей передали: в пересказе появляются цифры, которых не было в источнике. Для RAG-систем это основная проблема.
• Выдуманные ссылки — правдоподобные, но несуществующие URL, DOI, цитаты.
• В коде — вызовы несуществующих функций и параметров, импорт несуществующих пакетов. Последнее стало вектором атаки: злоумышленники регистрируют в реестрах пакеты с часто «галлюцинируемыми» именами (slopsquatting).^[6]
• Логические — неверные шаги рассуждения при верных исходных данных.

Почему возникают

1. Цель обучения. Модель предобучается предсказывать следующий токен; у неё нет встроенного механизма отличить «знаю» от «звучит похоже». Редкие факты, встречавшиеся в обучающих данных один-два раза, воспроизводятся особенно ненадёжно.
2. Поощрение угадывания. Бенчмарки и обучение по оценкам обычно дают ноль баллов и за неверный ответ, и за «не знаю» — модели выгоднее угадывать, как студенту на тесте без штрафа за ошибку. Исследователи OpenAI в 2025 году показали, что галлюцинации — статистически ожидаемое следствие такой постановки, и предложили менять системы оценки.^[2]
3. Устаревшие и неполные знания. У модели есть дата среза знаний; о более поздних событиях она может «досочинить».
4. Давление промпта. Вопрос с ложной предпосылкой («Почему Эйнштейн получил вторую Нобелевскую премию?») подталкивает к выдуманному ответу. Модели также склонны повторять распространённые заблуждения — это измеряет бенчмарк TruthfulQA.^[3]
5. Длинный контекст. Факты в середине большого контекстного окна извлекаются хуже.

Как снижать

Опора на источники

• RAG — подставлять в контекст найденные документы и требовать отвечать только по ним.^[4] Качество зависит от поиска: если нужного фрагмента нет, модель всё равно может ответить «из головы» (см. Чанкинг документов).
• Цитирование — просить указывать, из какого фрагмента взято каждое утверждение; утверждения без цитаты легко отфильтровать или проверить.
• Инструменты — для расчётов, дат и актуальных данных давать модели калькулятор, поиск, базу данных (см. Tool use / function calling).

Промпт и формат

• Явно разрешить ответ «не знаю» или «в документе этого нет».^[5]
• Просить сначала выписать дословные цитаты из документа, затем отвечать на их основе.
• В структурированном выводе предусматривать null для отсутствующих полей.
• Снижать температуру для фактологических задач.

Проверка

• Самопроверка — повторная генерация нескольких ответов: расхождение между ними сигнализирует о неуверенности.
• Модель-проверяющий — отдельный вызов проверяет, подтверждается ли каждое утверждение источником.
• Автоматические проверки — существование ссылок, пакетов и функций, компиляция и тесты для кода.
• Измерение — набор вопросов с известными ответами и метрики доли галлюцинаций, см. Оценка LLM (evals).

Можно ли устранить полностью

Нет: в вероятностной генерации всегда остаётся ненулевая доля ошибок. Новые модели галлюцинируют заметно реже, особенно в режиме рассуждений и с поиском, но в медицине, праве и финансах ответы по-прежнему нужно проверять. Хорошая документация, доступная модели в чистом виде (Документация для ИИ: как подготовить), — один из самых дешёвых способов сократить выдумки о конкретном продукте или API.

См. также

• RAG (генерация с дополнением поиском)
• Оценка LLM (evals)
• Промпт-инжиниринг
• Безопасность LLM: prompt injection
• Документация для ИИ: как подготовить

Источники

1. Ji et al. — Survey of Hallucination in Natural Language Generation (2022)
2. Kalai et al. — Why Language Models Hallucinate (OpenAI, 2025)
3. Lin et al. — TruthfulQA: Measuring How Models Mimic Human Falsehoods (2021)
4. Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020)
5. Anthropic — Reduce hallucinations
6. Spracklen et al. — We Have a Package for You! Package Hallucinations by Code LLMs (2024)