Галлюцинация нейросети – это когда модель уверенно выдаёт неправду. Придумывает факт, цифру, цитату, ссылку на несуществующую статью или судебное дело. Тон при этом такой же спокойный, как у правильного ответа.
У модели нет умысла. Она подбирает самое правдоподобное продолжение текста, и иногда правдоподобное расходится с правдой.
Я столкнулся с этим на своём проекте. ИИ-консультант на сайте моей компании назвал клиенту цену от 80 000 ₽. Такой цены не было нигде: ни на сайте, ни в базе бота. Ниже расскажу, почему так происходит, какие истории уже дошли до суда, как я закрыл эту дыру и как проверять ответы нейросети самому.
Что такое галлюцинации нейросети простыми словами
OpenAI определяет галлюцинации так: правдоподобные, но ложные утверждения, которые генерирует языковая модель.
Пример из их же статьи. Чат-бот спросили, как называется диссертация Адама Калаи, одного из авторов исследования. Бот уверенно выдал три разных названия. Все три неверные.
В работе бизнеса выдумки выглядят так:
- Цифры. Цены, налоговые ставки, сроки, проценты, которых нет в ваших документах.
- Ссылки. Адрес страницы, статьи закона или исследования, которых не существует.
- Факты. Биография человека, история компании, характеристики товара.
- Обещания. Бот на сайте говорит клиенту то, чего компания не делает.
Опасность в том, что ошибку не видно по форме. Ложный ответ звучит так же гладко, как верный.
Почему нейросеть выдумывает
Причин четыре, и все они следуют из того, как устроена языковая модель. Если коротко про устройство, оно есть в статье что такое LLM.
1. Модель предсказывает следующее слово. Точнее, следующий токен, кусочек слова (подробнее в статье токены в нейросети). Внутри нет базы фактов, которую можно открыть и проверить. Есть закономерности текста. OpenAI объясняет разницу так: орфография и скобки подчиняются правилам, и с ростом модели ошибки в них исчезают. День рождения конкретного человека из закономерностей не вывести, поэтому на редких фактах модель сочиняет.
2. Модель приучили отвечать. Главный тезис исследования OpenAI 2025 года: обучение и тесты поощряют угадывание. Как на экзамене с вариантами ответа. Угадал дату рождения – есть шанс 1 из 365 получить балл. Написал не знаю – гарантированный ноль. В рейтингах модель, которая угадывает, выглядит лучше осторожной.
Цифры из той же статьи на тесте SimpleQA:
| Модель | Отказалась отвечать | Ответила верно | Ошиблась |
|---|---|---|---|
| gpt-5-thinking-mini | 52% | 22% | 26% |
| OpenAI o4-mini | 1% | 24% | 75% |
Точность почти одинаковая. Старая модель почти никогда не говорит не знаю и поэтому ошибается в три четверти случаев.
3. Осечка внутреннего тормоза. Anthropic в марте 2025 года заглянула внутрь своей модели Claude. Оказалось, по умолчанию там включена схема, которая говорит: информации недостаточно. Когда модель узнаёт известное имя, эта схема гасится, и модель отвечает. Галлюцинация случается, когда имя кажется знакомым, а фактов о нём нет. Тормоз уже выключен, и модель достраивает правдоподобную биографию.
4. Знания устаревают. Модель учится на текстах до определённой даты. О новых законах, ценах и версиях продуктов она не знает. Ответ строится из того, что есть в контексте: ваш вопрос, переписка, приложенные документы (что такое контекст, есть в словаре ИИ). Чего там нет, модель берёт из памяти обучения, а эта память приблизительная.
Реальные случаи: юристы и чат-бот Air Canada
Выдуманные судебные решения. Дело Mata против Avianca, суд Южного округа Нью-Йорка. Юрист подал документ, в котором сослался на шесть судебных решений. Их сгенерировал ChatGPT, ни одного не существовало.
Самое показательное в деле: юрист спросил ChatGPT, реально ли одно из этих решений. Тот ответил, что дело существует и его можно найти в Westlaw и LexisNexis. 22 июня 2023 года судья назначил юристам штраф 5 000 долларов и обязал отправить письмо каждому судье, которого указали автором фальшивого решения.
Это не единичная история. В открытой базе исследователя Дамьена Шарлотена на 2 октября 2026 года 2 125 судебных решений, где суд разбирал выдуманное ИИ. Как юристу работать с нейросетью без таких рисков, я разбирал в статье нейросеть для юриста.
Чат-бот авиакомпании. В ноябре 2022 года у Джейка Моффатта умерла бабушка. Чат-бот на сайте Air Canada сказал ему: покупайте обычный билет, а скидку по тарифу для поездок в связи со смертью родственника можно запросить в течение 90 дней. Когда он запросил, сотрудники ответили, что задним числом такую скидку не дают.
В трибунале Британской Колумбии авиакомпания утверждала, что чат-бот – отдельное лицо и сам отвечает за свои слова. 14 февраля 2024 года трибунал назвал этот довод удивительным: чат-бот всего лишь часть сайта Air Canada, и за всю информацию на сайте отвечает компания. Моффатту присудили 812,02 канадского доллара: 650,88 разницы в цене, проценты и сбор.
Вывод для бизнеса простой. Если бот на вашем сайте что-то пообещал, клиент будет разговаривать с вами.
Как мой ИИ-консультант выдумал цену
Летом я собрал ИИ-консультанта для сайта своей компании по бухгалтерскому аутсорсингу. От решения до работы на живом сайте прошло 3 дня. База знаний – 159 страниц сайта, разрезанных на 1 610 фрагментов. Модель GPT OSS 120B работает в российском облаке Timeweb. Как он устроен целиком, рассказал в статье ИИ-консультант для сайта за 3 дня.
Перед запуском я провёл ночь, задавая боту неудобные вопросы, около 25 проверок. Три ошибки были серьёзными:
- Выдумал цену. На вопрос про услугу финансового директора ответил: от 80 000 ₽. В базе такой цены нет.
- Называл налоговые ставки. Для бухгалтерской компании это риск: ставка может оказаться неактуальной, а клиент примет её за консультацию.
- Обещал запись раньше времени. Писал, что записал клиента на звонок, хотя телефона тот ещё не оставил.
Заметьте: у бота была база. Он знал все реальные цены компании и всё равно сочинил ещё одну.
Первая мысль – дописать в инструкцию: не называй цен, которых нет в базе. Я дописал. Помогает, но не всегда: время от времени модель всё равно нарушает правило.
Поэтому всё, что касается денег, ставок и обещаний, у меня проверяют фильтры в коде. Ответ проходит проверку до того, как его увидит клиент. Нет цены в базе – клиент увидит фразу, что стоимость рассчитают на диагностике. Что бы модель ни придумала.
Главный урок: инструкция в промпте – это просьба к модели. Фильтр в коде – правило, которое она обойти не может.
Как бизнесу снизить риск галлюцинаций
Убрать галлюцинации полностью нельзя. Даже OpenAI пишет, что точность никогда не дойдёт до 100%: на часть вопросов ответа просто нет. Задача – сделать так, чтобы выдумка не дошла до клиента.
- База знаний. Модель отвечает по найденным фрагментам ваших документов или сайта. Этот подход называют RAG. Он снижает выдумки, но не обнуляет: в исследовании Стэнфорда 2024 года юридические ИИ-сервисы LexisNexis и Thomson Reuters с такой архитектурой ошибались в 17–33% случаев.
- Запрет отвечать вне базы. Anthropic советует прямо разрешить модели говорить не знаю и велеть пользоваться только переданными документами. Для бота на сайте это значит: нет ответа в базе – предложить оставить контакт.
- Фильтры в коде. Цены, сроки, ставки, обещания записи и скидок проверяет программа. Модели на этих темах доверять нельзя.
- Цитаты и источники. Просите подтверждать каждое утверждение цитатой из документа. Нет цитаты – утверждение убрать.
- Проверка человеком. Всё, что уходит в суд, налоговую, договор или рассылку клиентам, читает сотрудник.
- Повторный прогон. Задайте тот же вопрос несколько раз. Если ответы расходятся, это сигнал выдумки. Такой приём тоже есть в рекомендациях Anthropic.
- Температура. Этот параметр отвечает за разброс ответов, для фактов его ставят ближе к нулю. Выдумки он не лечит. К тому же у новых моделей его уже не настроить: Anthropic не даёт менять температуру у моделей новее Claude Opus 4.6, у рассуждающих моделей OpenAI она работает только с выключенными рассуждениями или не принимается вовсе.
Чек-лист: как проверить ответ нейросети
- Каждую цифру, дату, цену и ставку сверьте с первоисточником: сайтом ведомства, договором, прайсом.
- Откройте каждую ссылку. Проверьте, что страница существует и на ней написано то же самое.
- Номер закона, статьи или судебного дела найдите в официальной правовой базе.
- Не просите модель подтвердить саму себя. В деле Mata ChatGPT заверил юриста, что выдуманное решение существует.
- Задайте вопрос в новом чате или другой модели и сравните ответы.
- Уточните, есть ли у модели доступ к поиску. Вопрос про события 2026 года без поиска – повод не доверять.
- Насторожитесь, если ответ слишком конкретный на редкую тему: точная дата, полное имя, номер документа.
- Решите заранее, кто отвечает за ответ. Если он уходит клиенту, последним его читает человек.
5 промптов, которые снижают выдумки
Промпты собраны по рекомендациям Anthropic. Работают в любой модели. Подробнее о том, как писать инструкции, рассказывал в статье как писать промпты.
Промпт 1: Если не уверен или в данных нет ответа, напиши: не знаю. Не додумывай цифры, даты, имена и ссылки.
Промпт 2: Отвечай только по документу ниже. Свои общие знания не используй. Если ответа в документе нет, так и напиши. [документ]
Промпт 3: Сначала выпиши дословные цитаты из документа, которые относятся к вопросу, и пронумеруй их. Потом ответь, ссылаясь на номера цитат. Если подходящих цитат нет, напиши: цитат не найдено.
Промпт 4: Проверь каждое утверждение в своём ответе. Для каждого найди подтверждающую цитату из документа. Если цитаты нет, удали утверждение и поставь на его месте пустые скобки [].
Промпт 5: Для каждого факта в ответе укажи источник и уверенность: высокая, средняя или низкая. Отдельным списком перечисли всё, что мне нужно проверить вручную.
Коротко
Галлюцинации – свойство языковых моделей, и в 2026 году они никуда не делись. Модель угадывает там, где не знает, и делает это уверенно. Для личных задач хватает чек-листа выше. Для бота, который говорит с клиентами от имени компании, нужны база знаний, запрет отвечать вне её и фильтры в коде.
Так устроен консультант, которого я внедряю в компаниях: что входит и сколько стоит, описал на странице ИИ-консультант для сайта.
Источники
- Why language models hallucinate, OpenAI, сентябрь 2025
- Kalai и др. Why Language Models Hallucinate, arXiv
- Tracing the thoughts of a large language model, Anthropic, март 2025
- Reduce hallucinations, документация Anthropic
- Messages API: параметр temperature, документация Anthropic
- Mata v. Avianca: решение о санкциях от 22.06.2023, CourtListener
- AI Hallucination Cases, база Дамьена Шарлотена
- Решение по делу Moffatt v. Air Canada, Daily Hive
- Moffatt v. Air Canada: разбор, McCarthy Tétrault
- Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, Стэнфорд, 2024
- Temperature в моделях GPT-5, Braintrust
- Airline Has to Honor a Refund Policy Its Chatbot Fabricated, Manatt
