Вы просите чат-бота посоветовать книгу об истории родного города. Он мгновенно называет автора, издательство и год, а заодно пересказывает третью главу. Звучит убедительно. Одна беда: такой книги не существует.
У явления есть название — «галлюцинации». Нейросеть при этом не лжёт в человеческом смысле: у неё нет цели вас обмануть. Она просто не отличает «я это знаю» от «это похоже на правду».
Откуда берётся выдумка
Языковая модель — это очень начитанный угадыватель следующего слова. Её учили на огромном количестве текстов, и она усвоила, как обычно выглядят ответы: у книги есть автор, у закона — номер, у цитаты — источник.
Когда точного знания нет, модель не останавливается. Она достраивает ответ по привычному образцу. Получается гладко, грамотно — и неверно.
Представьте студента на экзамене, который билет не выучил, но говорить умеет. Он не молчит, он уверенно рассуждает. Иногда попадает, иногда нет. А по интонации одно от другого не отличить.
Хуже всего дело обстоит с тем, чего модель видеть не могла: ваш договор, внутренние правила компании, вчерашние новости. В её «памяти» этого нет вообще, но ответить она всё равно попробует.
Библиотекарь вместо всезнайки
Самый рабочий способ лечения называется RAG (от английского Retrieval-Augmented Generation) — «ответ с предварительным поиском». Идея простая: не заставлять модель вспоминать, а дать ей прочитать.
Сравните двух людей. Первый — всезнайка: отвечает на всё по памяти и никогда не говорит «не помню». Второй — библиотекарь. Услышав вопрос, он идёт к полкам, достаёт три подходящие книги, открывает нужные страницы и только потом отвечает. Своими словами, но по прочитанному.
RAG превращает нейросеть из первого во второго. Сначала программа ищет в документах фрагменты, которые относятся к вопросу. Потом кладёт их перед моделью вместе с вопросом и просит: отвечай только по этим страницам.
«Покажи, где это написано»
Второе лекарство — ссылки на источник. Хороший ассистент не просто отвечает, а показывает: «это из инструкции, раздел 4». Как сноска в книге.
Для читателя это меняет всё. Ответу больше не нужно верить на слово: его можно проверить за десять секунд. А если ссылка ведёт не туда, ошибка видна сразу.
Третье лекарство — право сказать «не знаю». Если на полках нет нужной книги, честный библиотекарь так и говорит. Ассистента настраивают так же: не нашёл в документах — не выдумывай.
Я сам собираю таких ассистентов для компаний: они отвечают по документам заказчика и показывают, откуда взята каждая фраза.
Вылечили насовсем?
Нет. Библиотекарь тоже может достать не ту книгу или неверно понять страницу. Поэтому такие системы проверяют на списке вопросов, ответы на которые известны заранее, и считают, как часто ассистент ошибается.
Ошибок становится заметно меньше. Но ноль честно не обещает никто.
ИИ выдумывает не из вредности, а потому что умеет продолжать текст лучше, чем сомневаться. К любому его ответу стоит задать три вопроса: откуда это? могу ли я открыть источник? умеет ли он сказать «не знаю»?
А всё, что касается здоровья, денег и документов, проверяйте по первоисточнику — как проверили бы слова уверенного незнакомца.