Объясняю · · 3 мин чтения

Почему ИИ иногда уверенно врёт — и как это лечат

Вы просите чат-бота посоветовать книгу об истории родного города. Он мгновенно называет автора, издательство и год, а заодно пересказывает третью главу. Звучит убедительно. Одна беда: такой книги не существует.

У явления есть название — «галлюцинации». Нейросеть при этом не лжёт в человеческом смысле: у неё нет цели вас обмануть. Она просто не отличает «я это знаю» от «это похоже на правду».

Откуда берётся выдумка

Языковая модель — это очень начитанный угадыватель следующего слова. Её учили на огромном количестве текстов, и она усвоила, как обычно выглядят ответы: у книги есть автор, у закона — номер, у цитаты — источник.

Когда точного знания нет, модель не останавливается. Она достраивает ответ по привычному образцу. Получается гладко, грамотно — и неверно.

Представьте студента на экзамене, который билет не выучил, но говорить умеет. Он не молчит, он уверенно рассуждает. Иногда попадает, иногда нет. А по интонации одно от другого не отличить.

Хуже всего дело обстоит с тем, чего модель видеть не могла: ваш договор, внутренние правила компании, вчерашние новости. В её «памяти» этого нет вообще, но ответить она всё равно попробует.

Библиотекарь вместо всезнайки

Самый рабочий способ лечения называется RAG (от английского Retrieval-Augmented Generation) — «ответ с предварительным поиском». Идея простая: не заставлять модель вспоминать, а дать ей прочитать.

Сравните двух людей. Первый — всезнайка: отвечает на всё по памяти и никогда не говорит «не помню». Второй — библиотекарь. Услышав вопрос, он идёт к полкам, достаёт три подходящие книги, открывает нужные страницы и только потом отвечает. Своими словами, но по прочитанному.

RAG превращает нейросеть из первого во второго. Сначала программа ищет в документах фрагменты, которые относятся к вопросу. Потом кладёт их перед моделью вместе с вопросом и просит: отвечай только по этим страницам.

«Покажи, где это написано»

Второе лекарство — ссылки на источник. Хороший ассистент не просто отвечает, а показывает: «это из инструкции, раздел 4». Как сноска в книге.

Для читателя это меняет всё. Ответу больше не нужно верить на слово: его можно проверить за десять секунд. А если ссылка ведёт не туда, ошибка видна сразу.

Третье лекарство — право сказать «не знаю». Если на полках нет нужной книги, честный библиотекарь так и говорит. Ассистента настраивают так же: не нашёл в документах — не выдумывай.

Я сам собираю таких ассистентов для компаний: они отвечают по документам заказчика и показывают, откуда взята каждая фраза.

Вылечили насовсем?

Нет. Библиотекарь тоже может достать не ту книгу или неверно понять страницу. Поэтому такие системы проверяют на списке вопросов, ответы на которые известны заранее, и считают, как часто ассистент ошибается.

Ошибок становится заметно меньше. Но ноль честно не обещает никто.

Что запомнить

ИИ выдумывает не из вредности, а потому что умеет продолжать текст лучше, чем сомневаться. К любому его ответу стоит задать три вопроса: откуда это? могу ли я открыть источник? умеет ли он сказать «не знаю»?

А всё, что касается здоровья, денег и документов, проверяйте по первоисточнику — как проверили бы слова уверенного незнакомца.

Автор — Геворг Оганнисян, ML-инженер из Еревана. Пишу об ИИ так, чтобы было понятно без словаря. Вопросы и темы — в Telegram: @hovhannisyan77
← Все статьи