Галлюцинации ИИ и ошибки нейросетей — как найти выдумку и проверить ответ

Люди иногда выдумывают факты или додумывают за других, поэтому приходится всё перепроверять — так теперь ещё и нейросети повадились смешивать факты и ссылаться на несуществующие источники. Конечно, мы понимаем, что это без хитрого умысла и злости, но сам факт удручает.

Нейросети отвечают уверенно, они называют книгу и даже дают ссылку. Вы бы никогда не подумали, что это может быть ложь. Но когда начинаете проверять ответ, то оказывается, такой книги нет, а ссылка не работает. Вот она — типичная галлюцинация ИИ.

В этой статье мы разберём причины ошибок нейросетей, затем проверим ответ по шагам и составим запрос, который снизит риск галлюцинации.

Галлюцинацией нейросети называют выдумку, которую ИИ выдаёт за настоящий факт. Ответ не вызывает подозрений, как правило, в нём нет странных слов или явной бессмыслицы. Наоборот, ИИ добавляет точные даты, имена и цифры.

Представьте подсказки на клавиатуре телефона. Вы пишете начало сообщения, а телефон предлагает следующее слово. Нейросеть работает намного сложнее, но общий принцип похож. Она тоже подбирает наиболее подходящее продолжение. Иногда такое продолжение совпадает с правдой, а иногда ИИ соединяет знакомые слова и получает выдуманный факт.

Чтобы проверить нейросеть, мы придумали отчёт «Четыре дня для роста — 2024», название института и цифру о росте продаж на 18 процентов. Затем попросили ChatGPT найти авторов, методику и ссылку. Такого отчёта не существует, поэтому правильный ответ не должен содержать новых подробностей.

Ошибки появляются по нескольким причинам:

Некоторые сведения редко встречались в материалах для обучения. Другие появились уже после обучения нейросети. В такой ситуации ИИ иногда заполняет пробел догадкой.

Запрос «Расскажи всё о налогах» не задаёт конкретную страну, год и ситуацию. Нейросеть сама добавляет недостающие условия. Вместе с ними в ответ попадают ошибки.

Допустим, вы просите рассчитать стоимость билетов, но не указываете даты и город. ИИ выбирает примерные значения. Если он не пометит их как догадку, то ответ получится выдуманным.

В длинном тексте больше имён, дат, цифр и других фактов. Каждый новый факт приносит ещё одно место для ошибки.

Исследователи OpenAI заметили простую проблему. Во многих тестах ИИ получает балл только за правильный ответ. Фраза «я не знаю» приносит ноль баллов. Такая система подталкивает нейросеть к догадкам.

Нейросети ищут информацию в интернете и иногда выбирают плохой сайт, неправильно понимает текст или путает несколько источников. Поэтому даже современная нейросеть ошибается. Более сильная модель снижает риск, но она, как правило, платная.

Галлюцинация часто маскируется лучше правды. ИИ добавляет имя автора, год, процент и ссылку. Конкретика убеждает, поэтому проверьте её первой.

Насторожитесь при нескольких признаках.

• Ответ содержит точную цифру без источника или метода расчёта.
• Ссылка ведёт на главную страницу, ошибку 404 или материал с другим содержанием.
• Статья, книга или исследование не находятся по названию.
• Указанной цитаты нет в исходном тексте.
• После повторного запроса ИИ меняет дату, фамилию или вывод.
• В ответе появились условия, которых не было в вашем запросе.
• Нейросеть обещает точность там, где правила часто меняются.

Один такой признак ещё не доказывает ошибку. Не просите ту же нейросеть просто подумать ещё раз, скорее всего, она повторит прежнюю выдумку другими словами.

Возьмём ответ про отчёт «Четыре дня для роста — 2024». ИИ признал, что не нашёл сам отчёт. Но затем повторил цифру о росте продаж на 18 процентов и предположил, чему посвятили исследование. Проверим этот ответ по шагам.

Шаг 1. Выписываем факты

В ответе есть три утверждения. Отчёт существует, его выпустил Институт цифровой торговли, а продажи российских интернет-магазинов выросли на 18 процентов. Каждый факт требует отдельного подтверждения.

Шаг 2. Ищем отчёт по точному названию

Вводим название «Четыре дня для роста — 2024» в кавычках. Поиск не находит страницу отчёта или файл с исследованием. Значит, мы пока не подтвердили его существование.

Шаг 3. Проверяем организацию и цифру

Ищем сайт Института цифровой торговли и публикацию о росте продаж на 18 процентов. Официального отчёта с такими данными нет. Другие материалы о рынке не подтверждают именно это название и эту цифру.

Шаг 4. Проверяем авторов и методику

Без самого отчёта мы не узнаем имена авторов, период исследования и способ расчёта. Любые подробности здесь превратятся в догадку.

Нейросеть может предупредить, что не нашла источник, а затем всё равно продолжить рассуждение на основе выдумки. Осторожная формулировка не превращает неподтверждённый факт в правду.

Короткий чек-лист для проверки

• Разделите ответ на отдельные факты
• Выберите самые важные факты
• Попросите ссылки
• Откройте каждый источник
• Найдите подтверждение внутри текста
• Проверьте дату
• Пересчитайте цифры
• Удалите всё, что не удалось подтвердить

Один запрос не уберёт все галлюцинации. Но точная задача уменьшит число догадок.

Приложите документ или ссылку и попросите отвечать только по ним. Так нейросеть получит меньше свободы для догадок.

Попросите нейросеть прямо писать о нехватке информации. Тогда она реже заполнит пробел выдумкой.

Сначала попросите составить план. Затем передайте источники. После этого закажите текст. В конце отдельно проверьте факты.

Так вы сразу увидите, какие факты получили подтверждение, а какие остались без источника.

Теперь устроим учебный опыт. Он покажет, как уверенно звучит выдумка.

Возьмём роман «Семь остановок до весны» Киры Ладожиной. Такой книги и такого автора конечно же нет, мы специально придумали их для примера.

Посмотрите какая получилась изящная галлюцинация, и даже не сказать, что это ложь.

Нейросети могут ошибаться не только в книгах, их выдумки могут встретиться и в обычных задачах. Например:

Несуществующая цитата. ИИ приписывает известному человеку фразу, которую тот никогда не говорил.

Выдуманная статья закона. Нейросеть указывает номер статьи и объясняет её содержание. При проверке оказывается, что такой статьи нет или в ней написано другое.

Ложная ссылка. ИИ даёт адрес сайта, который выглядит правдоподобно. Ссылка ведёт на ошибку или на страницу без нужной информации.

Несуществующая функция товара. Нейросеть пишет, что у ноутбука есть сенсорный экран. Производитель такой функции не указывает.

Выдуманный факт из биографии. ИИ сообщает, что писатель получил премию или учился в известном университете. В настоящей биографии этого нет.

Лишние выводы из документа. Пользователь загружает отчёт, а нейросеть добавляет цифры и выводы, которых нет в файле.

Вымышленный отзыв специалиста. ИИ придумывает имя эксперта и его мнение о книге, фильме или исследовании.

Смешение двух людей. Нейросеть берёт должность одного человека, достижения другого и соединяет их в одной биографии.

Все эти примеры объединяет одно. Когда нейросети не хватает информации, она иногда заполняет пробел правдоподобными деталями. Поэтому точная дата, известное имя или красивая ссылка ещё не подтверждают ответ.

Если факт влияет на работу, деньги, здоровье или важное решение, найдите первоисточник. Такая привычка защитит от большинства ошибок ИИ.