Не верь, перепроверь. 4 сценария, в которых ИИ вас с вероятностью обманет
© «Теперь вы знаете» / создано при помощи нейросети
Как работает ИИ — и почему он дает сбои
Вопрос достоверности данных ИИ настолько глубок и не решен, что вокруг него выросла отдельная глобальная индустрия безопасности ИИ (AI Safety). Лучшие умы мира бьются над этим, в компаниях создаются огромные подразделения, которые занимаются безопасностью и факт-чекингом, а десятки компаний-стартапов, которые занимаются не обучением моделей, а только созданием фильтров и детекторов лжи уже стали единорогами (достигли оценки больше миллиарда долларов).
Но ни одна серьезная компания сегодня не внедряет ИИ в критически важные процессы без финальной проверки экспертом человеком.
Чтобы понять, почему нейросети ошибаются, нужно избавиться от заблуждения, что у них есть разум. Даже «искусственным» интеллектом там пока не пахнет.
Любая большая языковая модель — это продвинутый вариант обычного текстового Т9. Она не понимает смысла заданных параметров и не умеет осознанно анализировать информацию, а только рассчитывает математическую вероятность того, какое слово должно идти следующим на основе множества изученных текстов.
Именно эта архитектура и ведет к сбоям: стремясь выдать грамматически идеальный и связный ответ, порой ИИ жертвует его достоверностью, если в его базе не хватает точных данных.
Главная ловушка в том, что модель ошибается с той же уверенностью, с какой говорит правду. Модель не «знает» и не «думает» — она предсказывает наиболее вероятное следующее слово или несколько слов. Если в ее обучающих данных чего-то не было или было недостаточно — она не скажет «я не знаю», а достроит ответ из того, что статистически похоже на правду.
Модель может выдать идеально структурированный ответ, в котором неправильно ровно одно утверждение — и именно оно окажется ключевым. У модели нет сомнений и саморефлексии — она предлагает варианты, а не утверждает истину.
В результате мы сталкиваемся с типовыми искажениями ИИ — так называемыми галлюцинациями — среди которых: вымышленные факты, ошибки в расчетах, излишняя адаптация под гипотезы пользователя и использование устаревшего контекста. Разберем каждый сценарий подробнее.
Сценарий № 1. Выдуманные факты
Именно этот тип сбоев — один из наиболее частых в работе ИИ-моделей. Порой нейросеть комбинирует слова и предложения так, чтобы они выглядели наиболее убедительно, даже если для этого приходится использовать недостоверные факты или выдуманную информацию.
На практике это выглядит как идеально структурированный текст, который на самом деле может отсылать к несуществующим законам, исследованиям, публикациям и цитатам известных спикеров.
Промпты вроде «не выдумывай» или «отвечай только если уверен» снижают частоту галлюцинаций, но не решают проблему. Модель не умеет надежно оценивать собственную уверенность — она может добавить «я не уверен» к правильному ответу и промолчать, когда ошибается.
Эксперт советует максимально исключить из диалога с моделью свои собственные позицию, точку зрения и догадки. Если в запросе читается ваша позиция, ответ, на который вы подсознательно или сознательно рассчитываете как на верный, модель с высокой вероятностью подстроится под него — даже если вы ошибаетесь.
Это происходит потому что один из этапов обучения таких моделей — обучение с подкреплением, где модель учат максимизировать частоту ответов, которые нравятся пользователям. Это особенно опасно, когда вы используете ИИ именно для проверки своих гипотез.
Увы, пока алгоритмы борются друг с другом, решая, какой ответ выдать — верный или тот, который понравится, единственный надежный способ борьбы с их галлюцинациями — перепроверка человеком. Так что если вы используете ИИ для подготовки материалов с фактурой — закладывайте время на верификацию, это обязательная часть процесса.
Сценарий № 2. Вычислительные ошибки
Еще одна типовая ошибка нейросетей — сбои в математических и экономических расчетах.
Как и словесные ответы, вычислительные галлюцинации выглядят максимально правдоподобно: ИИ выдает красиво структурированную таблицу, прописывает сложные формулы и формирует выводы на основе представленных вычислений.
Но при детальном изучении ответа может выясниться, что ИИ-модель перепутала математические знаки, потеряла ноль в делении или произвольно округлила показатели.
Важно понимать: то, что привычно называть нейросетями — это большая языковая модель, которая работает с текстом, а не с числами и арифметикой. Решение сложных математических задач только сейчас стало понемногу добавляться в способности модели, но это все еще касается скорее логики рассуждений, а не конкретных подсчетов.
На просторах интернета полно советов, как справиться с недостатками в расчетах. Например, один из популярных — «скажите модели решать задачу последовательно». Однако даже школьники знают: описание последовательности действий — это хороший вариант для решения любой задачи, но не гарантирующий отсутствие математических ошибок.
Надежнее использовать модели со встроенным выполнением кода. В этом режиме модель не «рассуждает» о математике, а пишет и запускает реальный код, что кратно снижает вероятность ошибки. Для критически важных расчетов — финансовых моделей, статистики, инженерных задач — я бы рекомендовал относиться к ИИ как к черновику, который обязательно проверяется в Excel или Python.
Сценарий № 3. Излишняя вежливость
Одна из базовых настроек нейросетей на этапе их обучения — максимальная полезность и тактичность в общении с пользователем. Это приводит к тому, что чат-бот не указывает на ошибку в промпте и продолжает коммуникацию, даже если получает запрос с заведомо ложной предпосылкой.
Это особенно опасно при использовании ИИ в качестве единственного источника информации. Так легко впасть в когнитивное искажение, ища везде только подтверждение собственной правоты.
Проблема «излишней вежливости» модели глубже, чем кажется. Это не баг — это результат обучения. Модель натренирована давать ответы, которые нравятся пользователю. На практике это означает, что если вы спрашиваете ИИ «хороший ли у меня бизнес-план?» — вы почти гарантированно получите похвалу с незначительными оговорками.
Немного пофиксить услужливость чат-бота могут специальные настройки (работают не всегда) и ролевые установки вроде «ты строгий критик». Однако даже так модель все равно склонна смягчать формулировки. Но ее можно перехитрить.
Более надежный подход — это просить модель привести аргументы против вашей позиции, а не оценивать ее. Не «хорош ли мой план?», а «назови пять вероятных причин, почему этот план может провалиться». Так вы используете склонность модели соглашаться с запросом себе на пользу.
Сценарий № 4. Временные ограничения
База знаний некоторых языковых моделей ограничена моментом окончания их обучения. Из-за этого алгоритмы могут не знать о событиях, которые произошли в мире вчера или месяц назад.
Яркий пример такой ловушки — запрос о правилах перемещения за границей. Пользователь может спросить ИИ, нужна ли виза в страну, которую он планирует посетить, и получить ответ со списком документов, актуальным на прошлый год, в то время как текущие условия уже изменились. Но без оговорок по поводу дат, ведь по внутренним часам модели это все еще «сегодня».
Чтобы не полагаться на внутреннюю память ИИ, можно воспользоваться относительно надежным способом обойти это ограничение — снабдить модель свежим контекстом самостоятельно. Например, у вас нет времени разбираться во всех документах и справках по визе, но можно скопировать актуальную информацию с нужного сайта, загрузить в диалог с чат-ботом и попросить сделать из этого выжимку и найти ответы на ваши вопросы.
Если же вы сомневаетесь и в своей способности самостоятельно найти наиболее актуальную информацию (а это иногда задача со звездочкой, особенно в иноязычных сегментах интернета), лучше использовать только те ИИ-модели, в которых есть встроенный внутренний веб-поиск в реальном времени — например, ChatGPT, Gemini, Perplexity или Claude.
Однако надо понимать, что и в подобном случае модель может получить из интернета устаревшие источники. Или вообще только сделать вид, что она искала в сети. Поэтому если есть большие риски, то лучше просить модель подсказать вам источники, а не принять конкретное решение.
Что в итоге: есть ли шанс избежать ошибки?
Несмотря на все очевидные минусы, риски и ошибки, ИИ пришел в нашу жизнь всерьез и надолго. От повседневных задач до инфраструктуры крупных экосистем — скоро нам будет сложно вспомнить время, когда нам на каждом шагу не помогали услужливые чат-боты и ИИ-агенты.
Но именно поэтому не стоит расслабляться и использовать ИИ на каждом шагу, позабыв о разумной осторожности и регулярных сверках часов: «А не пытаешься ли ты обмануть меня, часом, электронный болван?»
Слепо доверять генерации нейросети сегодня — это огромный риск, который вы вряд ли хотите на себя взять. Делегируя нейросетям сложную аналитику, поиск информации или написание текстов, важно помнить о базовых правилах цифровой гигиены и обязательной перепроверке фактов. Сбои и галлюцинации ИИ-моделей — не повод отказываться от этой технологии, а хорошее напоминание о том, что критическое мышление и финальный контроль по-прежнему остаются за человеком.
Иначе регулярно получаемая из ответов нейронок дезинформация рискует стать единственной и катастрофически не совпадающей с реальностью картиной мира. И когда жизнь будет указывать вам на ошибки, сделанные по советам чат-бота, больно будет не ему, а вам.