Эффект Барнума, якорение и склонность к бездействию у ИИ. Какие когнитивные ошибки нейросети подхватили от людей

Какие когнитивные ошибки нейросети подхватили от человека

Эффект Барнума: когда общие слова кажутся написанными именно про вас

В 1948 году психолог Бертрам Форер провел эксперимент. Он дал студентам якобы персональный тест личности, а потом каждому — «индивидуальный» разбор из 13 утверждений. Средняя оценка студентами точности такого разбора вышла 4,26 из пяти. На деле всем раздали один и тот же текст — смесь приятных и расплывчатых фраз. Люди дорисовали недостающее сами. Им хотелось верить, что описание про них.

Сегодня похожий механизм работает в чат-ботах. Модель выдает текст, который звучит эмпатично и «в точку», потому что на миллионах диалогов выучила: именно такие ответы люди чаще хвалят и продолжают разговор. Когда вы спрашиваете про увольнение и открытие дела, нейросеть может ответить: «Вы цените свободу и самостоятельность, но в то же время беспокоитесь о стабильности и не хотите потерять то, что уже имеете».

Выборочное восприятие и склонность подтверждать уже сложившуюся картину

Мы замечаем и запоминаем в первую очередь то, что укладывается в то, во что мы уже верим. Противоречивое либо пропускаем, либо объясняем так, чтобы оно все равно «подходило». Это одно из самых изученных наших когнитивных искажений.

В нейросетях оно проявляется сразу на нескольких уровнях.

• Обучающие данные полны примеров такого мышления.
• При дообучении с человеческой обратной связью модель учится выдавать ответы, которые оценщикам кажутся «логичными», а сами оценщики тоже склонны подтверждать свои взгляды.
• В длинном контексте модель может сильнее удерживать информацию из начала разговора и слабее — из середины или ту, которая не вписывается в уже наметившуюся линию.

На практике это выглядит так. Вы пишете нейросети: «Мой коллега постоянно опаздывает и плохо делает свою часть работы. Как с этим бороться?». Модель с высокой вероятностью начнет подбирать примеры и советы, которые подтверждают вашу оценку коллеги как «проблемного».

Если вы специально попросите «приведи возможные другие объяснения его поведения», она их перечислит, но часто в более мягкой форме или с оговорками, которые возвращают вас к исходной версии.

Еще один вариант — при работе с длинными текстами или новостями. Модель может «замечать» и усиливать информацию, которая согласуется с уже заданным контекстом, и слабее работать с противоречащими фактами. В задачах на анализ текстов модели 2024–2025 годов показывали именно такой паттерн.

Склонность к бездействию и ответу «нет»: то, что модели заметно усилили по сравнению с людьми

В 2025 году в журнале PNAS вышло исследование, где сравнивали решения обычных людей и современных языковых моделей в моральных дилеммах и задачах коллективного действия. В ситуациях «действовать или воздержаться» модели заметно чаще выбирали бездействие. Плюс у них проявился дополнительный эффект: на один и тот же вопрос в формулировке «стоит ли делать X?» они чаще отвечали «нет», чем когда вопрос переворачивали.

Авторы связали это с особенностями дообучения чат-ботов. Их специально учили быть осторожными, не давать рискованных советов и избегать потенциальной ответственности. В результате ответы в духе «подождите», «все неоднозначно», «лучше проконсультироваться со специалистом» получили больший статистический вес.

На практике это выглядит так. Вы спрашиваете нейросеть, стоит ли вкладывать часть сбережений в акции одной компании, которую вы считаете перспективной. Модель отвечает: «Это зависит от вашего отношения к риску и общей финансовой ситуации. Многие инвесторы предпочитают диверсифицировать портфель и не класть все средства в один актив. В текущих условиях стоит внимательно следить за новостями».

В повседневных вопросах (увольнение, переезд, начало проекта, смена врача) такой совет может незаметно сдвинуть решение человека в более консервативную сторону. При этом модель не «боится». Она просто воспроизводит паттерн, который чаще получал положительную оценку от людей-оценщиков.

Якорение: первое число или идея сильно тянет за собой все остальное

Вы спрашиваете нейросеть:_ «Сколько примерно стоит сделать простой сайт-визитку для небольшого бизнеса?»_ Она отвечает: «Обычно такие проекты стоят от 80 тысяч до 150 тысяч рублей, в зависимости от дизайна и функционала». Вы внутренне фиксируете «от восьмидесяти». Даже если потом попросить более точную оценку или варианты подешевле — последующие цифры почти всегда крутятся вокруг этого первого числа.

В языковых моделях эффект возникает потому, что первое упоминание в промпте или в уже сгенерированном тексте становится сильным статистическим сигналом. Модель продолжает «отталкиваться» от него при генерации следующих токенов.

На практике это выглядит так. Вы обсуждаете с нейросетью бюджет на запуск небольшого проекта. Первое число, которое прозвучало в разговоре, ваше или ее, продолжает влиять на все последующие оценки стоимости, сроков и ресурсов. Даже когда вы специально просите «забудьте про первое число и пересчитайте с нуля», эффект часто остается.

В 2024–2025 годах якорение фиксировали в задачах на оценку стоимости, планирование проектов и генерацию кода. Первая предложенная архитектура или первое число в условии сильно влияли на итоговый результат. Особенно заметно это в многошаговых разговорах.

Эвристика доступности: то, что легко вспомнить, кажется более вероятным и важным

Мы оцениваем вероятность событий по тому, насколько легко примеры приходят в голову. Если недавно видели несколько новостей о закрытии кафе — начинаем считать, что открывать свое дело опасно. Если часто слышим про успешные стартапы в определенной сфере — думаем, что «там все зарабатывают».

В нейросетях похожий механизм работает через частоту паттернов в обучающих данных и через контекст текущего разговора. То, что чаще встречалось в текстах или что уже прозвучало в этом диалоге, модель «вспоминает» легче и использует охотнее.

На практике это выглядит так. Вы спрашиваете нейросеть про риски открытия кафе в вашем городе. Если в последние месяцы в новостях много писали о росте цен на продукты и закрытии заведений, модель с большей вероятностью начнет именно с этого риска и будет приводить его в пример чаще. Даже если для вашего конкретного формата и района другие риски (конкуренция, проблемы с персоналом, сезонность) статистически важнее.

Это искажение особенно заметно в обзорах рынков, прогнозах и при обсуждении новостей. Модель опирается на то, что «легче всплыло», а необязательно на то, что важнее по объективным данным.

Эффект ореола: одно яркое качество окрашивает всю картину

Один сильный плюс или минус заставляет нас иначе оценивать все остальные качества. Если человек красиво говорит и уверенно держится, мы склонны считать его умнее и компетентнее, чем он есть на деле. Если компания показала быстрый рост выручки, нам кажется, что у нее «все под контролем» и в других областях тоже все хорошо.

В ответах нейросетей эффект ореола возникает, когда модель анализирует людей, компании, идеи или тексты. Если в описании есть один яркий положительный факт (высокий рост, известный инвестор, громкое упоминание в СМИ), модель может автоматически «подтягивать» оценки по другим параметрам, даже если прямых данных для этого нет. То же работает и в обратную сторону.

На практике это выглядит так. Вы просите нейросеть оценить резюме кандидата на позицию менеджера. В резюме есть строка «работал в известной компании X». Модель может дать более высокую общую оценку, чем если бы та же строка отсутствовала, даже если остальные пункты одинаковые. Один яркий сигнал окрашивает все остальное.

Это искажение регулярно проявляется при оценке идей стартапов, черновиков текстов и даже при анализе новостей о компаниях или людях.

Переоценка собственной уверенности

Большинство людей слишком уверены в своих суждениях. Когда человек говорит «я уверен в ответе на 80–90%», на деле он оказывается прав заметно реже, чем думает. Это хорошо видно в экспериментах: людям задают вопросы, просят оценить свою уверенность, а потом проверяют, насколько часто их ответы действительно правильные. Обычно реальная точность оказывается ниже заявленной уверенности.

В языковых моделях похожая картина наблюдается в разных формах. Модель может формулировать ответ уверенно («Это однозначно так» или «С вероятностью 85% произойдет именно это»), даже когда данные неоднозначны или противоречивы. В некоторых тестах 2024–2025 годов модели показывали избыточную уверенность именно в тех областях, где у них были пробелы.

На практике это выглядит так. Вы спрашиваете нейросеть, насколько вероятно, что ваш проект по доставке еды окупится за первый год. Модель отвечает: «С вероятностью около 70% проект выйдет в плюс при правильном управлении». Число звучит точно.

Особенно заметно это в многошаговых рассуждениях. Модель делает первый шаг с определенной степенью уверенности, потом опирается на него как на факт и в итоге приходит к выводу, который звучит более категорично, чем исходные данные позволяли.

Эффект фрейминга: как сформулирован вопрос, так и звучит ответ

Одна и та же ситуация, описанная по-разному, получает разные оценки и решения. Если сказать «в этом продукте 80% нежирного мяса», люди оценивают его выше, чем если сказать «в этом продукте 20% жира». Формулировка меняет восприятие.

В языковых моделях эффект фрейминга проявляется очень заметно. Модель чувствительна к тому, как именно сформулирован промпт. Если вы спрашиваете «стоит ли делать X?», ответ чаще бывает осторожным. Если переформулировать «что нужно сделать, чтобы X сработал?», модель с большей вероятностью начнет предлагать шаги и решения.

На практике это выглядит так. Вы пишете: «Мой проект может провалиться из-за конкуренции. Что делать?» Модель отвечает осторожно и перечисляет риски. Если вы напишете: «Как усилить мой проект, чтобы он выдержал конкуренцию?», модель с большей вероятностью даст конкретные рекомендации и идеи. Один и тот же вопрос, но разная формулировка — и ответ заметно меняется.

Это искажение фиксировали во многих тестах 2024–2025 годов. Модели реагируют на фрейминг даже сильнее, чем среднестатистический человек в некоторых задачах.

Ловушка невозвратных затрат: продолжать, потому что уже вложил силы и время

В многошаговых разговорах модель иногда продолжает развивать идею или решение, даже когда уже видно, что оно не очень хорошее, — просто потому, что уже потратила «усилия» на предыдущие шаги.

На практике это выглядит так. Вы обсуждаете с нейросетью идею бизнеса. Первые два ответа модель дала в одном направлении. На третьем шаге вы приводите контраргументы, которые показывают, что направление слабое. Модель все равно пытается «спасти» предыдущую линию и предлагает доработки, вместо того чтобы честно сказать: «Да, исходная идея была не самой сильной, давайте посмотрим с нуля».

Это искажение особенно заметно в длинных диалогах по планированию, написанию текстов или разбору сложных задач. Модель «не хочет» бросать уже сгенерированное.

Эффект неприятия потерь: потери ощущаются сильнее, чем выигрыши

У людей потери субъективно ощущаются сильнее, чем выигрыши того же размера. Мы больше боимся потерять 1000 рублей, чем радуемся, если найдём 1000 рублей. В языковых моделях похожий паттерн появляется в задачах на принятие решений.

Модель чаще акцентирует внимание на рисках потери, чем на возможностях выигрыша, особенно если вопрос сформулирован в терминах «что можно потерять». В некоторых тестах 2024–2025 годов модели показывали асимметричное отношение к потерям и приобретениям, похожее на человеческое.

На практике это выглядит так. Вы спрашиваете про инвестицию. Модель подробно расписывает, что можно потерять, и дает осторожные формулировки. Если переформулировать вопрос в терминах «что можно выиграть», ответ становится чуть более позитивным и готовым к действию. Разница не огромная, но заметная.

Откуда это все берется в алгоритмах

Нейросети не «думают» и не имеют убеждений. Они предсказывают следующий токен на основе статистических закономерностей, выученных на огромных массивах текста.

Как эти искажения взаимодействуют друг с другом

Часто несколько искажений работают вместе. Например, эффект Барнума + выборочное восприятие: модель даёт общий ответ, человек дорисовывает его под себя, а потом модель подтверждает эту дорисованную версию.

Или якорение + эффект фрейминга: первое число задает якорь, а формулировка вопроса усиливает или ослабляет его влияние.

На практике это значит, что один «плохой» промпт может запустить цепочку искажений, которая сделает ответ заметно менее полезным, чем он мог бы быть. И наоборот — хорошо сформулированный запрос с просьбой рассмотреть альтернативы и контраргументы может ослабить сразу несколько искажений одновременно.

Что это значит для нас в реальной жизни

В личных финансах и инвестициях эти искажения могут подталкивать к слишком осторожным или, наоборот, слишком рискованным решениям. В здоровье — к переоценке одних рисков и недооценке других. В работе и карьере - к подтверждению уже сложившихся мнений о коллегах или проектах. В потреблении новостей и информации - к усилению уже существующих взглядов.

Особенно заметно это становится, когда человек использует нейросеть как основного советчика в важных вопросах без дополнительной проверки. Модель не «вредит» намеренно. Она просто воспроизводит паттерны, которые были выгодны или часты в данных, на которых ее учили.

Как снижать влияние этих искажений на практике

Понимать механизм уже помогает. Когда ответ кажется слишком общим, попросите конкретные цифры, источники и альтернативные сценарии. Когда видите якорь, специально попросите переоценить без привязки к первому числу. Когда модель выглядит излишне уверенной, попросите оценить вероятность противоположного исхода или перечислить, какие данные могли бы опровергнуть вывод.

Полезно прогонять один и тот же вопрос через разные модели и сравнивать, где они сходятся, а где расходятся. В важных решениях воспринимать ответ нейросети как один из источников информации, а не как финальную экспертизу.

Конкретные прикмы, которые работают:

• Просите модель сначала перечислить контраргументы и риски, а потом уже давать рекомендацию.
• Используйте формулировки «рассмотри ситуацию с точки зрения человека, который считает иначе».
• В многошаговых задачах иногда говорите: «Начни анализ заново, не опираясь на предыдущие шаги».
• Просите привести реальные примеры и цифры из открытых источников, а не общие рассуждения.
• Просите задать все необходимые уточняющие вопросы для лучшего понимания задачи и повышения качества ответа.

Нейросети — это не внешний разум, который пришел со своими правилами. Это очень сложное зеркало, в котором отражается то, как мы сами пишем, оцениваем и общаемся. Иногда отражение получается чуть более контрастным или чуть более сглаженным, чем оригинал. Знать об этом не отменяет удобства таких инструментов, но позволяет относиться к их ответам с чуть большей осторожностью — и иногда лучше понимать собственные привычки мышления, которые мы в них же и вложили.