Не поручайте это нейросетям. Где автоматизация может обернуться катастрофой

Многие новые пользователи нейросетей проходят через одни и те же этапы:

• сначала недоверие и отрицание того, что ИИ может в чем-то быть лучше человека;
• потом шок от того, как машина в считаные минуты делает те задачи, над которыми вручную раньше убивался целый рабочий день;
• затем эйфория, ведь кажется, что вот оно — наступило светлое будущее, когда «вкалывают роботы — счастлив человек»;
• активное использование и даже выдавание нейросетевой работы за свою, ведь кажется, что если вы не видите разницы — другие ее и подавно не заметят.

И во все эти этапы может подмешиваться страх за то, что нейросети вас «заменят», как только работодатели просекут, что они сами могут спрашивать у ИИ то же самое, минуя ваше посредничество как специалиста.

Но этот страх ложный, ведь рано или поздно почти все пользователи нейросетей сталкиваются с еще одним этапом:

• пропущенная ошибка нейросетей «всплывает» в самый неподходящий момент, и заказчик нейросетевого контента садится в лужу при попытке применить эти результаты к реальной жизни или выдать работу ИИ за свою.

Да, можно сказать, что такие инциденты скорее исключения из правил и в среднем помощь нейросетей скорее полезна, чем вредна. И это даже будет правдой.

Но реальные проблемы начинаются там, где цена ошибки несоразмерно высока, а полагаться на «статистические данные» вместо вникания в ситуацию не получится. Ведь списать финансовый ущерб или человеческую жизнь на ошибку нейросетей не получится — во всех странах по закону ответственность будет нести конкретный человек.

Вот основные сферы, где лучше жестко контролировать работу нейросетей и сотрудников, чтобы не расплачиваться за глюки первых и лень последних.

Финальные медицинские решения

Что именно: постановка диагноза, выбор схемы лечения, назначение и отмена препаратов

Вообще, применение ИИ в медицине внушает скорее оптимизм, чем ужас. Потенциальные возможности нейросетей могут серьезно продвинуть человечество в вопросе нахождения новых лекарств, более четкой постановки диагнозов и оптимизации работы клиник. Как минимум снять с докторов часть бюрократической работы. Алгоритмы уже умеют находить патологии на снимках и сопоставлять симптомы с диагнозами, в этом плане не сильно отставая от, предположим, студента-медика, только что получившего красный диплом и вызубрившего наизусть все учебники.

Но медицинская реальность редко бывает «как по учебнику». Данные могут быть фрагментарны и противоречивы, жалобы субъективны, клиническая картина не укладываться в шаблон. И тут только опыт и насмотренность (которые есть не у каждого врача) могут помочь вырулить из тупика диагностики и нащупать подходящее лечение.

В общем, даже беря ИИ в качестве помощника врача или вашего личного консультанта по лечению, нужно помнить: ошибка здесь может стоить жизни или привести к необратимому вреду здоровью.

Реальный плюс ИИ — экономия времени специалиста. Но надежность лечения он не повышает, а без перепроверки запросто подставит доктора, решившего разгрузить себя от рутины.

Юридически значимые решения

Что именно: правовая квалификация, выбор стратегии защиты, толкование норм, подготовка финальных договоров без юриста, юридические консультации.

Юридический язык нейросети воспроизводят особенно успешно. Но чем более уверенно, непонятно для обывателя и красиво звучат формулировки, тем больше шансов не заметить фатальную ошибку.

В то время как в работе реальных юристов способность быстро ориентироваться в меняющихся законах и актах — базовый минимум соответствия профессии, для нейросетей это часто упирается в способность отличить «надежные» источники в сети от «актуальных». Или вовсе в график обновления баз (хорошо если чаще, чем раз в год).

Юрист Мирза Чирагов отмечает, что ИИ способен анализировать массивы текстов, но он не обладает контекстной интуицией и профессиональным суждением. И нередко генерирует формулировки, которые содержат фактические неточности или логические противоречия. Так что его можно использовать для набросков и черновиков, однако окончательная редактура и юридическая экспертиза должны выполняться юристом.

Цена ошибки в сфере права — потеря денег, свободы или деловой репутации. Чтобы этого не допустить, юристу приходится увеличивать время работы над задачей, так как приходится «пробираться» через дебри нейросетевых ошибок и буквально проверять каждый пункт. Тогда как как реальный эксперт быстрее бы написал сам, с уверенностью в источниках своих знаний.

Во многих случаях последствия уже невозможно отменить иначе, чем повторным привлечением реального юриста и долгим «боданием» в судах с доказыванием, что вы не верблюд, просто поверили убедительному тону нейронки.

Финансовые и бухгалтерские решения

Что именно: автономная торговля крупными объемами, кредитные решения без возможности апелляции, инвестиционные стратегии «под ключ», расчет налогов и бухгалтерии.

В чем нейросетям не откажешь, так это в математических способностях. Умение за секунды проанализировать статистику, просчитать бюджет, свести дебет с кредитом уже сделали их ценными помощниками для многих специалистов, работающих с деньгами.

Но это не значит, что пора разгонять бухгалтерию и переводить вопрос денег целиком на нейросетевые рельсы. Финансовые модели хорошо работают на стабильном прошлом, но часто ломаются при резкой смене условий. Они склонны путать совпадение с причиной и оптимизировать показатели там, где надо и где не надо.

Показательный пример — тест TaxCalcBench, в котором ведущие нейросети пытались рассчитать подоходный налог в США. Точность оказалась ниже 30%. Причем ошибки были элементарными, которые бы не допустил даже начинающий специалист.

Подача таких деклараций в реальной жизни означали бы огромные штрафы и даже уголовную ответственность за попытку уклонения от налогов. Так что критически думающий человек с калькулятором и образованием экономиста, бухгалтера или инвестора в ближайшие годы точно свой кусок хлеба не потеряет.

Психологическая помощь и кризисные состояния

Что именно: работа с травмами, острые кризисы, суицидальные риски.

Разговор с ИИ может создать ощущение поддержки, но никакая машина не несет ответственности за психологическое состояние человека и не может провести границу, где эта поддержка становится «медвежьей услугой». Нейросеть не распознает опасные состояния так, как это делает специалист, и может непреднамеренно усилить деструктивные мысли.

Допустимые форматы привлечения нейронок — ведение дневника, поиск справочной информации, навигация по ресурсам помощи. Полноценной терапией это не станет.

Увы, но многие нейросети продолжают отдавать предпочтение удовлетворению любых запросов пользователей и поддержке их идей с имитацией профессионального психологического тона. В то время как в некоторых случаях надо жестко остановить пользователя и ультимативно направить его к реальному специалисту, быть может, даже психиатру.   Цена ошибки в этих вопросах — все большее погружение в бредовые или депрессивные состояния, конфликты с близкими и даже гибель чрезмерно доверившихся нейросетям пользователей, о случаях которой все чаще рапортуют СМИ.

Кризисные коммуникации и конфликты

Что именно: антикризисные заявления, переговоры в условиях эскалации, публичные извинения.

Алгоритмы не чувствуют эмоционального напряжения момента. Они склонны сглаживать формулировки и выбирать безопасный, но не всегда уместный тон. В кризисе неверная интонация может нанести больший урон, чем фактическая ошибка.

Отдельно стоит отметить риск, что люди поймут, что вместо реального представителя компании перед ними распинается нейросеть. Чаще всего подобное могут воспринять негативно: как неуважение и неспособность выделить время на собственного клиента/партнера.

Эксперт отдельно подчеркивает риск передачи ответственности машине: коммуникации всегда имеют последствия, а ни одна система их на себя не берет. В вопросах коммуникации и медиации ИИ уместен как помощник, но не как голос компании.

Так что, если накосячили и приходится извиняться, передать этот вопрос нейросети — очень плохая идея. Реальные люди ждут не формальных слов, а осознания, искренних эмоций и признания вины реальными же людьми, на которых лежит ответственность.

Кадровые, этические и репутационные решения

Что именно: увольнение сотрудников, оценка благонадежности, автоматизированный найм, деловая переписка и т. п.

Алгоритмы неизбежно наследуют перекосы обучающих данных. Но, когда речь заходит о деловой этике, модерации сложных кейсов или балансе между допустимым и недопустимым, статистического усреднения оказывается недостаточно.

Обычные с точки зрения машины тезисы, шаблоны и конструкции при применении их к человеку могут начать звучать превратно. Например, искреннее пожелание «удачи» в деловом письме с отказом в должности в сочетании с правдивой, но крайне бестактной формулировкой причины отказа воспринимается как издевка.

Опытный HR знает, как сгладить углы, машина — прет в лобовую атаку, а на вопросы «что это такое» пафосно отвечает: «Это не хамство, это — новая честность».

Цена ошибки: судебные иски, токсичная атмосфера и репутационные потери.

Яркий пример из той же сферы HR — скандалы из США, связанные с попыткой заменить входной фильтр кандидатов машиной. В то время как на публике американские компании много говорят об инклюзивности, борьбе за права меньшинств и отсутствие дискриминации, нейросеть, обученная на статистических данных за все прошлые годы, радостно воспроизводила самые махровые сексистские и расистские стереотипы, отдавая предпочтения при выборе сотрудников белым молодым мужчинам.

Так что ИИ может помочь, например, отфильтровать поток кандидатов, но не должен становиться арбитром человеческих судеб.

Так стоит ли доверять нейросетям и как оценить риски

Вопрос о доверии к ИИ на самом деле поставлен не совсем корректно. Нейросети — не субъект и не эксперт, а инструмент. Проблемы начинаются не тогда, когда ИИ ошибается, а тогда, когда от него ждут безошибочности и начинают перекладывать на него ответственность.

В бизнесе и инженерии такую неопределенность давно учитывают через оценку рисков. Потенциальный ущерб от ошибки сравнивают с выгодой от автоматизации — и уже на этой основе решают, где ИИ уместен, а где нет. Ту же логику имеет смысл применять и в повседневной работе:

• Если ошибка дешевая, легко обнаруживается и быстро исправляется, автоматизация оправданна.
• Если же промах означает серьезные потери — финансовые, юридические, медицинские или репутационные, — ставка на нейросеть без человеческой проверки становится неоправданным риском.

Никита Любайкин подчеркивает, что ИИ отлично справляется с задачами вроде суммирования больших массивов текста или поиска общего смысла. Но там, где требуется стопроцентная точность — проверка конкретных цифр, юридических формулировок или медицинских выводов, — без человеческой проверки полагаться на алгоритмы нельзя.

Проще говоря, вопрос не в том, доверять ли нейросетям вообще. Вопрос в том, где цена ошибки сопоставима с выгодой, а где автоматизация превращается даже не в лотерею, а в заведомо проигрышную ставку.

Пусть нейросетевые модели с каждым обновлением становятся все «умнее» и убедительнее, легкомысленное к ним отношение — пока слишком большая роскошь. И платить по счетам все равно будет человек