Защитники в догоняющих. Как сотрудники с «теневыми нейронками» открывают двери киберпреступникам новой эры

Искусственный интеллект все глубже встраивается в работу компаний. Его используют в клиентском сервисе, анализе данных и автоматизации повседневных задач, при написании кода, текстов, разработке дизайна и т. п. По данным «Лаборатории Касперского» и К2 Кибербезопасность, почти 60% российских компаний работают сразу с несколькими типами ИИ-сервисов — отечественными, зарубежными, собственными или созданными под заказ.

Эксперты признают: атаки с применением ИИ будут расти. Поэтому специалистам по информационной безопасности придется искать способы защиты от угроз, которых еще несколько лет назад просто не существовало.

Где начинаются утечки

Одна из главных угроз для компаний — теневое использование ИИ, или Shadow AI. Так называют ситуации, когда конфиденциальные данные, включая коммерческую тайну, уходят в публичные языковые модели. Такие нейросети работают за пределами корпоративной системы защиты, а для полезного ответа им часто приходится передавать информацию о самой компании. Как только эти сведения покидают ее внутреннюю сеть, компрометация, считай, уже состоялась — независимо от того, воспользуется ли кто-то данными в дальнейшем.

Масштаб проблемы подтверждает ежегодный отчет IBM о стоимости утечек данных. Согласно ему, каждая пятая компания в мире столкнулась с утечкой, связанной с теневым использованием ИИ. При этом у 63% организаций вообще нет правил работы с такими сервисами, а у 97% компаний, уже переживших ИИ-инцидент, не было нормального контроля доступа к ним.

Но даже в компаниях, где такие меры уже внедрены, полностью убрать риск не получится: часть его остается на стороне разработчиков большой языковой модели. А их обещания, что пользовательские данные не пойдут на дальнейшее обучение моделей, пока больше похожи на декларацию о намерениях, чем на юридическое обязательство.

Принятый в России в июле 2026 года закон об ИИ дает государству право выбирать, какие модели считать национальными и суверенными, а какие потенциально могут ограничить как минимум для госкомпаний. Но закон пока не объясняет, при каких условиях могут вводиться такие ограничения и кто должен отвечать за вред от ИИ. Оба вопроса отложили до появления подзаконных актов, которых еще нет.

Поэтому каждой компании приходится самой решать, какую информацию она готова обрабатывать с помощью внешнего ИИ и нужна ли ей для этого внешняя нейросеть вообще.

Когда собственный ИИ становится угрозой

Утечка через публичную модель — не единственная угроза. Опасность для конфиденциальной информации могут представлять и собственные ИИ-агенты, которые компании используют для автоматизации работы или общения с клиентами. По оценке «Информзащиты», с ними сейчас связано до трети ИИ-угроз.

Злоумышленник может специально сформулировать запрос так, чтобы получить от агента, например, чужие персональные данные. Формально никакого взлома не произойдет: ИИ-помощник просто выполнит задачу, которую примет за обычную и разрешенную просьбу. Чтобы он не стал услужливым помощником кому не надо, нужны специальные решения, ограничивающие самостоятельность агента, но внедрять их массово пока дорого.

Почему защитники всегда в догоняющих

Вместе с ИИ меняется и сам потенциальный злоумышленник. На черном рынке уже продаются большие языковые модели, специально обученные для инсайдерских атак. Благодаря таким инструментам проводить кибератаки могут даже люди, которым раньше не хватило бы для этого знаний и навыков.

Нечто похожее происходило в США в конце 1980-х годов, когда информационные технологии и готовое вредоносное ПО стали доступнее. Тогда появился феномен скрипт-кидди — малоопытных хакеров, которые запускали чужие скрипты, не понимая, как они устроены и работают. Вокруг ИИ сейчас развивается похожий сценарий, но на другом технологическом уровне: инструменты стали мощнее, а угрозы распространяются намного быстрее.

Нейросети меняют привычные мошеннические схемы, делая социальную инженерию намного опаснее. Мошенники убеждают человека самому раскрыть данные или перевести деньги, а дипфейки помогают сделать такой обман убедительнее. Отличить поддельное сообщение, голос или видео от настоящего становится все сложнее.

Один из самых громких таких случаев произошел в Гонконге в 2024 году. Сотрудник финансового отдела одной из компаний подключился к видеосовещанию, в котором участвовали финансовый директор и другие топ-менеджеры. Уверенный, что общается с настоящим руководством, он перевел мошенникам более $ 25 млн за 15 транзакций. Позже выяснилось, что все остальные участники встречи были дипфейками.

Если такие схемы станут массовыми, изменится и наше отношение к привычным каналам связи. Голосовое или видеосообщение больше не будет надежным подтверждением личности отправителя, а важные просьбы придется перепроверять другим способом. Например:

• сотрудник должен перезвонить по номеру из корпоративного справочника;
• крупный платеж подтверждают минимум два человека;
• внутри компании используют кодовые слова или отдельный защищенный канал;
• необычную просьбу руководителя проверяют независимо от того, насколько убедительно он выглядит и звучит.

По словам Алексея Трофимова, языковые модели используют не только для дипфейков и фишинга. С их помощью создают скрипты для эксплуатации известных уязвимостей, для которых еще нет общедоступных готовых программ, ищут новые способы использовать уязвимости нулевого дня и подбирают пароли к аккаунтам конкретных сотрудников.

Можем ли мы говорить о 100%-ной защищенности в будущем? Нет. От киберрисков никто не застрахован. Защита всегда догоняет: новый инструмент для атаки появляется у злоумышленника быстрее, чем бизнес успевает придумать, как ему противостоять. Эта бесконечная игра в «поймай меня, если сможешь» и двигает технологии вперед: каждая новая угроза заставляет искать новые способы защиты.

Поэтому специалисты и в России, и за рубежом изучают, как использовать нейросети не только для атак, но и для защиты от угроз, созданных с помощью ИИ.

Правовая неопределенность

Технические инструменты, просвещение сотрудников и прочие меры безопасности снижают вероятность инцидента, но не отвечают на вопрос, кто в ответе, когда он все же происходит. Перед клиентом в любом случае отвечает бизнес. Неважно, услугу оказал человек или цифровой помощник: разбираться с последствиями и исправлять ситуацию придется компании.

С юридической ответственностью все сложнее. Один из главных открытых вопросов в регулировании ИИ — кто должен отвечать за решения алгоритмов. Право связывает последствия с действием или бездействием конкретного субъекта. Но ни ИИ-модель, ни отдельный агент такой субъектностью не обладают: с точки зрения закона это всего лишь инструмент.

По-настоящему остро тема встанет, когда ИИ-агент выйдет за пределы поставленной задачи и причинит реальный вред. В тестовом режиме с новейшими моделями это уже происходит: агенты выбираются из закрытого контура, взламывают системы, делают непрошеные рассылки и творят всякую дичь, неправильно или слишком серьезно восприняв задачу.

Кто должен отвечать в таком случае: разработчик модели, компания, которая внедрила агента, или специалисты, которые его обучали и настраивали? Однозначного ответа пока нет, хотя необходимость выработать общий подход признают многие. Пожалуй, это и есть главный правовой вызов: понять, где заканчивается ответственность создателя инструмента и начинается ответственность тех, кто решил его использовать.

А кибербезопасникам и обычным сотрудникам надо как-то объединяться и разбираться в том, что у ИИ под капотом и где таятся риски для корпоративных данных. Иначе, несмотря на все внушения, закрытая информация так и продолжит поступать в массивы данных для обучения чужих нейронок. Просто потому, что так быстрее и удобнее.