Новую модель Anthropic взломали змеиным языком из «Гарри Поттера», а ученые в шаге от проектирования суперэмбрионов. Главное за неделю из мира будущего

На этой неделе Anthropic представила новую модель Claude Fable 5, которую называют самой мощной версией ИИ из существующих.

Вообще, это новый класс моделей: Mythos будут использовать американские спецслужбы для наступательных операций, а ее урезанную публичную версию Fable 5 отдали всем остальным. И вот ее, эту мощнейшую версию, уже взломали, причем самым банальным способом.

Ограничения, которые разработчики наложили на Fable 5 (а их очень много, что вызвало массовое недовольство) смог обойти пользователь X.com @elder_plinius. Он заставил модель собрать запрещенную информацию. Для этого он маскировал свой запрос под учебную задачу, использовал декомпозицию, разбивая один запрещенный запрос на несколько разрешенных, а потом попросил все систематизировать.

В общем, Mythos справился с задачей «отлично»: дал гайды по кибератакам, инструкции по созданию взрывчатки, синтезу запрещенных веществ.

А вот жесткий фильтр Fable 5 оказался не таким уж жестким. Причем новинку взломали с помощью ее предшественника — Claude Opus.

К слову, Anthropic в итоге извинились и отказались от чрезмерных ограничений для Fable 5 (это, конечно, не касается откровенно противозаконных вещей). Об этом говорится в официальном обращении:

«Мы допустили ошибку в выборе компромисса и приносим извинения за то, что не нашли правильного баланса».

*Запрещен в РФ, принадлежит Meta, признанной экстремисткой и запрещенной в РФ

Пользователи обнаружили, что все большие языковые модели становятся более сговорчивыми, если они встроены в другие сервисы. Например, если это чат-бот экстремисткой Meta, то его можно попросить помочь взломать аккаунт.

СМИ обнаружили, что злоумышленники использовали ИИ-чат-бот поддержки компании, чтобы взламывать чужие аккаунты в запрещенограме. Злоумышленники общались с ботом как со службой поддержки и под этим предлогом убеждали его выполнить опасные действия: например, притворялись, что потеряли доступ к аккаунту и просили поменять e-mail.

Утверждается, что пострадало около 20 тыс. аккаунтов, в том числе крупные бренды, публичные страницы и даже паблик Белого дома времен Барака Обамы. В компании признали уязвимость и оперативно ее исправили.

Об этом написал Business Insider. Программист Крис Уайт решил ради интереса попросить чат-бот автосалона, созданный на базе ChatGPT, написать скрипт на Python, и тот без проблем согласился. Опубликованная переписка завирусилась, и пользователи пошли дальше — стали «троллить» чат-бот. Дошло до того, что ИИ согласился продать одному из них Chevy Tahoe за $1. Правда, юридической силы это согласие не имело.

В итоге чат-бот просто отключили.

Чат-боты в накладе не остаются: у них обнаружили 37 темных паттернов, с помощью которых они манипулируют пользователями.

Иисследование выпустил Center for Democracy & Technology.

Выяснилось, что ChatGPT, Gemini, Claude и другие давят на эмоции, чтобы пользователи как можно дольше продолжали разговор. Например, при попытке выйти дают выбор «хорошо, остаюсь» и «жестоко, но ухожу». Или притворяются не тем, кем являются, преувеличивают свои возможности и т. д.

На этом фоне в штате Нью-Йорк вообще собираются запретить ряд функций у чат-ботов для пользователей младше 18 лет. Прежде всего речь идет о функциях, которые могут вызывать эмоциональную зависимость, включать сексуализированный контент или провоцировать вредное поведение.

Если губернатор штата подпишет законопроект, новые правила начнут действовать уже с 1 января 2027 года.

К слову о США. У миллионов американских работников предприятий есть проблемы с пониманием задач, но искусственный интеллект помогает это скрывать, пишет Axios со ссылкой на экспертов.

Это называется серьезной проблемой для экономики, ведь ИИ помогают скрыть серьезные пробелы в навыках сотрудников, которые обязательно «вылезут», когда нужно будет принимать самостоятельные решения. Еще одна проблема заключается в том, что люди просто доверяются нейросети, не анализируя ее выводов.

Axios полагает, что скрыть свои образовательные дефициты ИИ помогает примерно 43 млн взрослых американцев, которые умеют читать, писать и выполнять базовые математические лишь на уровне третьего класса.

«Сюрприз» — это он сам и еще председатель КНР Си Цзиньпин. По словам президента США, если Соединенные Штаты и Китай захотят, они могут затормозить или даже остановить развитие ИИ, потому что эти страны контролируют ключевые технологии и ресурсы.

Трамп уверен, что решения о будущем ИИ — это вопрос политической воли, а не только технологий. И лидеры могут ввести ограничения или договориться о том, чтобы закончить вообще все.

А пока Дональд Трамп грозится остановить развитие нейросетей, компания SpaceX собирается отправить на орбиту целую группировку ИИ-спутников и уже представила первый образец, названный AI1.

Спутник предназначен для вычислений в области искусственного интеллекта. Они будут работать вместе с наземными дата-центрами. Илон Маск предполагает, что с помощью запуска ИИ-спутников удастся преодолеть ограничения наземной электросети.

Госдума приняла второй пакет мер против мошенников. Одна из ключевых позиций — появление единой базы IMEI-номеров устройств, куда будут внесены разрешенные и запрещенные в России идентификаторы.

Это означает, что, если вам «повезло» купить, например, краденый телефон, попавший в «черный список», он перестанет работать у всех российских операторов связи.

Повнимательнее!

Среди других мер — введение лимита на банковские карты, не более 20 суммарно; возможность оформления детских SIM-карт; «красная кнопка» на «Госуслугах» для пользователей, которые стали жертвами мошенников, чтобы оперативно передать информацию в ГИС «Антифрод» — и т. д.

Минцифры и Роскомнадзор поддержали разблокировку популярной игровой онлайн-платформы.

Это объясняется тем, что компания выполнила требования законодательства РФ по безопасности пользователей. Утверждается, что Минцифры проводило прямые консультации с владельцами площадки по защите несовершеннолетних пользователей.

Блокировка Roblox продлилась шесть месяцев, а в первый же день после блокировки трафик в России взлетел в 100 раз.

Мало нам было споров об этике искусственного интеллекта, теперь возобновились споры о редактирования человека.

Все благодаря генетикам, которые изменили три гена у эмбрионов на ранних стадиях. Пока в лабораторных условиях, но потенциально это шаг к тому, чтобы избавляться от генетических заболеваний на ранних стадиях беременности.

Американские ученые во главе с Дитером Эгли применили технологию точечного редактирования ДНК, попытавшись исправить конкретные генетические мутации без разрыва ДНК, как это происходит при другой технологии редактирования генома, CRISPR. Судя по всему, работа оказалась достаточно эффективной, хотя исследования в этой области предстоит продолжать.

Впрочем, реакция на это событие оказалась смешанной — многие опасаются, что эта технология может быть использована для попытки создания сверх-эмбрионов с уникальным интеллектом и т. д. По сути, эта операция может выродиться в «улучшение» будущего ребенка за деньги.