Оценена точность ChatGPT в обнаружении фейков

Американские ученые создали инструмент, который отличает статьи, написанные реальными учеными и искусственным интеллектом (ИИ). Исследование было опубликовано в журнале Cell Reports Physical Science.

Специалисты Канзасского университета (США) обеспокоились тем, что ChatGPT и прочие генеративные модели начали применять для написания научных работ. В ходе эксперимента инженеры организации создали инструмент на основе ИИ, который обнаруживает фейковые научные материалы. Точность сервиса оценили в 99 процентов.

Автор научной работы Хизер Десэр вместе с коллегами отобрал 64 научные статьи: часть из них была написана реальными учеными, другая часть — сгенерирована с помощью искусственного интеллекта. Материалы загрузили в ChatGPT и попросили чат-бота написать 128 поддельных статей. В общей сложность ИИ сгенерировал 1276 абзацев, которые затем снова использовали для обучения.

В результате выяснилась, что созданный на основе ChatGPT сервис позволяет отличать реальные статьи от поддельных с точностью 99 процентов. Однако на уровне анализа отдельных абзацев точность немного снижается — до 92 процентов.

Специалисты заключили, что написанный живым человеком текст вполне реально отличить от созданного чат-ботом. Настоящие ученые, как правило, пишут более длинные предложения и применяют более разнообразные слова. Также люди чаще используют знаки препинания.

Ранее глава компании Apple Тим Кук заявил, что в его корпорации внимательно следят за развитием искусственного интеллекта. Предприниматель заключил, что фирма интегрирует ИИ в свои продукты, однако обычный пользователь гаджетов и сервисов компании может этого не замечать.