Специалисты Университета Пердью (США) заявили, что популярные чат-боты совершают слишком много ошибок, давая советы программистам. Исследование опубликовано в материалах конференции CHI по человеческому фактору в вычислительных системах.
По словам авторов научной работы, одними из первых чат-ботов начали использовать IT-специалисты, которые задавали искусственному интеллекту технические вопросы или просили помочь с редактированием кода. Ученые выяснили, что рекомендации ChatGPT — самого популярного чат-бота — нужно перепроверять: примерно каждый второй его ответ оказался ошибочным.
Специалисты выбрали 517 вопросов на тему программирования с сайта StackOverflow — площадки, где IT-специалисты делятся знаниями. Исследователи переадресовали вопросы ChatGPT, а затем перепроверили их. Выяснилось, что чат-бот давал неверные ответы в 52 процентах случаев. Исходя из этого, эксперты назвали сервис плохим помощником для программистов.
Также выяснилось, что живые специалисты давали более лаконичные ответы, чем ChatGPT. В материале говорится, что полученные чат-ботом ответы предлагали пользователям StackOverflow, и те в 35 процентах случаев принимали их за истину, не замечая ошибок.
Ранее журналисты издания The Verge обратили внимание на фактическую ошибку в рекламе умного поиска Google. Так, в случае неработающего затвора ИИ посоветовал открыть крышку камеры — по словам специалистов, этого делать нельзя из-за высокого риска засветить пленку.