В сборнике ICLR (A*), одной из наиболее известных в мире конференций по искусственному интеллекту и машинному обучению, опубликована статья «Ограничения языковых моделей в понимании химии: исследование на примере задачи описания молекул», которую подготовили специалисты Сбера и Института AIRI.
Нейросетевые языковые модели уже решают широкий круг задач в сфере естественных наук. В химии они используются для автоматической обработки данных, например, для синтеза новых и лучшего понимания существующих молекул. В таком подходе атомы представляются в виде букв, а молекулы — составленных из этих букв слов. Модель создает текстовое описание характерных химических свойств молекулы (растворимость в воде, принадлежность к определенному классу веществ и прочее. Ученые постарались выяснить, меняется ли качество сгенерированного моделью описания молекулы в зависимости от исходного запроса.
Исследование показало, что даже незначительное изменение входного слова снижает достоверность описания, которое готовит AI-модель, и увеличивает количество ошибок, в том числе при генерации описания молекулы. Простейших знаний из школьного курса химии достаточно, чтобы обмануть химические языковые модели, на порядок повысив количество их ошибок при решении задач понимания химических структур, например, задачи генерации описания молекулы.
Полученный результат может привести к глубокому пересмотру существующего подхода к автоматической обработке химических данных, что в свою очередь приведет к повышению надежности нейросетевых химических моделей.
«Нейросетевые модели помогают химикам описывать молекулы, предсказывать результаты химических реакций, синтезировать новые соединения и так далее. Ученые заинтересованы в дальнейшем развитии подобных моделей, но для этого нужно четко понимать их слабые места. Наше исследование обнаружило, что пока AI-модели неустойчивы к простейшим тождественным преобразованиям входных молекул. Таким образом, чтобы повысить надежность нейросетевых химических моделей, необходимо кардинально пересмотреть подход к автоматической обработке химических данных», — рассказал старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка Андрей Белевцев.
Генеральный директор Института искусственного интеллекта AIRI, профессор Сколтеха Иван Оселедец отмечает, что в области химии LLM можно использовать для таких задач, как открытие лекарств, прогнозирование химических свойств или реакций. «LLM могут помочь химикам в разработке новых молекул с конкретными свойствами, создавая виртуальные библиотеки соединений и предлагая потенциальных кандидатов для синтеза. Чтобы ИИ-модели стали полноценным инструментом в лаборатории, а не одним из вариантов, которые можно попробовать ради интереса, потратив затем множество часов на проверку результата, важно исследовать и моделировать все потенциальные сценарии использования. Изучая, как LLM выполняют конкретные задачи, можно повысить их точность, эффективность и надежность», — добавил он.
Авторы исследования продолжают работу в этом направлении. Планируется разработать метрику для сопоставления представлений молекул в скрытых слоях сетей. В дальнейшем будут рассмотрены языковые модели других классов и архитектур и создана метрика для сопоставления уровня знания химии в разных моделях.
Ученые уверены: в будущем сильные AI-модели освободят исследователей от необходимости описывать свойства новых синтезированных молекул, ускорят разработку новых лекарств и позволят создавать принципиально новые препараты.