Ученые Центра практического искусственного интеллекта Сбербанка совместно с исследователями Сколтеха (входит в группу ВЭБ.РФ) предложили решение, которое меняет подход к работе с событийными данными. Архитектура COTIC (Continuous-Time Convolutional, многослойная непрерывная свертка) позволяет нейросетям учитывать реальные временные промежутки между действиями пользователя, а не просто порядок этих действий. Это означает, что рекомендательные системы, финансовые сервисы и любые платформы, где важно поведение клиента, станут точнее понимать его привычки и предпочтения, отмечают в Сбере.
Классические сверточные нейросети (CNN) отлично зарекомендовали себя в задачах с равномерными сетками — например, при обработке изображений. Однако отмечается, что когда речь заходит о последовательностях событий с разными интервалами — будь то клики пользователя, покупки или визиты в приложение, — традиционные методы не работают. Чтобы применить CNN, данные приходится дискретизировать, искусственно разбивать на равные промежутки, теряя при этом критически важную информацию о том, сколько времени прошло между действиями.
Российские ученые решили эту задачу. Разработанная ими архитектура представляет собой полноценную сверточную нейросеть, работающую в непрерывном времени. Модель обучается на сырых данных, улавливает длинные зависимости между событиями без использования рекурсивных механизмов, которые часто замедляют вычисления, и формирует универсальные эмбеддинги. Затем их можно применять для прогнозирования, классификации или поиска аномалий.
Исследователи отмечают, что COTIC превзошла существующие рекуррентные, трансформерные и классические сверточные методы на нескольких общепринятых датасетах (RMTPP, Neural Hawkes, ODETPP, THP, THP2SAHP, Attentive NHP, WaveNet, CCNN) в задачах предсказания времени и типа следующего события. Модель обеспечила лучший средний ранг среди всех сравниваемых архитектур. Сформированные ею эмбеддинги также показали высокие результаты на открытых финансовых и рекомендательных датасетах.
«До сих пор мы учили нейросети понимать последовательности, но игнорировали паузы между действиями. Для человека пауза в пять секунд и пять дней — это принципиально разные паттерны поведения. Разработанный нашими учеными метод, впервые позволяет модели "чувствовать" эту разницу нативно. Мы не просто улучшили метрики на датасетах, но дали индустрии универсальный инструмент, который можно применять везде, где важна временная структура событий: от e-commerce до финансового мониторинга. И лучшая часть в том, что мы сделали это в рамках классической парадигмы CNN, сохранив вычислительную эффективность классических сверточных сетей», — рассказал старший управляющий директор, директор по AI-трансформации Сбербанка Сергей Рябов.
Бизнес сможет использовать разработку для действий с нерегулярными последовательностями: от истории покупок и кликстрима до логов систем и визитов клиентов. Для пользователей это означает, что рекомендательные сервисы станут точнее.
«В нашем исследовании мы пересмотрели подход к работе со временем в последовательностях событий. Мы не задаем явно функцию времени или его параметризацию, а позволяем модели работать с ним напрямую. Это дает нам возможность учитывать, насколько события удалены друг от друга, даже если они происходят неравномерно. Непрерывные свертки избавляют от искусственных предположений о виде временной динамики, при этом сохраняя линейную вычислительную сложность и хорошую масштабируемость», — отметил доцент Сколтеха, заведующий лабораторией прикладных исследований «Сколтех–Сбербанк» Центра ИИ Сколтеха Алексей Зайцев.
Научная статья с описанием метода принята на конференцию и опубликована в журнале Q1 IEEE Access.