Ученые из лаборатории исследований искусственного интеллекта Tinkoff Research открыли новый алгоритм для обучения ИИ. Новый метод, названный SAC-RND, обучает роботов в 20 раз быстрее и на 10 процентов качественнее всех существующих аналогов.
SAC-RND может повысить безопасность беспилотных автомобилей, упростить логистические цепочки, ускорить доставку и работу складов, оптимизировать процессы горения на энергетических объектах и сократить выбросы вредных веществ в окружающую среду, а также приближает мир к созданию универсального робота — машины, которая в одиночку может справиться с любыми задачами.
Результаты исследования были признаны мировым научным сообществом и представлены на Международной конференции по машинному обучению ICML, которая в этом году прошла в 40-й раз в Гонолулу на Гавайях.
Ранее считалось, что использование случайных нейросетей (алгоритмов для последовательного и автоматического принятия решений, RND) не подходит для офлайн-обучения роботов с подкреплением. Изучив прежние работы, связанные с использованием RND, исследователи из Tinkoff Research обнаружили, что к ошибочному выводу научное сообщество привело использование неправильных размеров нейросетей. Они не только исправили глубины сетей, но и оптимизировали метод за счет механизма слияния, основанного на модуляции сигналов и их линейном отображении. В предыдущих работах на тему RND сигналы не подвергались дополнительной обработке. Так ученые из Tinkoff Research научили роботов приходить к эффективным решениям.
Метод SAC-RND был протестирован на робототехнических симуляторах и показал лучшие результаты при меньшем количестве потребляемых ресурсов и времени. Открытие поможет ускорить исследования в области робототехники и обучения с подкреплением, поскольку оно снижает время получения устойчивого результата в 20 раз и является важным шагом на пути к созданию универсального робота.
Tinkoff Research — это одна из немногих российских исследовательских групп, которая занимается научными исследованиями внутри компании, а не на базе некоммерческой организации. Ученые из Tinkoff Research исследуют обработку естественного языка, компьютерное зрение, обучение с подкреплением и рекомендательные системы. За два года существования команды более 13 статей были приняты на крупнейшие конференции и воркшопы в области ИИ. Научные работы Tinkoff Research цитируются учеными из университетов Беркли и Стэнфорда, а также исследовательского проекта Google по изучению искусственного интеллекта Google DeepMind.