Искусственный интеллект «оживил» Пушкина

«Тинькофф» запустил анимированный прототип Пушкина, созданный при помощи технологии «оживленного» портрета и нейросети, которую обучали на произведениях поэта и более чем 60 миллионах четверостиший современных авторов.

Нейропоэт умеет сочинять стихи на современный лад, используя в своем арсенале все произведения Александра Сергеевича Пушкина и отфильтрованные четверостишья с ресурса Стихи.ру. Увидеть его можно на сайте проекта. Чтобы получить стихотворение, нужно написать любую фразу до 30 символов в строке ввода, либо произнести ее в микрофон. Далее искусственный интеллект обработает ее и подберет к ней стихотворное окончание на современный лад, а «оживший» Пушкин зачитает получившееся произведение вслух. Нейропоэт не повторяется — использование открытых данных для обучения модели позволило нейропоэту поддерживать и развивать любую мысль.

По словам представителя компании, в этом эксперименте «Тинькофф» впервые применяет Thara — технологию синтеза мимики и оживления портрета. Специально для проекта разработали модель, позволяющую его «оживить». Нейросеть научилась соотносить звуки произносимой речи с выражением лица и мимикой спикера. Так удалось из аудиофайла создать видео произносящего речь поэта. За произнесение стихотворения вслух отвечает VoiceKit — голосовая технология «Тинькофф», которая позволяет синтезировать голос.

В будущем совокупность этих наработок будет использоваться в различных продуктах экосистемы «Тинькофф».