Цифровые аватары научились создавать по звуку

Американские ученые научились сканировать лица людей с помощью звука. Об этом сообщает издание Engaget.

Об исследовании рассказали специалисты Корнельского университета (CU). Инженеры разработали технологию EarIO, которая позволяет отсканировать лицо человека и захватить его мимику, чтобы воссоздать в виде цифрового аватара. Получившийся виртуальный слепок можно использовать во время видеозвонков.

Чтобы зафиксировать черты лица и мимику, пользователь должен надеть специальные наушники на голову. Гарнитура начнет воспроизводить звук, затем отражающееся от лица эхо будут фиксировать микрофоны. На основе полученных данных нейросеть сможет выстраивать цифровую копию человеческого лица в реальном времени.

По словам ведущего участника исследования Ченга Чжана, существуют подобные системы, которые работают на основе камер. Однако камеры как правило тяжелые и энергоемкие, также они собирают излишнюю информацию, что может навредить конфиденциальности пользователя.

В ходе тестирования выяснилось, что EarIO корректно работает, когда человек находится в сидячем состоянии или движении. Однако высокая чувствительность прибора создает некоторые проблемы — цифровой аватар может видоизменяться, когда пользователь вращает головой.

В середине июля специалисты Вашингтонского университета (UW) рассказали о создании прототипа наушников, которые могут обеспечивать максимально возможное шумоподавление. За функцию активного шумоподавления девайса отвечает искусственный интеллект.