Apple описала способ работы чат-ботов на iPhone

Специалисты компании Apple описали новый способ работы инструментов генеративного искусственного интеллекта (ИИ) на смартфонах. Исследование опубликовано на сервере препринтов arXiv.

В материале команда ученых предложила способ, при котором генеративный искусственный интеллект можно будет использовать даже на старых устройствах. В компании заявили, что для обработки операций можно применять не оперативную, а постоянную память девайса.

В ходе работы модель ИИ может повторно использовать уже обработанные данные. Также чат-бот сможет оперативно получать информацию из встроенной памяти iPhone, что ускорит работу сервиса.

По оценке специалистов, новый метод позволит снизить нагрузку на процессор в 4-5 раз, графический ускоритель — 20-25 раз. Также при этом данные будут обрабатываться не на серверах — как в случае популярного чат-бота ChatGPT, а непосредственно на смартфоне. «Этот прорыв особенно важен для внедрения передовых программ LLM в средах с ограниченными ресурсами, тем самым расширяя их применимость и доступность», — отметили авторы исследования.

В ноябре инсайдеры рассказали, что будущие смартфоны Samsung получат встроенную поддержку искусственного интеллекта. По информации источников, владельцы гаджетов смогут получать доступ к различным сервисам без подключения к интернету.