Американские исследователи использовали видеоигры, чтобы оценить эффективность моделей искусственного интеллекта (ИИ). Об этом сообщает издание TechCrunch.
Узнайте больше в полной версии ➞Об изобретении нового бенчмарка, который позволил бы оценивать качество ИИ, рассказали специалисты компании Hao AI Lab, созданной на основе Калифорнийского университета в Сан-Диего (США). Они попробовали узнать большее о моделях ИИ с помощью легендарной игры-платформера 1985 года Super Mario Bros. («Супербратья Марио»).
Разработчики создали фреймворк GamingAgent, с которым «заставили» модели воспроизводить и симулировать игровой опыт. Перед этим тестируемые модели получили информацию об игре и правилах с помощью скриншотов. Специалисты заметили, что игра «Марио» заставила каждую модель учиться, принимать решения на скорость и создавать игровую стратегию.
Лучше всего в тестах показала себя Claude 3.7 от Anthropic, немного уступили ей Gemini 1.5 Pro от Google и GPT-4o от OpenAI. Исследователи пришли к выводу, что даже самая успешная модель «играла» хуже, чем любой начинающий геймер. Скорее всего, это связано с тем, что любой модели нужно иметь как минимум секунду на принятие решения, однако «Марио» не давала им такой возможности.
Сооснователь OpenAI и известный ученый Андрей Карпатый прокомментировал в X исследование коллег, заметив, что не знает, как правильно оценивать ИИ в 2025 году. По его словам, пока не существует конкретных метрик эффективности моделей генеративного искусственного интеллекта.
В конце февраля инженеры OpenAI провели исследование и выяснили, что ИИ-модели пока не смогут заменить даже программиста-новичка. Так, тестируемые модели часто допускали ошибки, так как не могли понять контекст.