Корейская компания Krafton объявила о запуске Orak, собственной системы оценки производительности ИИ-агентов, использующих крупные языковые модели (LLM), в контексте игрового процесса. Данная разработка призвана стандартизировать процесс анализа способностей искусственного интеллекта к восприятию, принятию решений и выполнению действий в игровых средах.
Orak анализирует процесс, в ходе которого ИИ-агенты распознают игровые ситуации, принимают решения и совершают действия, переводя эти процессы в количественные показатели. Система была разработана с использованием данных из шести ключевых игровых жанров: экшен, приключения, RPG, симуляторы, стратегии и головоломки. В основу Orak лег опыт Krafton, накопленный в ходе совместной разработки с Nvidia «Совместных игровых персонажей» (CPC) на базе искусственного интеллекта. Это позволяет проводить количественную оценку способности LLM-агентов интерпретировать сложные игровые сценарии и принимать соответствующие решения. Krafton выражает надежду, что Orak поможет ускорить инновации в области игрового опыта, где ИИ выступает как полноценный партнер.
Ключевой технологией, лежащей в основе Orak, является «Протокол контекста модели» (MCP). Она преобразует игровую информацию в текстовый формат, понятный для LLM, а затем преобразует ответы LLM обратно в действия, применимые в игре. Таким образом, LLM может обрабатывать игровое состояние в виде текста или изображений, выбирая оптимальные действия, подобно живому игроку. Krafton стремится установить новый стандарт в исследованиях ИИ-технологий через Orak и планирует в будущем расширить сферу применения своих исследований за пределы игровой индустрии. Компания также предоставит наборы данных для точной настройки LLM, чтобы помочь исследователям оптимизировать предварительно обученные LLM для реальных игровых условий.
«Orak — это игровой LLM-бенчмарк, в котором собраны передовые исследования и ноу-хау Krafton. На его основе в будущем планируется проведение соревнований по проектированию LLM-агентов. В дальнейшем мы продолжим совершенствовать LLM-технологии, оптимизированные для игровой индустрии, чтобы лидировать в инновациях игрового процесса с помощью ИИ» — Заявил глава отдела глубокого обучения Krafton Ли Канг-Ук.
Стоит отметить, что в этом году Krafton успешно представила десять своих научных работ на всемирно известных конференциях по искусственному интеллекту, таких как ICLR (International Conference on Learning Representations — Международная конференция по представлениям обучения) и ICML (International Conference on Machine Learning — Международная конференция по машинному обучению). Эти мероприятия являются одними из наиболее престижных в области машинного обучения и искусственного интеллекта. Три из представленных работ Krafton были особо отмечены в категории ICLR Spotlight, что указывает на их выдающееся качество и значимость, поскольку Spotlight присуждается избранным лучшим статьям на конференции.
