Команда исследователей китайского игрового гиганта NetEase разработала метод автоматического создания игровых персонажей пользователей из стандартной портретной фотографии. Портал syncedreview выбрал из исследования самое главное, а мы перевели его на русский язык.
Процесс генерации персонажа начинается с портретной фотографии игрока-человека, которая используется в качестве обучающего ввода для основанной на глубоком обучении основы, содержащей модуль имитатора и экстрактор признаков.
Имитатор предназначен для имитации поведения игрового движка для автоматического создания персонажа в стиле, соответствующем основной истине (генерируемой игровым движком). Принимая во внимание настроенные пользователем параметры лица, такие как прическа, стиль бровей, стиль бороды и стиль губной помады, в конечном итоге создаётся визуализированное изображение лица.
Но как обеспечить точность общего внешнего вида и локальных деталей при междоменном переходе? По сути, это проблема измерения подобия изображения в междоменной области (от реальной человеческой фотографии до аниме-похожих 3D-персонажей). Исследователи использовали глубокую сверхточную нейронную сеть и многозадачное обучение для решения этой проблемы.
Их решение состояло в том, чтобы использовать две тщательно разработанные функции потери: дискриминационная потеря и потеря содержимого лица. Например, форма лица человека и общее впечатление лица включены в общий вид, в то время как более конкретные черты, такие как тени в данном локальном регионе, также могут быть проанализированы.
Отличительной особенностью этой технологии является ее подход к трехмерной реконструкции лица, который создает управляемую костью модель, в отличие от других подходов к трехмерной реконструкции лица, которые создают трехмерные сетки. Таким образом, модель прогнозирует набор параметров лица с более четкой физической значимостью.
Процесс автоматической генерации не ограничивается фотографиями, он также может хорошо работать с художественными портретными данными, такими как эскизы и карикатуры. Исследователи полагают, что сгенерированные таким образом трехмерные персонажи имеют высокую степень сходства с входными двумерными изображениями, поскольку этот подход основан на лицевой семантике, а не на необработанных пикселях.
Хотя новый метод может автоматически генерировать игрового персонажа, пользователи также могут продолжить его редактирование в редакторе. Исследователи отмечают, что этот подход позволит настраивать детали и вносить дополнительные общие изменения в соответствии с потребностями игрока.
Метод перевода лица уже использовался китайскими геймерами более миллиона раз. Но пока неизвестно, когда он появится в играх.
