В этом эксперименте я хотел попробовать что-то с мимикой и сделать это с помощью встроенных инструментов Unreal Engine. Я обнаружил, что создание головы с открытым ртом помогло получить дополнительные детали. Создание этих форм смешивания все еще было непростым, и этот результат далек от идеала. В идеале я хочу получить 58 сгенерированных ссылок на выражения и позволить ИИ разобраться с этим, ха-ха. Кстати, это первый раз, когда я запекал высокополигональные детали на низкополигонального сгенерированного персонажа. Это сработало удивительно хорошо! Конечный результат имеет 34k треугольников! Я построил этого персонажа из 4 отдельных частей в Blender и сгенерировал каждую часть в Hunyuan 3D Studio. Исходные ссылки были взяты из Nano Banana 2 и Grok. Trellis 2 в ComfyUI для текстурирования. Анимация была выполнена с помощью Control Rig в UEFN / Unreal Engine. С учетом всех экспериментов, управление файлами и версиями начинает становиться проблемой. Получение файлов с разных платформ, каждая из которых имеет свою логику именования файлов. Мне нужно найти что-то, чтобы держать это более организованным. Есть какие-нибудь предложения?

Это безумие! С LTX 2 в ComfyUI я смог сохранить свое оригинальное движение камеры + он полностью синхронизировал губы с пением, ха-ха. Все работает локально. Я сделал оригинальное видео в 2021 году, когда Metahumans только вышли, и мы работали в Unreal Engine 4. Этот музыкальный клип стал своего рода результатом моих первых экспериментов с Livelink и Control Rig в то время. Теперь новая улучшенная версия ИИ не идеальна, и я еще не обучал никакую lora для согласованности персонажа. У меня также не осталось оригинального видеофайла, поэтому я скачал версию с Youtube в качестве входных данных, ха-ха. Тем не менее, результат с камерой + мимика действительно многообещающие! Интересно, как она справится с более сложными и быстрыми кадрами.