Это безумие! С LTX 2 в ComfyUI я смог сохранить свое оригинальное движение камеры + он полностью синхронизировал губы с пением, ха-ха. Все работает локально. Я сделал оригинальное видео в 2021 году, когда Metahumans только вышли, и мы работали в Unreal Engine 4. Этот музыкальный клип стал своего рода результатом моих первых экспериментов с Livelink и Control Rig в то время. Теперь новая улучшенная версия ИИ не идеальна, и я еще не обучал никакую lora для согласованности персонажа. У меня также не осталось оригинального видеофайла, поэтому я скачал версию с Youtube в качестве входных данных, ха-ха. Тем не менее, результат с камерой + мимика действительно многообещающие! Интересно, как она справится с более сложными и быстрыми кадрами.