Dans cette expérience, je voulais essayer quelque chose avec les expressions faciales et le faire fonctionner avec les outils natifs d'Unreal Engine. J'ai constaté que générer la tête avec la bouche ouverte aidait à obtenir des détails supplémentaires. Créer ces formes de mélange n'était toujours pas facile et ce résultat est loin d'être parfait. Idéalement, je veux 58 références d'expressions générées et laisser l'IA s'en charger haha. Au fait, c'est la première fois que je fais cuire les détails haute poly sur le personnage généré basse poly. Cela a fonctionné étonnamment bien ! Le résultat final a 34k triangles ! J'ai construit ce personnage en 4 parties séparées dans Blender et généré chaque partie dans Hunyuan 3D Studio. Les références originales provenaient de Nano Banana 2 et Grok. Trellis 2 dans ComfyUI pour le texturage. L'animation a été réalisée avec Control Rig dans UEFN / Unreal Engine. Avec tous les expérimentations jusqu'à présent, la gestion des fichiers et des versions commence à devenir un défi. Obtenir des fichiers de différentes plateformes, chacune ayant sa propre logique de nommage. Je vais devoir trouver quelque chose pour garder tout cela plus organisé. Des suggestions ?

C'est fou ! Avec LTX 2 dans ComfyUI, j'ai pu garder mon mouvement de caméra original + ça a fait un lip-sync complet sur le chant haha. Tout ça en local. J'ai réalisé la vidéo originale en 2021 quand les Metahumans sont sortis pour la première fois et que nous travaillions dans Unreal Engine 4. Ce clip musical était en quelque sorte le résultat de mes premières expériences avec Livelink et Control Rig à l'époque. Maintenant, la nouvelle version améliorée par l'IA n'est pas parfaite et je n'ai pas encore entraîné de lora pour la cohérence des personnages. Je n'avais également plus le fichier vidéo original, donc j'ai téléchargé la version Youtube comme entrée haha. Cependant, le résultat de la caméra + les expressions faciales sont vraiment prometteurs ! Je me demande comment ça gérerait des plans plus complexes et rapides cependant.