In diesem Experiment wollte ich etwas mit Gesichtsausdrücken ausprobieren und es mit den nativen Unreal Engine-Tools zum Laufen bringen. Ich habe festgestellt, dass das Generieren des Kopfes mit offenem Mund geholfen hat, einige zusätzliche Details zu erhalten. Das Erstellen dieser Blend Shapes war immer noch nicht einfach und dieses Ergebnis ist weit von perfekt entfernt. Idealerweise möchte ich 58 generierte Ausdrucksreferenzen und die KI soll das herausfinden, haha. Übrigens, das erste Mal, dass ich die hochauflösenden Details auf den niedrigauflösenden generierten Charakter gebacken habe. Das hat überraschend gut funktioniert! Das Endergebnis hat 34k Dreiecke! Ich habe diesen Charakter in 4 separaten Teilen in Blender erstellt und jeden Teil in Hunyuan 3D Studio generiert. Die ursprünglichen Referenzen stammen von Nano Banana 2 und Grok. Trellis 2 in ComfyUI für die Texturierung. Die Animation wurde mit Control Rig in UEFN / Unreal Engine durchgeführt. Mit all den Experimenten bisher wird das Datei- und Versionsmanagement zu einer Herausforderung. Dateien von verschiedenen Plattformen zu bekommen, wobei jede Plattform ihre eigene Dateinamenlogik hat. Ich muss etwas finden, um es besser organisiert zu halten. Irgendwelche Vorschläge?

Das ist verrückt! Mit LTX 2 in ComfyUI konnte ich meine ursprüngliche Kamerabewegung beibehalten + es hat ein vollständiges Lippen-Sync beim Singen gemacht, haha. Alles läuft lokal. Ich habe das ursprüngliche Video 2021 gemacht, als Metahumans gerade herauskamen und wir in Unreal Engine 4 gearbeitet haben. Dieses Musikvideo war eine Art Ergebnis meiner ersten Experimente mit Livelink und Control Rig zu dieser Zeit. Jetzt ist die neue, verbesserte KI-Version nicht perfekt und ich habe noch kein Lora für die Konsistenz der Charaktere trainiert. Ich hatte auch die ursprüngliche Videodatei nicht mehr, also habe ich die Youtube-Version als Eingabe heruntergeladen, haha. Das Kamerergebnis + die Gesichtsausdrücke sind jedoch wirklich vielversprechend! Ich frage mich, wie es mit komplexeren und schnelleren Aufnahmen umgehen würde.