DeepFaceLab on metahumans.
Proceso:
1- Modelado o Fotogrametria del modelo/actor original.
2- Generar animacion con Character Studio 4, Unreal Metahuman o cualquier programa que genere modelos virtuales fotorrealistas.
3- Ingresar imagenes / videos de referencia en Deepfacelab y generar iteraciones (puede tardar días de aprendizaje)
4- Combinar Deepfacelab con Modelos virtuales
Los resultados si bien son aceptables pueden mejorar, intenté realizar el mismo proceso con personajes más antiguos pero la falta de imagenes de referencias (deepfacelab utiliza miles de fotos para generar un modelo) o de buena calidad de las caras es un gran limitante hasta ahora.
Existen otros programas que utilizan una sola foto para generar un Deepfake (varias apps utilizan estos softwares con modelos pre-generados) pero dependerá de el tipo de animacion, deformacion o dialogo que necesitemos.
Character Studio 4 + Deepfacelab
Proceso de deepfake
Character Studio 4 animación de referencia
Unreal 5 metahuman + Deepfacelab
Ambient Light