Expression captured by Scan Engine for a FACS rig

SCAN 3D d’EXPRESSIONS

Le scan3D d’exppressions implique de capturer un large éventail d’expressions faciales à l’aide de techniques de photogrammétrie, qui peuvent ensuite être utilisées pour recréer des déformations faciales réalistes pour les personnages numériques. Cependant, pour reproduire fidèlement une expression faciale spécifique, nous avons besoin de la rendre compatible avec le visage neutre.

Plusieurs protocoles de capture existe, nous nous adaptons aux préférences de nos clients.
L’un des protocoles les plus commun est le Facial Action Coding System (FACS) , une méthode d’analyse anatomique et de déconstruction des expressions faciales. Cette théorie nous permet de construire des émotions en combinant divers mouvements faciaux provenant de différentes parties du visage. En termes simples, l’expression de surprise peut être représentée comme une combinaison de sourcils levés et d’une mâchoire ouverte. Cette technique est utilisée dans le rigging pour produire des expressions faciales chez les personnages qui semblent plus naturelles et attrayantes.

Options de nettoyage FACS et d’expressions

Lors du traitement des expressions numérisées, nous proposons plusieurs options de nettoyage.

 

Le wrapping d’expressions

Pour chaque expression, notre équipe aligne méticuleusement chaque expression avec la pose neutre. Ensuite, avec un modèle nettoyé neutre, nous déformons le modèle du visage neutre pour qu’il corresponde à l’expression souhaitée. Les loops sont ajustées méticuleusement, et nous effectuons une passe d’optical flow pour garantir une déformation de peau cohérente dans l’espace UV et le maillage afin d’assurer un blend de texture homogène. Il s’agit d’une étape nécessaire pour préparer le modèle à la création de blendshapes. Nous livrons la géométrie et les textures dans divers formats (OBJ, ZTL, PNG, EXR, etc.).

Les blendshapes à la résolution du rig

Cette option de nettoyage s’appuie sur la précédente. Le résultat du wrapping d’expression est transformé en une blendshape qui s’adapte au visage neutre à la résolution du rig. Les textures des expressions sont corrigées en blendant avec la texture neutre afin de ne conserver que les éléments utiles de l’expression. Nous nous occupons de la segmentation des blendshapes et corrigeons tout déplacement éventuel, puis livrons le résultat au format OBJ ou Maya.

Les blendshapes à la résolution high poly

En plus des étapes mentionnées ci-dessus, nous transférons tous les détails capturés dans le scan vers une version haute résolution du modèle. Le scan est conforme au blendshape, et la surface de la peau est mise à jour avec tous les détails fins du scan d’expression. De plus, les informations géométriques sont intégrées dans les textures, de  displacement, de normale, d’ ambiante occlusion, et plus encore,.

L’ensemble de ces textures peuvent être mélangées dynamiquement dans un shader pour un réalisme amélioré. En plus d’une livraison en OBJ et Maya, nous ajoutons un fichier Zbrush incluant les détails fins de la géométrie.