En 2011, Rémy Quittard et moi-même avions monté un projet de réalisation d’outil de prévisualisation sur plateau[1] (aussi appelé « previz on set »), basé sur un travail antérieur mené par des étudiants de master 2 d’ATI Rémy Quittard, Nicolas Serikoff et Xavier Gouchet (Gouchet, Quittard, et Serikoff 2007). Ce projet a été soutenu par le Conseil Général de Seine-Saint Denis à hauteur de 270 000 €, finançant ainsi un doctorat, de l’équipement (scanner 3D, système de capture de mouvement optique…) et nous avons créé un prototype fonctionnel qui a été présenté durant le festival Futur en Seine 2013[2], ainsi que durant le Paris FX de 2015.
Notre dispositif est composé de différents modules répartis sur plusieurs ordinateurs et tablettes et s’appuie sur différents logiciels : Unity 3D puis Unreal Engine, pour le moteur temps réel ; MotionBuilder pour la capture de mouvement et la plateforme Android pour les tablettes (Plessiet, Chaabane, et Khemiri 2015)[3].
Pour faire le lien entre les différents modules et plateformes, j’avais développé un protocole réseau basé sur un système peer to peer et UDP. Cette approche était déjà présente dans la bibliothèque que j’avais développée pendant ma thèse :
- Le module Cameraman composé d’un rig caméra[6], d’un dispositif de suivi des mouvements et d’une Kinect;
- · Le module metteur en scène composé d’une tablette tactile et reposant sur la réalité augmentée pour manipuler le décor, les personnages, les objets et l’éclairage ;
- casque de réalité virtuelle et d’une tenue de capture de mouvement ;
- Le module avacteur pour intégrer une « image en relief » d’un acteur réel dans le monde virtuel ;
- Le module acteur virtuel : le metteur en scène peut donner des ordres à des golems virtuels qui simulent des figurants virtuels.
[1] La prévisualisation sur le plateau (ou « Previz on Set »), consiste à prévisualiser directement pendant le tournage sur le plateau et pendant le compositing réel (tournage) et virtuel (incrustation d’effets spéciaux…). Il est ainsi possible pour le réalisateur de se faire une idée assez précise du résultat final du plan. Un tel dispositif nécessite d’utiliser des technologies issues du temps réel et de la réalité virtuelle.
[2] Plessiet, Cédric, Remi Quittard, Ghaya Khemiri et Salma Chaabane. 2013. « OutilNum ». Futur enSeine (Saint-Denis) 2013.
[3] Plessiet, Cédric, Salma Chaabane et Ghaya Khemiri. 2015. « Autonomous and interactive virtual actors, cooperative virtual environment for immersive Previsualisation tool oriented to movies ». In Virtual Reality International Conference – VRIC ’15, 1‑ 4. Laval: ACM Press. https://doi.org/10.1145/2806173.2806177.