Ilumina, mise en correspondance de la géométrie virtuelle avec la géométrie réelle.
Projet de spécialité ENSIMAG proposé par Renaud Blanch.
mise à jour : 18 avril 2011.
vision par ordinateur, interaction Homme-machine
programmation, traitement d'image, géométrie analytique
Le contexte de ce travail est une installation interactive destinée à être exposée dans des festivals d'arts numériques : Ilumina. Cette installation a été conçue en collaboration avec Tomás Laurenzo, enseignant-chercheur en interaction Homme-machine et en art interactif à l'université de Montevideo (Uruguay) et Marcelo Vidal, un designer et plasticien uruguayen. Elle a été sélectionnée pour être montrée dans le cadre du festival PLAY IN qui se tiendra dans les rues de Grenoble les 24 et 25 juin 2011.
L'installation Ilumina consiste en une scène blanche comportant des volumes pyramidaux blancs entre lesquels les visiteurs peuvent déambuler. L'ensemble est plongé dans l'obscurité, seulement éclairé par un projecteur qui illumine les différents objets. Cette lumière synthétique est modulée par les déplacements des visiteurs : elle simule l'éclairement et les ombres qui existeraient sur la scène si chaque personne la parcourant était une source de lumière.
La partie « rendu graphique » (simulation de la lumière, édition interactive de la géométrie) est opérationnelle. La partie « suivi des visiteurs » est le principal objet de ce projet de spécialité.
Le but de ce projet est principalement de réaliser la partie suivi des visiteurs. Le principal défi ici est que l'image capturée par la caméra filme la projection de la lumière simulée qui varie au cours du temps : il n'y a donc pas d'image de référence. L'approche classique par différence d'images ne peut donc être utilisée sans adaptation. Plusieurs pistes peuvent être envisagées : faire de la différence d'image entre l'image réelle et une image synthétique ; faire de la différence d'image sur une image de profondeur acquise à l'aide d'un capteur de Kinect ; travailler dans le domaine infrarouge ; etc.
En fonction de l'avancement sur ce premier objectif, et de la sensibilité des étudiants, le projet pourra être étendu à la partie interaction et rendu : plutôt que simuler une lumière réaliste, pourquoi ne pas explorer des modèles de lumière plus expressifs (des halos autour des visiteurs, des lumières qui ne se superposent pas simplement mais dont les interactions ont des effets inattendus, poétiques, suggestifs, etc.) ?
L'encadrement du stage et les essais en vraie grandeur auront lieu sur le campus de Saint-Martin d'Hères (LIG IIHM, bâtiment IMAG B). Le développement pourra être réalisé dans n'importe quel langage (l'existant utilise Python/OpenGL pour le rendu et OSC pour la communication avec le tracker).
Ce sujet est adapté à un groupe de 2 à 4 personnes. Suivant la taille du groupe, le périmètre du projet pourra être élargi au rendu comme suggéré ci-dessus.