Sculpture virtuelle (Post-WIMP 16/17)

Page pour le projet Post-WIMP 2016/2017 : Sculpture virtuelle

Introduction

Équipe de projet

Maxence Hammen
Ilyes Kacher
Mickaël Ly
Mikaël Muller

Motivations

L’idée du projet est de proposer aux artistes 3D la possibilité de concevoir des modèles virtuels tels qu’ils le feraient avec des outils physiques (sculpture, pâte à modeler, etc.).

En effet, le monde physique possède de nombreux avantages. D’une part, l’action, la réponse et la réaction de l’objet sont immédiates et directes. D’autre part, la vision même de l’objet d’étude est aisée : il suffit de le déplacer, ou de changer le point de vue afin de s’en faire une bonne représentation.

Les outils actuels de modélisation graphique sont pour l’instant loin de comporter ces avantages. Il est possible d’observer la réponse du modèle 3D à une action, mais aucune réaction n’y est associée. Mais le point crucial est que toute l’interaction s’effectue en 2D. L’utilisateur a donc une moins bonne perception de la géométrie de l’objet, et surtout, un moins bon contrôle de ses actions dans l’univers 3D qu’il manipule : à quelle profondeur se trouve son curseur et à quelle profondeur le veut-il ?

Public adressé

Les cibles principales de cette interaction sont les novices dans le domaine de l’infographisme 3D. Souvent rebutés et désarçonnés par la complexité des logiciels de modélisation 3D, les nouveaux utilisateurs vivent de premières expériences d’utilisation souvent désagréables, et surtout décevantes par rapport à l’idée que “dessiner n’est pas si difficile”. En leur proposant une interaction qui se veut être plus naturelle avec un "crayon 3D"avec un retour haptique, et un contrôleur basique, le but est de permettre à ces novices de plus facilement effectuer les tâches simples dont ils auraient besoin.

En ce qui concerne les utilisateurs avancés, le problème est tout autre. Leur utilisation requiert des mécaniques complexes, la liste des raccourcis claviers de ces logiciels en témoignant. Néanmoins, la piste du crayon à retour haptique peut se révéler intéressante en tant qu’alternative à la souris. Ce n’est toutefois pas l’objet de ce projet.

Spécifications techniques

Phantom

Un guide d'installation rédigé par nos soins est disponible ici.

Le phantom, officiellement nommé Geomagic Touch, est un dispositif composé d'un bras mécanique articulé et et muni de servomoteurs en ce qui concerne la partie physique, et d'un système d'exploitation dédié à l'appareil. Ce dernier permet un calcul en temps réel de l'asservissement des servomoteurs afin d'induire un retour haptique à travers le stylet se situant au bout du bras.

Au vu des capacités du phantom, son utilisation nous est donc apparue naturelle lorsque nous avons voulu adapter à la 3D l'intéraction classique du crayon appuyant sur la feuille de papier. Le phantom a donc pour but d'émuler ici un crayon 3D.

Manette de Xbox

Nous souhaitions à l'origine offrir à l'utilisateur en complément du phantom un contrôleur simple pour "déplacer sa feuille" et "changer de crayon". Pour ce faire, l'idée d'un joystick muni de quelques boutons a été retenue. Cependant, pour des raisons matérielles et techniques, c'est la partie gauche d'une manette de Xbox qui a fait office de contrôleur.

Le choix d'un joystick s'est fait au moment où nous avons étudié les fonctions "périphériques" à celle de dessin au sein de notre système d’interaction. Nous aurions pu affecter toutes les fonctionnalités au phantom, mais cela aurait été contre-intuitif, et sans doute peu pratique d'avoir à déplacer des objets avec le *crayon* utilisé pour dessiner. Bénéficier donc d'un système avec 2 degrés de liberté - comme la souris - avec différents "modes" nous a donc semblé indispensable pour effectuer les actions non-assignables au phantom.

Unity

Afin de pouvoir implémenter des fonctionnalités à partir du matériel décrit ci-dessus, nous avons décidé d'utiliser le moteur Unity.

Cet outil est très puissant et très utilisé dans le monde, notamment du fait de sa simplicité d'utilisation pour des utilisateurs novices, mais aussi car il offre de nombreuses fonctionnalités. Il est également possible d'étendre le logiciel, comme pour par exemple ajouter des nouveaux moyens d'interactions. Dans notre cas, nous avons pu trouver une extension pour utiliser le Phantom et la manette Xbox et ainsi créer la possibilité d'interagir sur la scène avec ces appareils.

Cet outil nous permet de créer plus facilement des scènes 3D et cela correspond donc plus à notre objectif qui est de réaliser un prototype d'un nouveau type d'interaction.

Description du produit

Fonctionnalités présentes

Le prototype actuel contient une implémentation minimaliste permettant de travailler sur un objet centré 3D. Les actions disponibles sont les suivantes :

Contrôles manette	Contrôles phantom
Source

Contrôles de la manette

Caméra

Joystick (déplacement) : Caméra en mode arcball autour d'un objet
Croix directionnelle haut/bas (appui) : Zoom/Dezoom

Outil

LT (maintien) + Joystick (déplacement) : Roue de couleur
LB (maintien) + Joystick (déplacement) : Taille du curseur

Contrôles du phantom

Bouton 1 (maintien) : Ajout de matière
Bouton 2 (appui/maintien) : Gomme

Fonctionnalités manquantes

Le mode "Édition de scène" est absent. Le seul travail possible est celui autour d'un objet. Manquent donc les fonctionnalités suivantes :

Ajout de primitives ;
Déplacement d'objet dans la scène ;
Sauvegarde/Importation.

Le mode "Peinture" a lui été quelque peu élimé :

La roue de couleur est présente pour l'ajout de matière, mais ne dispose pas d'un variateur de luminance ;
Peindre n'est pas possible.

Problèmes restants

Parmi les fonctionnalités implémentées, nous pouvons déplorer les bugs suivants :

L'opération de gommage n'est pas temps-réel

Évaluation de l'interaction

Protocole de test

Note importante : Du fait de l'usage de la manette de Xbox en tant qu'ersatz de joystick, l'interaction n'est pas optimale pour des personnes gauchères...

L'évaluation du prototype a été effectuée selon le protocole et les règles suivants :

Objectifs

Évaluer le contrôle de la caméra
Évaluer l’utilisation de la manette et du bras
Évaluer la correspondance entre l’intention et la sculpture

Scenarii de test

Scénario 1

Scène	Tâche à réaliser	Objectif
Ardoise	Écrire le mot bonjour. Ne pas utiliser la manette	Habituer l’utilisateur au système, observer l’aisance de l’utilisateur avec le bras

Scénario 2

Scène	Tâche à réaliser	Objectif
Cube avec un texte écrit derrière accessible en utilisant la caméra, et assez petit pour qu’il soit nécessaire de zoomer pour le voir	“Il y a un texte écrit derrière ce cube, en utilisant les contrôles, pouvez-vous nous dire ce qu’il est écrit”	Observer l’aisance de l’utilisateur avec la manette, observer si l’utilisateur comprend par lui-même les contrôles de la manette

Scénario 3

Scène	Tâche à réaliser	Objectif
Paysage	Effectuer les commandes suivantes : Dessiner une porte, couper le buisson à l'entrée, fermer la clôture et dessiner un chemin jusqu'au pont	Observer comment l’utilisateur se débrouille avec tous les contrôles ensemble, observer la qualité du résultat

Entretiens post-test

Dans le scénario 3, êtes-vous satisfait du résultat ? Avez-vous été limité par le système pour reproduire ce vase ? (Question à poser tout de suite “tant que l’utilisateur est chaud”)
Utiliseriez-vous ce système pour faire un objet 3D ?
Pensez-vous que cela répond à la problématique ?
Quels sont les défauts de notre système ?
Que pensez-vous du contrôle de la caméra ? Une amélioration ?
Que pensez-vous du contrôle du bras ? Une amélioration ?
Avez-vous ressenti une quelconque gêne avec ce système ?
Y a-t-il une partie de l’interaction qui n’est pas claire ?
Que pensez-vous du système dans sa globalité?
Bonus : Si l'utilisateur a une expérience avec les logiciels d'infographie 3D classiques : quel est son niveau ? Comparer les deux interactions ?

Résultats

Média:PW_1617_1-Évaluation_-_Quentin._Lissack.pdf‎

Média:PW_1617_2-Évaluation_-_Elie_Richaud-Andreucci.pdf‎

Média:PW_1617_3-Évaluation_-_Julian_Bustillos.pdf‎

Média:PW_1617_4-Évaluation_-_Vincent_Genty.pdf‎‎

Média:PW_1617_5-Évaluation_-_Isabelle_Morin.pdf‎

Média:6-Évaluation_-_Lionel_Reveret.pdf

Conclusion

Le problème de perception en profondeur rend le dessin 3D très difficile, pour palier ce problème il est possible de rajouter de la stéréovision ou un appareil de réalité virtuelle (oculus ou autre). Lors du déplacement de la caméra la position du stylet n’est pas fixe, ce problème provoque un besoin de synchronisation visuelle de l’utilisateur entre la position de la caméra, du stylet 3D, et du phantom. Ce besoin de synchronisation interrompt l’interaction. Pour corriger ce problème, il faut revoir le système de la caméra et modifier le plugin du phantom pour avoir plus de liberté dans le déplacement du stylet (changement de repère local/global).

En plus des éléments constatés précédemment, le déplacement de la caméra par translation était attendu par la majorité des testeurs.

Pour conclure, l’interaction de dessin 3D avec le phantom a été perçue comme simple et ludique. Au vu des défauts du prototype pour le déplacement de la caméra et la perception de la profondeur, nous ne pouvons pas conclure sur l’utilité et l’efficacité de l'interaction. Cependant les résultats de l’évaluation confirment que l’interaction peut être améliorée avec de la stéréovision et un meilleur contrôle de la caméra. Au vu de ces résultats, il est possible de poursuivre le cycle de développement avec une deuxième itération.