RNRT VERBATIM VERication Biformelle et Automatisation du Test d'Interfaces Multimodales Partenaires : CLEARSY – CLIPS/IIHM - FT R&D LISI/ENSMA – LSR/VASCO – ONERA – SILICOMP/AQL Projet EXploratoire RNRT – ANR Date : 19 décembre 2003 (2 ans) étendu jusqu’au 18 janvier 2007
	Résumé
	De nombreuses applications de télécommunication mobile seront multimodales, intégrant dans un même terminal les différents modes d'interaction aujourd'hui en cours de banalisation : clavier-écran-souris, voix, stylets et médiateurs tactiles, interacteurs de simulation des applications ludiques, des interfaces de commande en aéronautique, des applications en cours de mise au point en réalité augmentée pour des besoins spécialisés en situation de mobilité. L'intégration de la multimodalité dans les services et terminaux mobiles engendre des besoins nouveaux de spécification et validation formelles. L'objet du projet VERBATIM est de construire une méthode formelle d'aide à l'ingénierie de telles interfaces homme-machine communicantes. On s'attachera plus particulièrement à mettre au point une méthode de validation/test à la fois formelle et garantissant un acceptabilité optimale de la part de l'utilisateur. Le formalisme exploitera la complémentarité des langages formels ensemblistes, principalement B, et celui des langages formels réactifs synchrones, principalement Lustre. Les modèles proviennent de la mise en commun de travaux sur la modélisation et validation des IHMs (Interfaces Homme-Machine) conventionnelles, et sur les travaux de conception d'architectures d'IHMs multimodales. L'ensemble du projet sera contrôlé par des recommandations d'ergonomie et par des tests d'usages socio-ergonomiques. Mots-clés : Multimodalité, Interaction Homme-Machine, Support mobile, Génie Logiciel, Formalisation, Tests. Poster : VerbatimPoster.pdf

	SP1 Contexte applicatif et besoins utilisateurs		FT R&D
1.1	Lot 1 Etat de l’art Méthodes de test et recommandations ergonomiques Document non diffusé publiquement	T0+5	FT R&D	Non diffusé
1.2	Lot 2 Recommandations ergonomiques	T0+6 T0+13	FT R&D	L1.2.pdf
1.3	Lot 3 Comparaison de méthodologies d'élaboration de recommandations ergonomiques pour les interfaces multimodales	T0+15	FT R&D	L1.3.pdf
1.4	Lot 4 Recommandations ergonomiques formalisables	T0+7 T0+13	FT R&D	L1.4.pdf

	SP2 Tests d'applications multimodales au moyen de l'approche synchrone		LSR/VASCO
2.1	Lot 1 –a- Expression de propriétés ergonomiques et fonctionnelles d'applications multimodales dans le formalisme synchrone Lot 1 –b- Guide de conception de propriétés de services multimodaux	T0+8 T0+12	LSR/VASCO	L2.1-a.pdf L2.1-b.pdf
2.2	Lot 2 Prototype logiciel - Plate-forme LUTESS pour les services multimodaux dans le formalisme synchrone	T0+24	LSR/VASCO CLIPS/IIHM	L2.2.pdf

	SP3 Modélisation d'IHMs multimodales : les techniques de preuve		LISI/ENSMA
3.1	Lot 1 Etat de l’art : Modélisation et Validation formelle d'IHM	T0+6	LISI/ENSMA	L3.1.pdf
3.2	Lot 2 Démarche de modélisation d'IHM3 avec B	T0+18	LISI/ENSMA	L3.2.pdf
3.3	Lot 3 Démarche de modélisation d'IHM3 avec B et CTT	T0+24	LISI/ENSMA	L3.3.pdf
3.4	Lot 4 Validation d’IHM3 par animation de modèles B	T0+24	LISI/ENSMA SILICOM/AQL	L3.4.pdf
3.5	Lot 5 CASTING et test d’IHM multimodales	T0+24	SILICOMP/AQL	L3.5.pdf

	SP4 Analyses statiques pour la validation de codes		ONERA
4.1	Lot 1 Etat de l’art : Analyse statique pour la génération de modèles	T0+4	ONERA	L4.1.pdf
4.2	Lot 2 Abstraction de programmes guidée les propriétés Lot 2 Maquette de démonstration	T0+12 T0+24	ONERA	L4.2.pdf
4.3	Lot 3 Elaboration de modèles guidée par abstraction de données et d'opérateurs Lot 3 Maquette de démonstration	T0+12 T0+24	ONERA	L4.3.pdf
4.4	Lot 4 Vérification de modèles et génération de scénarios de test des programmes Lot 4 Maquette de démonstration de traducteurs	T0+18 T0+24	ONERA

	SP5 Test in situ d'interfaces et d'interactions de services mobiles multimodales		FT R&D
5.1	Lot 1 Etat de l’art : Génération de scénarios de test mobiles multimodaux	T0+5	FT R&D	L5.1.pdf
5.2	Lot 2 Rapport d'expérimentation Lot 2 Maquette de démonstration Document et maquette non diffusés publiquement	T0+18 T0+24	FT R&D	Non diffusé
5.3	Lot 3 –a- Extraction de recommandations ergonomiques formalisables Lot 3 –b- Spécifications de propriétés formelles Ces deux documents ont été remplacés par le document : Expérimentation utilisateurs d’un service multimodal « Plan Resto »	T0+18 T0+24	FT R&D	L5.3.pdf
	Etude de cas commune « Pages Jaunes CLIPS »	18/04/06	CLIPS/IIHM	PagesJaunesCLIPS.pdf Vidéo : PagesJaunesCLIPS.wmv

	SP6 Intégration		CLIPS/IIHM
6.1	Lot 1 Intégration - Ergonomie et Approches fondées sur des techniques formelles - Positionnement dans un cycle de vie	T0+24	CLIPS/IIHM ONERA	L6.1.pdf
6.2	Lot 2 Coordination par études de cas communes	T0+24	CLIPS/IIHM	L6.2.pdf

	PUBLICATIONS
	Design space for multimodal interaction Laurence Nigay Proceedings of IFIP Congress'2004, Building the Information Society, Edited by René Jacquart, Toulouse, France, 22-27 august 2004, Kluwer Academic Publishers, ISBN 1-4020-8156-1, pp. 403-408.	CLIPS/IIHM	NigayCongress04.pdf
	A generic formal specification of fusion of modalities in a multimodal HCI Yamine Ait-Ameur and Nadjet Kamel Proceedings of IFIP Congress'2004, Building the Information Society, Edited by René Jacquart, Toulouse, France, 22-27 august 2004, Kluwer Academic Publishers, ISBN 1-4020-8156-1, pp. 415-420.	LISI/ENSMA	AitAmeurCongress04.pdf
	Modélisation et vérification formelle des IHM multimodales Nadjet Kamel RJC-IHM 2004. Rencontres Jeunes chercheurs en Interaction Homme-Machine. AFIHM.	LISI/ENSMA	RJCIHM04.pdf
	Modèle formel général pour le traitement d’interactions multimodales Nadjet Kamel et Yamine Ait-Ameur Actes de la conférence IHM 2004, Namur, Belgique, ACM, pp. 219-222.	LISI/ENSMA	IHM04.pdf
	Bridging the gap between formal and experimental validation approaches in HCI systems design: use of the event B proof technique. Yamine Ait-Ameur, Mickael Baron Proceedings of ISOLA 2004.	LISI/ENSMA	ISOLA04.pdf
	Encoding a process algebra using the Event B Method. Application to the validation of user interfaces. Yamine Ait-Ameur, Mickael Baron, Nadjet Kamel Proceedings of ISOLA 2005.	LISI/ENSMA	ISOLA05.pdf
	Testing the CARE properties of multimodal applications by means of a synchronous approach Laya Madani, Laurence Nigay, Ioannis Parissis Proceedings of SE 2005, IASTED International Conference on Software Engineering, Innsbruck, Austria, february 17-19 2005, ACTA Press, ISBN 0-88986-464-0, pp. 181-186.	CLIPS/IIHM LSR/VASCO	IASTED05.pdf
	Synchronous Testing of Multimodal Systems: an Operational Profile-Based Approach Laya Madani, Catherine Oriat, Ioannis Parissis, Julien Bouchet, Laurence Nigay Proceedings of ISSRE 2005, 16th IEEE International Symposium on Software Reliability Engineering, Chicago, Illinois, USA, november 8-11 2005, IEEE Computer Society, pp. 325-334.	CLIPS/IIHM LSR/VASCO	ISSRE05.pdf
	Mise en oeuvre d'IHM multimodales dans un système de CAO. Une approche fondée sur les méthodes formelles Nadjet Kamel et Yamine Ait-Ameur Revue Internationale d'Ingénierie Numérique, Conception collaborative et simulation, Numéro spécial sur l’interaction homme-machine et CAO, sous la direction de Perrin Estelle, Vol. 1/3, 2005, Hermès, pp.235-256.	LISI/ENSMA	IHMCAO05.pdf
	Validation et Vérification Formelles de Systèmes Interactifs Multi-Modaux Fondées sur la Preuve Yamine Ait-Ameur, Idir Ait-Sadoune, Jean-Marc Mota, Mickael Baron Actes de la conférence IHM 2006, Montreal, Canada, ACM, pp. pp. 123-130.	LISI/ENSMA	IHM06.pdf
	Etude et comparaison de scénarios de développements formels d'interfaces multi-modales fondés sur la preuve et le raffinement Yamine Ait-Ameur, Idir Ait-Sadoune, Mickael Baron MOSIM 2006 - 6ème Conférence Francophone de Modélisation et Simulation. Modélisation, Optimisation et Simulation des Systèmes Défis et Opportunités, Rabat, Maroc, Avril 2006, 2006.	LISI/ENSMA	MOSIM06.pdf
	Towards a System of Patterns for the Design of Multimodal Interfaces Guillaume Godet-Bar, Sophie Dupuy-Chessa and Laurence Nigay Chapter 3. Computer-Aided Design of User Interfaces V. Proceedings of 6th International Conference on Computer-Aided Design of User Interfaces CADUI'2006, G. Calvary, C. Pribeanu, G. Santucci, J. Vanderdonckt Eds., Bucharest, 6-8 June 2006, Information Systems Series, Springer-Verlag, Berlin, 2006, pp. 27-40.	CLIPS/IIHM	CADUI06.pdf
	Test formel de systèmes interactifs multimodaux : couplage ICARE – Lutess Frédéric Jourde, Laurence Nigay and Ioannis Parissis Proceedings of ICSSEA'2006, 19th International Conference on Software & Systems Engineering and their Applications: Service & System globalization, Paris, France, December 5-7, 2006.	CLIPS/IIHM LSR/VASCO	ICSSEA06.pdf

haut Dernière modification faite par Laurence Nigay le 18/01/2007