RNRT VERBATIM 
VERication Biformelle et Automatisation du Test
d'Interfaces Multimodales

 

Partenaires :
CLEARSY – CLIPS/IIHM - FT R&D

LISI/ENSMA – LSR/VASCO – ONERA – SILICOMP/AQL

 

Projet EXploratoire RNRTANR

Date : 19 décembre 2003 (2 ans) étendu jusqu’au 18 janvier 2007

 

 

 

 

 

Résumé

 

 

 

 

De nombreuses applications de télécommunication mobile seront multimodales, intégrant dans un mźme terminal les différents modes d'interaction aujourd'hui en cours de banalisation : clavier-écran-souris, voix, stylets et médiateurs tactiles, interacteurs de simulation des applications ludiques, des interfaces de commande en aéronautique, des applications en cours de mise au point en réalité augmentée pour des besoins spécialisés en situation de mobilité. L'intégration de la multimodalité dans les services et terminaux mobiles engendre des besoins nouveaux de spécification et validation formelles. L'objet du projet VERBATIM est de construire une méthode formelle d'aide ą l'ingénierie de telles interfaces homme-machine communicantes. On s'attachera plus particuliŹrement ą mettre au point une méthode de validation/test ą la fois formelle et garantissant un acceptabilité optimale de la part de l'utilisateur. Le formalisme exploitera la complémentarité des langages formels ensemblistes, principalement B, et celui des langages formels réactifs synchrones, principalement Lustre. Les modŹles proviennent de la mise en commun de travaux sur la modélisation et validation des IHMs (Interfaces Homme-Machine) conventionnelles, et sur les travaux de conception d'architectures d'IHMs multimodales. L'ensemble du projet sera contrôlé par des recommandations d'ergonomie et par des tests d'usages socio-ergonomiques.

Mots-clés : Multimodalité, Interaction Homme-Machine, Support mobile, Génie Logiciel, Formalisation, Tests.

Poster : VerbatimPoster.pdf

 

SP1  Contexte applicatif et besoins utilisateurs

 

FT R&D

 

1.1

Lot 1 Etat de l’art
Méthodes de test et recommandations ergonomiques

Document non diffusé publiquement

 

T0+5

FT R&D

Non diffusé

1.2

Lot 2 Recommandations ergonomiques

 

T0+6

T0+13

FT R&D

L1.2.pdf

1.3

Lot 3 Comparaison de méthodologies d'élaboration

de recommandations ergonomiques pour les interfaces multimodales

 

T0+15

FT R&D

L1.3.pdf

1.4

Lot 4 Recommandations ergonomiques formalisables

 

T0+7

T0+13

FT R&D

L1.4.pdf

 

SP2  Tests d'applications multimodales

au moyen de l'approche synchrone

LSR/VASCO

 

2.1

Lot 1 –a- Expression de propriétés ergonomiques et fonctionnelles d'applications multimodales

dans le formalisme synchrone

 

Lot 1 –b- Guide de conception de propriétés de services multimodaux

 

T0+8

 

 

T0+12

LSR/VASCO

L2.1-a.pdf

 

L2.1-b.pdf

2.2

Lot 2 Prototype logiciel - Plate-forme LUTESS

pour les services multimodaux dans le formalisme synchrone

T0+24

 

 

LSR/VASCO

CLIPS/IIHM

L2.2.pdf

 

SP3  Modélisation d'IHMs multimodales :

les techniques de preuve

LISI/ENSMA

 

3.1

Lot 1 Etat de l’art : Modélisation et Validation formelle

d'IHM

 

T0+6

 

LISI/ENSMA

L3.1.pdf

3.2

Lot 2 Démarche de modélisation d'IHM3 avec B

 

 

T0+18

 

 

LISI/ENSMA

L3.2.pdf

3.3

Lot 3 Démarche de modélisation d'IHM3 avec B et CTT

 

 

T0+24

 

 

LISI/ENSMA

L3.3.pdf

3.4

Lot 4 Validation d’IHM3 par animation de modŹles B

 

 

T0+24

 

 


LISI/ENSMA

SILICOM/AQL

L3.4.pdf

3.5

Lot 5 CASTING et test d’IHM multimodales

T0+24

 

 

SILICOMP/AQL

L3.5.pdf

 

SP4  Analyses statiques pour la validation de codes

ONERA

 

4.1

Lot 1 Etat de l’art : Analyse statique pour la génération

de modŹles

T0+4

 

ONERA

L4.1.pdf

4.2

Lot 2 Abstraction de programmes guidée les propriétés

 

Lot 2 Maquette de démonstration

T0+12

 

T0+24

ONERA

L4.2.pdf

 

 

4.3

Lot 3 Elaboration de modŹles guidée par abstraction de données et d'opérateurs

 

Lot 3 Maquette de démonstration

T0+12

 

 

T0+24

ONERA

L4.3.pdf

4.4

Lot 4 Vérification de modŹles et génération de

scénarios de test des programmes

 

Lot 4 Maquette de démonstration de traducteurs

T0+18

 

 

T0+24

ONERA

 

SP5  Test in situ d'interfaces et d'interactions de services mobiles multimodales

FT R&D

 

5.1

Lot 1 Etat de l’art : Génération de scénarios de test

mobiles multimodaux

T0+5

 

FT R&D

L5.1.pdf

5.2

Lot 2 Rapport d'expérimentation

Lot 2 Maquette de démonstration

 

Document et maquette non diffusés publiquement

T0+18

 

T0+24

FT R&D

Non diffusé

5.3

Lot 3 –a- Extraction de recommandations ergonomiques formalisables

Lot 3 –b- Spécifications de propriétés formelles

 

Ces deux documents ont été remplacés par le document :
Expérimentation utilisateurs d’un service multimodal
« Plan Resto »

T0+18

 

 

T0+24

FT R&D

L5.3.pdf

 

Etude de cas commune  « Pages Jaunes CLIPS »

18/04/06

CLIPS/IIHM

PagesJaunesCLIPS.pdf

 

Vidéo :
PagesJaunesCLIPS.wmv

 

SP6  Intégration

CLIPS/IIHM

 

6.1

Lot 1 Intégration - Ergonomie et Approches fondées sur des techniques formelles - Positionnement dans un cycle de vie

T0+24

 

CLIPS/IIHM

ONERA

L6.1.pdf

6.2

Lot 2 Coordination par études de cas communes

 

T0+24

CLIPS/IIHM

L6.2.pdf

 

 

PUBLICATIONS

 

 

 

 

Design space for multimodal interaction

Laurence Nigay

 

Proceedings of IFIP Congress'2004, Building the Information Society, Edited by René Jacquart, Toulouse, France, 22-27 august 2004, Kluwer Academic Publishers, ISBN 1-4020-8156-1, pp. 403-408.

 

CLIPS/IIHM

NigayCongress04.pdf

 

A generic formal specification of fusion of modalities in a multimodal HCI

Yamine Ait-Ameur and Nadjet Kamel

 

Proceedings of IFIP Congress'2004, Building the Information Society, Edited by René Jacquart, Toulouse, France, 22-27 august 2004, Kluwer Academic Publishers, ISBN 1-4020-8156-1, pp. 415-420.

LISI/ENSMA

AitAmeurCongress04.pdf

 

 

Modélisation et vérification formelle des IHM multimodales
Nadjet Kamel

 

RJC-IHM 2004. Rencontres Jeunes chercheurs en Interaction Homme-Machine. AFIHM.

 

 

LISI/ENSMA

RJCIHM04.pdf

 

Modèle formel général pour le traitement d’interactions multimodales

Nadjet Kamel et Yamine Ait-Ameur

 

Actes de la conférence IHM 2004, Namur, Belgique, ACM, pp. 219-222.

LISI/ENSMA

IHM04.pdf

 

 

Bridging the gap between formal and experimental validation approaches in HCI systems design: use of the event B proof technique.
Yamine Ait-Ameur, Mickael Baron

 

Proceedings of ISOLA 2004.

 

LISI/ENSMA

ISOLA04.pdf

 

Encoding a process algebra using the Event B Method. Application to the validation of user interfaces.

Yamine Ait-Ameur, Mickael Baron, Nadjet Kamel

 

Proceedings of ISOLA 2005.

LISI/ENSMA

ISOLA05.pdf

 

 

Testing the CARE properties of multimodal applications by means of a synchronous approach
Laya Madani, Laurence Nigay, Ioannis Parissis

 

Proceedings of SE 2005, IASTED International Conference on Software Engineering, Innsbruck, Austria, february 17-19 2005, ACTA Press, ISBN 0-88986-464-0, pp. 181-186.

 

CLIPS/IIHM
LSR/VASCO

IASTED05.pdf

 

Synchronous Testing of Multimodal Systems: an Operational Profile-Based Approach

Laya Madani, Catherine Oriat, Ioannis Parissis, Julien Bouchet, Laurence Nigay

 

Proceedings of ISSRE 2005, 16th IEEE International Symposium on Software Reliability Engineering, Chicago, Illinois, USA, november 8-11 2005, IEEE Computer Society, pp. 325-334.

CLIPS/IIHM
LSR/VASCO

ISSRE05.pdf

 

 

Mise en oeuvre d'IHM multimodales dans un systŹme de CAO. Une approche fondée sur les méthodes formelles

Nadjet Kamel et Yamine Ait-Ameur

 

Revue Internationale d'Ingénierie Numérique, Conception collaborative et simulation, Numéro spécial sur l’interaction homme-machine et CAO, sous la direction de Perrin Estelle, Vol. 1/3, 2005, HermŹs, pp.235-256.

 

LISI/ENSMA

IHMCAO05.pdf

 

Validation et Vérification Formelles de SystŹmes Interactifs Multi-Modaux Fondées sur la Preuve

Yamine Ait-Ameur, Idir Ait-Sadoune, Jean-Marc Mota, Mickael Baron

 

Actes de la conférence IHM 2006, Montreal, Canada, ACM, pp. pp. 123-130.

LISI/ENSMA

IHM06.pdf

 

 

Etude et comparaison de scénarios de développements formels d'interfaces multi-modales fondés sur la preuve et le raffinement

Yamine Ait-Ameur, Idir Ait-Sadoune, Mickael Baron

 

MOSIM 2006 - 6Źme Conférence Francophone de Modélisation et Simulation. Modélisation, Optimisation et Simulation des SystŹmes Défis et Opportunités, Rabat, Maroc, Avril 2006, 2006.

 

LISI/ENSMA

MOSIM06.pdf

 

 

Towards a System of Patterns for the Design of Multimodal Interfaces
Guillaume Godet-Bar, Sophie Dupuy-Chessa and Laurence Nigay

 

Chapter 3. Computer-Aided Design of User Interfaces V. Proceedings of 6th International Conference on Computer-Aided Design of User Interfaces CADUI'2006, G. Calvary, C. Pribeanu, G. Santucci, J. Vanderdonckt Eds., Bucharest, 6-8 June 2006, Information Systems Series, Springer-Verlag, Berlin, 2006, pp. 27-40.

 

CLIPS/IIHM

CADUI06.pdf

 

Test formel de systŹmes interactifs multimodaux : couplage ICARE – Lutess

Frédéric Jourde, Laurence Nigay and Ioannis Parissis

 

Proceedings of ICSSEA'2006, 19th International Conference on Software & Systems Engineering and their  Applications: Service & System globalization, Paris, France, December 5-7, 2006.

CLIPS/IIHM
LSR/VASCO

ICSSEA06.pdf

 

 

 haut             DerniŹre modification faite par Laurence Nigay le 18/01/2007