3A Interactions post-WIMP - Composition de partitions numériques en multi-touch

Projet post-WIMP 2021/2022 — Saady Cherif, Lucie Fousse, Lubin Haas, Lucie Marien, Gaëlle Perdrix

Ce projet étudie l’application des interactions tactiles multi-touch à la création rapide et efficace de partitions musicales numériques simples, composition traditionnellement effectuée à la souris. L'objectif est d’évaluer l'intérêt d’introduire des outils de développement de musique sur des plateformes tactiles pour des utilisateurs amateurs.

Introduction

La composition musicale est un processus complexe et long, qui demande de gérer plusieurs instruments, de créer pour chacun d'entre eux une multitude de notes et de contrôler leur caractéristiques individuelles. L'expérience pratique d'un musicien, avant tout liée à sa mémoire motrice, ne se transfère pas dans l'écriture de partitions : le mouvement n'est en rien comparable.

Avant la création de solutions numériques de composition musicale, la rédaction de partitions se faisait à la main sur papier. De nombreux logiciels reposant sur des interactions WIMP (souris et menus déroulants) permettent aujourd'hui de créer des partitions numériques, plus facilement interprétables par des non-musiciens. Les interactions souris et menus permettent de régler finement les caractéristiques individuelles de chaque note : hauteur, intensité, début et fin de la note. La contrepartie de cette expressivité est le temps important entre la pensée et la réalisation de la modification.

Nous avons donc essayé de mettre en place des interactions qui vont au-delà du WIMP et d'évaluer leur performance pour la création musicale, dans un cadre amateur ou pédagogique. Ainsi, nous avons choisi de travailler sur des interactions avec les mains pour permettre aux novices et aux musiciens d'impliquer leur dextérité dans l'écriture de partitions, et d'avoir un retour rapide de ce qu'ils sont en train de faire.

Objectifs

Notre projet d'éditeur de partition avait initialement les objectifs suivants :

• Créer facilement, avec les doigts, une séquence de notes ajustables en hauteur, durée, volume, et déplaçables sur la partition ;
• Modifier simultanément les caractéristiques des notes ;
• Gérer plusieurs instruments ;
• Évaluer les performances d'une telle interaction par rapport à une interaction WIMP ;
• Évaluer la faisabilité d'une telle application à un niveau professionnel.

Une description de la solution envisagée (centrée utilisateur)

Pour notre solution, nous avons envisagé des interactions au doigt superposables, afin de réaliser simultanément différentes actions sur une même note, là où la souris ne peut les réaliser que successivement. Au cours du projet, nous avons dû écarter des fonctionnalités par manque de temps ou d'expérience.

• Toucher la partition permet de créer une note. La hauteur et l'instant de début de la note sont définis en fonction de la position du doigt sur la partition.
  • Lors de la création d'une note, toucher la partition et déplacer le doigt latéralement doit également permettre de définir sa durée.
• Toucher et maintenir le doigt sur la note permet de la sélectionner.
  • Sélectionner la note et bouger le doigt permet de modifier la hauteur et le début de la note (en fonction de la position du doigt au moment où la note est relâchée).
  • Sélectionner le bord de la note puis déplacer le doigt permet d'augmenter ou de diminuer la durée de cette dernière.
• Avec la main droite, sélectionner une certaine intensité, et avec la main gauche, sélectionner la note dont on veut modifier l'intensité.
• Sélectionner plusieurs notes à la fois et appliquer une même modification à chacune d'elles.
• Avoir plusieurs partitions différentes, que l'on peut modifier en parallèle, afin de modéliser l'écriture pour différents instruments en même temps.
• Pouvoir dupliquer une séquence de notes.

Présentation de notre interface

Les outils

D'un point de vue technique, ce projet a pour but d’offrir une alternative dans des cas simples (e.g. dans un contexte pédagogique) à la tâche de créer une partition avec des interactions WIMP, permettant une composition que l'on espère plus rapide et efficace, utilisant comme support des écrans tactiles à haute résolution.

L'interaction multi-touch possède de nombreux degrés de liberté qui nous ont semblé pertinents à la création d’information musicale complexe à travers une interface 2D. Nous utilisons comme support une table Meetiiim, une grande surface multi-touch, afin de maximiser la précision des touchers tactiles. (modèle utilisé)

Notre avons développé cette application à l'aide de Unity 2D, framework capable d’utiliser les multiples points de contact du multi-touch.

Les fonctionnalités

L’utilisateur dispose d'une partition rectangulaire, sur laquelle il peut poser des notes dont la hauteur et l’ordre dépendent de la position, par analogie avec une partition de musique réelle. La partition est ainsi lue de gauche à droite, l'axe horizontal représentant le temps et l'axe vertical la hauteur de la note.

En touchant la partition, l’utilisateur peut donc placer une note de musique donnée, et définir son début et sa fin en fonction des lieux de début et de fin de toucher. Des marqueurs verticaux désignent les emplacements des temps dans la musique. Les notes sont automatiquement placées sur le marqueur de temps le plus proche du toucher lors de leur création. Le volume sonore affecté à la note est contrôlé par un slider à droite de la partition, tandis que le tempo (vitesse de lecture) de la partition est contrôlé par un autre slider sur la gauche de la partition. Des boutons au-dessus de la partition permettent sa lecture sous forme audio. Nous n'avons pas implémenté la possibilité de travailler sur plusieurs instruments simultanément.

Un aperçu d'une création de partition via notre interface.

Les interactions

La partition est composée de 7 lignes horizontales, une pour chaque hauteur de note (Do, Ré, Mi, Fa, Sol, La, Si), et de lignes verticales qui marquent les temps. Les notes sont créées en touchant la partition avec un doigt : la note apparaît sur le marqueur de temps le plus proche. Le début de la note est défini par la position x du doigt. Une note est sélectionnée tant qu'un doigt la touche. Une note est déplacée par le doigt qui la sélectionne. Si elle est menée en dehors de la partition et relâchée, elle est supprimée. Si elle est déplacée sur la partition, son début et sa hauteur sont définis par la position du doigt (interaction move). La durée de la note est modifiée en saisissant la poignée à droite de la note, et en la tirant d'un côté ou de l'autre (interaction resize). Le volume de la note est défini à sa création par la valeur du slider volume. On peut le modifier en sélectionnant le slider de volume et la note simultanément (interaction volume).

La nature multi-touch de l’application permet d’effectuer simultanément les interactions resize, move et volume sur une note. On peut également déplacer et agrandir plusieurs notes à la fois. Le slider de volume est quant à lui commun à toutes les notes.

Nous n'avons pas implémenté la possibilité de sélectionner plusieurs notes avec une seule main pour pouvoir ensuite appliquer une même modification à chacune d'entre elles.

Visualisation des interactions

Voici ci-dessous les différentes interactions implémentées, les cercles rouges représentant les points de contact sur l'écran tactile.

Quelques interactions implémentées

Interaction	Visualisation	Interaction	Visualisation
Création d'une note (par toucher ou par glissement)		Déplacement et redimensionnement simultané d'une note
Déplacement d'une note (modification de sa hauteur et/ou de son origine)		Suppression d'une note par déplacement hors de la partition
Redimensionnement d'une note (modification de sa durée)		Modification du volume d'une note (au moment du toucher de la note, prend la valeur du slider Volume s'il est sélectionné)

Nos limitations

Notre maîtrise de Unity demeure limitée pour l’implémentation d’interactions multi-touch complexes, nous avons donc eu des difficultés à empiler des actions interprétables par l’application. Ainsi nous avons écarté les objectifs de composition d'une partition multi-instruments ou de modification/copie d'une séquence de notes.

La taille de la partition limite la durée de la musique composée, ainsi que la hauteur des notes qu'il est possible de créer (une seule gamme a été implémentée). Il aurait été intéressant d’explorer un système de défilement et de zoom qui aurait résolu ces lacunes, mais ce n'était pas fondamentalement nécessaire dans le cadre de notre prototype.

Enfin, la durée attribuée aux notes est actuellement purement visuelle et n'a aucun impact lors de la lecture audio de la partition : il n'y a qu'un fichier son de durée fixe par type de note. Cette fonctionnalité ne nous a en effet pas paru indispensable dans le cadre de notre prototype centré sur les interactions.

Évaluation du concept

Description des tests

Les systèmes de création de partitions WIMP permettent en général de réaliser des modifications fines et complexes sur les notes. Leurs interactions sont donc longues à maîtriser. Par opposition, notre prototype ne permet que quelques modifications simplistes, il est donc rapide à prendre en main. Ainsi, comparer un tel logiciel à notre prototype ne permet pas de comparer l'efficacité des interactions. Pour s'affranchir de ce problème, nous avons développé une version de notre prototype à la souris, avec les mêmes fonctionnalités.

Pour familiariser les testeurs avec les sensations de l’interaction tactile, et éviter que leurs retours ne soient biaisés par l'effet "waouh", nous leur avons laissé la possibilité de s'amuser sur le logiciel Paint, avec lequel il est possible de dessiner avec tous ses doigts en même temps.

Une fois sur le prototype, nous leur avons expliqué puis montré une fois comment marchent les différentes interactions présentées précédemment.

Puis nous les avons soumis aux 4 tests de rapidité suivants :

1. Créer les notes, dans l'ordre, de "Au clair de la lune" (si la personne ne connaît pas les notes, on les lui apprend).
2. Déplacer des notes déjà présentes sur la partition pour recréer "Au clair de la lune".
3. À partir de 5 notes de taille standard, le participant doit doubler leur longueur.
4. Réaliser un crescendo suivi d'un decrescendo (variations de volume) sur les notes déjà présentes de "Au clair de la lune".

Lors du 4ème test, le slider Volume a été positionné du côté de la main non-dominante du candidat (à gauche de la partition pour les droitiers, et inversement), afin qu'il puisse sélectionner les notes avec sa main dominante.

Chaque test a été réalisé 2 fois (ou 3 en cas d’échec) avant de passer au suivant, et tous les tests ont été réalisés sur la table multi-touch puis sur l'ordinateur.

Chaque participant a été chronométré et enregistré sur chaque test, afin de garder une trace de leur retour.

À la fin de tous les tests, les participants ont fait un retour général sur leur expérience.

Les participants

Les participants ont été au nombre de 3.

Tous ont suivi une formation musicale, mais ils ne jouent pas du même instrument.

Les résultats

Afin de vérifier si notre prototype apporte un avantage mesurable à la tâche, nous avons assigné à des utilisateurs les différentes tâches définies plus haut, d'abord sur la table multi-touch puis à la souris, tout en les chronométrant. Cette preuve de concept permet d’identifier les performances en vitesse et en précision de l'interaction. Il est attendu que l’utilisateur de l’application tactile, utilisant le prototype multitouch, ait un avantage mesurable et constant par rapport à un utilisateur sur PC standard.

Tous les temps donnés dans le tableau ci-dessous sont exprimés en secondes.

Récapitulatif des résultats obtenus lors des tests

	Test 1 (mélodie)				Test 2 (déplacement)				Test 3 (resize)				Test 4 (volume)
	Sur la table		Sur PC		Sur la table		Sur PC		Sur la table		Sur PC		Sur la table		Sur PC
Testeur 1	11.75	7.24	12.0	8.49	13.33	15.72	17.42	21.15	19.76	19.46	22.33	20.49	11.48	8.61	25.88	26.90
Testeur 2	8.97	7.60	7.70	8.36	9.89	11.71	16.65	17.49	16.68	17.17	19.66	18.23	8.39	5.11	27.21	24.57
Testeur 3	10.86	9.81	17.91	13.52	15.59	13.03	21.46	19.56

Analyse des résultats

Comparaison entre notre prototype et une version avec la souris

Le testeur 3 a réalisé ses manipulations "PC" sur la table multitouch, l'idée étant de voir l'impact de la taille de l'écran sur les performances. Nous nous sommes rapidement rendus compte que le temps de déplacement de la souris était fortement allongé par rapport aux testeurs 1 et 2 sur un écran de taille standard. On peut interpréter ce résultat par une sensibilité de la souris inadaptée à la surface.

Pour le placement des notes, on ne voit pas de différence notable. Les testeurs ont cependant trouvé plus agréable le placement des notes sur la table multitouch. Nous avons pu observer un mouvement plus précis avec la souris. Pour le déplacement des notes, les testeurs sont plus rapides avec la table. Le testeur numéro 2 s'est efforcé de déplacer plusieurs notes en même temps, il a fait le meilleur score, mais aussi le plus de créations de notes involontaires. (cf plus bas) Pour le resize, les utilisateurs ont utilisé plusieurs doigts ; là encore ils sont plus rapides, mais moins précis et ont rapporté être un peu gênés par le déplacement de la souris. On peut expliquer cette gêne par le gain de la souris.

Les utilisateurs ont unanimement déclaré qu'utiliser le resize et le déplacement simultanément était perturbant. Par ailleurs, ils ont eu des difficultés avec la taille de la poignée de la note. On a cependant remarqué que les utilisateurs étaient efficaces pour effectuer exactement les mêmes actions simultanément sur plusieurs notes (même déplacement, même resize).

Pour le volume, les utilisateurs sont beaucoup plus performants avec la table multitouch. Ce résultat est cohérent avec les études montrées en cours : la main non-dominante définit le contexte et la main dominante effectue les actions de précision.

Problèmes rencontrés

Gestion des touchers simultanés

Il semblerait que gérer plusieurs interactions simultanément soit très difficile pour les utilisateurs. Ils ont spontanément tous utilisé un seul doigt, et ont par la suite privilégié cette technique malgré nos rappels que des interactions utilisant simultanément plusieurs doigts étaient possibles.

Lorsque les utilisateurs ont utilisé plus de 2 doigts, c'était uniquement pour modifier une seule note, ou pour appliquer la même modification sur 2 notes différentes. Le test sur le volume a été apprécié, cependant, il s'agissait par nature d'une interaction à deux mains.

Il est visiblement très difficile pour le cerveau de paralléliser deux intentions entièrement découplées, comme réaliser deux actions complètement différentes sur les notes. De plus, la tâche de placement des notes nécessitant un certain temps de réflexion, en placer plusieurs à la fois n'est pas vraiment évident.

Interaction de déplacement et redimensionnement simultané

Bien que l'interaction consistant à simultanément déplacer une note sur la partition et modifier sa taille soit permise par notre application, celle-ci n'a pas rencontré un franc succès auprès des utilisateurs, qui l'ont tous jugée très perturbante.

Cela s'explique par le fait que lorsque la note est déplacée, le doigt chargé de modifier la taille de la note par son déplacement horizontal n'est plus en toucher direct avec la poignée. En effet, la modification de taille s'effectue en comparant la distance entre la position du doigt et la position initiale de la note ; de ce fait, le geste "naturel" consistant à suivre le déplacement de la poignée avec le doigt a pour effet de modifier la taille de la note (à moins que le déplacement soit purement vertical). Ce décalage entre l'interaction et l'objet n'est pas très instinctif pour un utilisateur non entraîné. De plus, il est difficile d'évaluer si l'on a donné à la note la taille désirée tant que celle-ci est en déplacement.

Pour rendre cette interaction plus intuitive, il aurait fallu recalculer la taille de la note selon l'écart entre le doigt chargé du redimensionnement et la nouvelle position de la note après chaque micro-déplacement. Cette méthode aurait toutefois nécessité que l'utilisateur coordonne le déplacement de ses doigts sur l'écran, et cela aurait potentiellement encore plus occulté la zone de déplacement.

Toucher de Midas

Le toucher de Midas est un problème récurrent lors du design d'une interaction utilisateur.^[1] En référence au roi Midas de la mythologie grecque, qui, après avoir reçu le don de changer tout ce qu'il touchait en or, transforma involontairement sa propre fille en statue d'or, le toucher de Midas fait référence au fait qu'un utilisateur peut activer des fonctionnalités d'un système de manière accidentelle, ou, plus généralement, au comportement d'un système qui n'arrive pas à déterminer avec assez de précision si une commande lancée par l'utilisateur a été lancée volontairement ou accidentellement. Un exemple relevant du toucher de Midas est par exemple l'activation accidentelle d'un assistant vocal via un mot-clé de réveil proche (une discussion sur la Syrie pouvant déclencher Siri (Apple) par commande vocale).

Dans le cadre de notre prototype, nous avons rencontré ce problème à deux reprises :

• La première occurrence du toucher de Midas a été rencontrée lors du placement des notes, et est commune à toute interaction tactile demandant de la précision : lorsqu'une note sélectionnée est relâchée, le doigt ne quitte pas la surface tactile à la verticale, et peut glisser et induire des mouvements parasites inévitables. Ces mouvements rendent difficile le positionnement d'une note avec précision.

Nous avons abordé ce problème en accrochant de manière magnétique les débuts de chaque note aux différentes subdivisions temporelles de la partition : en effet, dans le cadre de la musique, il est très rare d'avoir besoin d'une position temporelle réellement libre, qui ne suit pas du tout les subdivisions de la partition. Cette adaptation permet d'ailleurs aussi d'accélérer la saisie de notes sur la partition, l'interaction de création de notes n'ayant donc plus besoin d'être aussi précise.

• La deuxième occurrence de ce problème est celle qui est la plus difficile à contourner : en effet, si l'utilisateur "rate" l'endroit qu'il est supposé toucher (par exemple, la poignée permettant le redimensionnement d'une note), le système ne verra qu'un toucher sur la partition, et va donc créer une note en plus. De même, si l'utilisateur touche par mégarde la partition pendant une de ses interactions, par exemple avec une manche de vêtement, une note parasite sera aussi créée.

Ces interactions parasites sont non seulement frustrantes pour l'utilisateur, mais font aussi perdre en efficacité, la personne devant sélectionner et supprimer la note qu'elle a créée par erreur.

Un moyen de limiter l'impact de ce problème pourrait être d'établir une "zone de clémence" ; si un élément de la partition est proche de la position où l'utilisateur a touché, le système peut corriger l'erreur de précision et sélectionner l'élément le plus proche. Cette solution, si nous l'avions testée, aurait notamment pu nous permettre de déterminer si le taux de faux positifs (éléments sélectionnés par erreur alors que l'utilisateur voulait vraiment cliquer sur la partition) est plus ou moins important que le taux d'erreur sans cette correction.

Conclusion

Notre application a donné un cadre pour démontrer les avantages de l'interaction multi-touch par rapport à un logiciel classique dans le contexte de l'édition de musique. Nous avons observé que le gain de performances est minime pour la plupart des fonctionnalités étudiées. Des gains significatifs existent cependant pour les tâches répétitives nécessitant des acquisitions au clavier. Par ailleurs, il existe d'autres interactions WIMP très efficaces, comme les onglets ou les raccourcis clavier des logiciels classiques, qui elles n'ont pas été comparées à notre prototype. Nous sommes donc confiants dans l'appréciation que l'introduction du multi-touch à ce domaine ne constitue pas une amélioration significative de l'état de l'art.

Références

[1] : Article de l'UX Collective sur le toucher de Midas : ici