NUAGE: Conception et évaluation d’une interface tangible audiovisuelle
La conception et l’évaluation de l’interface tangible audiovisuelle NUAGE s’inscrivent dans le projet de recherche de Marie-Eve Bilodeau, étudiante à la maîtrise en génie électrique à l’École de technologie supérieure (ÉTS).
La maîtrise de Marie-Eve Bilodeau est ancrée dans le domaine de l’interaction humain-machine. Son mémoire vise à repenser la conception des interfaces utilisées par les artistes performeur·euse·s audiovisuels.
Comment rendre la présence scénique des artistes audiovisuels plus intéressante et plus interactive, à la fois pour eux·elles-mêmes et pour leur audience?
Expérimentation NUAGE, séance de tests à la SAT, Crédit photo : Yan Breuleux, Visuels : Rémi Lapierre
Les interfaces traditionnellement utilisées pour la création d’œuvres performatives audiovisuelles sont principalement des outils logiciels. Ce sont des interfaces utilisateur graphiques qui offrent peu de possibilités d’interaction à l’artiste, en plus de l’invisibiliser.
Bilodeau propose donc l’utilisation d’interfaces « tangibles » comme alternative aux traditionnels ordinateurs, écrans, claviers et souris. Son mémoire présente une nouvelle méthodologie de design ancrée dans les principes de « l’interaction tangible » [1] pour guider la conception des interfaces performatives audiovisuelles.
Afin de tester et de mettre en action la méthodologie de design proposée, le prototype d’interface NUAGE a été conçu puis testé dans un contexte réel d’utilisation.
Résumé de la méthodologie
La méthodologie de design proposée par Bilodeau se base sur 4 grands principes de l’interaction tangible [2] :
Tangibility and materiality
Physical embodiment of data
Bodily interaction
Real space embeddedness
En d’autres mots, les interfaces doivent être matérielles, représenter les données de manière physique, permettre une interaction corporelle et s’inscrire dans l’espace physique réel.
La méthodologie identifie les intentions de design propres aux interfaces performatives audiovisuelles. Ainsi, une interface tangible devrait répondre aux objectifs suivants :
Expressiveness
Performativity
Participation
Aesthetics
Engagement
Finalement, la méthodologie propose une taxonomie des différents types d’interfaces tangibles audiovisuels :
Interactive Surface and Tabletops
Constructive Assemblies
Token and Constraints
Pressure Based Interfaces
Wearables
Motion Based Interfaces
Augmented Common Instruments
Pour plus de détail sur la méthodologie, consulter le mémoire de maîtrise « Méthodologie de conception des interfaces tangibles audiovisuelles et artistiques » de Marie-Eve Bilodeau [3].
Conception de l’interface NUAGE
L’interface NUAGE vise à répondre à toutes les intentions de design de la méthodologie. Elle implémente deux des types d’interface, soit celui à base de pression (Pressure Based Interface) et celui à base de mouvement (Motion Based Interface).
Le NUAGE est une structure 3D en silicone. Ses sept bulles creuses et indépendantes lui donnent l’apparence d’un cumulus. Chaque bulle est munie d’un capteur de pression barométrique. La bulle centrale est munie d’un capteur d’orientation. La structure du NUAGE a été réalisée en coulant du silicone liquide dans un moule conçu en impression 3D. Les capteurs insérés dans le NUAGE sont reliés à une plateforme de prototypage électronique qui traite les données reçues et les retransmet par le protocole de communication OSC via WiFi.
Le NUAGE est une interface de contrôle. Au même titre que le serait un clavier ou un keypad MIDI. Les données OSC qu’il transmet peuvent être utilisées par des logiciels de génération de contenu, tel TouchDesigner, pour créer des effets visuels et sonores.
L’utilisation du NUAGE est instinctive. Il s’agit de le prendre dans ses mains, de presser sur les bulles et de le bouger librement dans les airs. Une utilisation simpliste du NUAGE serait par exemple s’assigner chacune de ses bulles à une note de musique.
Interface NUAGE, Crédits photo : Marie-Eve Bilodeau et Yan Breuleux
Évaluation de l’interface
Le NUAGE a été évalué dans un contexte de création et d’interprétation d’une œuvre audiovisuelle devant public. Un contexte se rapprochant donc de son utilisation future réelle. Une expérimentation a été réalisée avec des participant·e·s à l’automne 2021.
Des participants-artistes ont reçu le mandat de créer une œuvre audiovisuelle de 5 minutes contrôlée par le NUAGE. Les visuels ont été élaborés par l’artiste-programmeur Rémi Lapierre. Il a développé un système de génération procédural d’animations 3D à l’aide de TouchDesigner. Yan Breuleux [membre cochercheur, UQAC-NAD] a réalisé la partie sonore de l’œuvre en collaboration avec Claude Asselin. Le contenu sonore a été conçu à l’aide de GRM Tools.
La séance de collecte des données a pris la forme d’une prestation de l’œuvre en direct devant des participant·e·s-public à la Société des arts technologiques (SAT) de Montréal.
Expérimentation NUAGE, novembre 2021, Crédits photo : Marie-Eve Bilodeau et Yan Breuleux, Visuels : Rémi Lapierre
Des questionnaires de type Likert ont été remis aux membres du public et aux artistes avant et après la performance. Une discussion informelle a suivi. Les questions et discussions portaient sur la perception de l’interface et de la performance, en lien avec les intentions de design énumérés plus haut. Par exemple, le niveau de visibilité de l’interface, le niveau de contrôle perçu et l’esthétisme des interactions étaient évalués.
La vidéo suivante présente l’œuvre « Close to me », interprétée par Yan Breuleux, lors de la séance d’expérimentation qui a eu lieu le 30 novembre à la SAT.
Expérimentation NUAGE, novembre 2021, Interprète : Yan Breuleux, Visuels : Rémi Lapierre
Cette expérimentation a permis de dégager des recommandations quant aux caractéristiques physiques de l’interface, mais également quant à la scénographie d’une œuvre l’utilisant. Par exemple, le besoin de rendre l’interface plus robuste, plus sensible et plus visible a été noté.
Vers de nouveaux projets collaboratifs
De cette première collaboration avec le professeur Yan Breuleux est née l’envie de poursuivre ses recherches quant à la narrativité des interfaces tangibles en contexte de prestation immersive. Ainsi, une deuxième ronde de création a eu lieu au printemps 2022 avec une version améliorée du NUAGE.
Embodied Meaning : performance A/V Nuages en format Fulldome à l’aide d’une interface tangible (Série SUR_Exposition), Crédits photo : Yan Breuleux, Visuels : Vénus Grivegnée (NAD), Rémi Lapierre.
Références :
[1] Hornecker, E. & Buur, J. (2006). Getting a grip on tangible interaction: a framework on physical space and social interaction. Proceedings of the SIGCHI conference on Human Factors in computing systems, pp. 437–446.
[2] Hornecker, E. (2015). Tangible interaction. The Glossary of Human Computer Interaction.
[3] Bilodeau, M. (2022). Méthodologie de conception des interfaces tangibles audiovisuelles et artistiques (Mémoire de maîtrise, École de technologie supérieure)
Marie-Eve Bilodeau complète présentement sa maîtrise en génie électrique à l’ÉTS. Ses recherches portent sur l’interaction humain-machine et la conception des interfaces tangibles pour le domaine des arts audiovisuels. Elle détient une technique en électronique audiovisuelle et un baccalauréat en génie électrique. Marie-Eve a travaillé comme conceptrice FPGA chez Grass Valley, puis comme conceptrice systèmes chez Thinkwell Studio Montréal. La maîtrise de Marie-Eve est dirigée par Ghyslain Gagnon, professeur au département de génie électrique de l’ÉTS et co-dirigée par Yan Breuleux, professeur à l’École NAD-UQAC.
