Résonance latente est une série de performances scéniques d’improvisation audiovisuelle (A/V) interactive entre David Drouin – musicien électronique et membre étudiant – et un agent d’intelligence artificielle responsable de la contrepartie visuelle. Les performances ont eu lieu dans le contexte d’un projet de recherche-création qui s’intéresse au potentiel des techniques d’apprentissage machine pour augmenter les capacités d’improvisation A/V. Le projet a été mené le cadre d’une maîtrise en communication (profil recherche-création en média expérimental) à l’Université du Québec à Montréal.
Ce projet questionne l’engagement avec ces techniques pour profiter de leurs capacités d’émergence de nouveauté, tout en conservant des modalités de contrôle qui favorisent la production de sens. Dans cette DEMO, David Drouin dresse le parcours de cette recherche.
Fictionalisme improvisationnel et esthétique du comportement
Le philosophe Eric Lewis propose une perspective intéressante pour aborder la question du sens dans l’improvisation musicale avec une machine à travers sa théorie du fictionnalisme improvisationnel (Lewis, 2019). Il y argumente qu’il n’y a pas de perte d’authenticité dans l’improvisation avec une machine si celle-ci possède la capacité de produire des résultats convaincants. Pour Lewis, on peut ainsi « les traiter comme des partenaires imaginaires dans notre improvisation, en jouant à faire semblant ».
Pour déterminer ce qui pourrait s’avérer comme des résultats convaincants dans le contexte d’un agent visuel, je m’appuie sur l’esthétique des comportements (Penny, 2000). Celle-ci précise que la conception de comportements implique la création d’un modèle contingent de ce qui peut arriver dans le monde et la manière dont un système peut y réagir afin de diriger l’attention esthétique de l’utilisateur dans une direction cohérente avec l’œuvre elle-même. Cela mène à une négociation esthétique entre dynamiques d’interaction et intentions d’auteur. Cette perspective permet d’analyser les degrés et la morphologie du déploiement des comportements d’un agent dans le temps (Audry, 2021). Cet ancrage m’a guidé vers des choix de création visant à mettre en place des conditions pouvant favoriser chez l’agent l’émergence de comportements qui pourraient suivre des formes reconnaissables et se métamorphoser à travers le temps. Au bout du compte, c’est par mon observation des comportements de la machine dans le contexte socioculturel de la performance que je serai en mesure d’évaluer sa production de nouveauté située (Bown, 2021) et juger s’ils forment des résultats convaincants qui ouvrent le jeu du faire semblant.
L’agent visuel
L’agent consiste en un assemblage de logiciels utilisant des réseaux de neurones artificiels que j’ai programmés et entraînés à produire des collages vidéo figuratifs à partir de l’analyse de gestes musicaux humains. Ces collages utilisent un corpus d’archives vidéo de la Beauce (DeLessard, s.d.), ma région de provenance. Ce matériau a été sélectionné pour ses qualités transbiographiques, qui consistent à inscrire le biographique dans le fictionnel, ainsi que pour son fort potentiel de génération de sens poétiques en cours d’improvisation.
Schéma de fonctionnement de l’agent visuel. Photo : ⒸDavid Drouin.
Les entraînements consistent en l’association d’analyses musicales, par exemple le spectre sonore ou l’analyse rythmique d’un instrument, à des paramètres d’effets visuels, comme le rythme de répétition d’une boucle vidéo ou le choix d’une image à afficher. Ces associations sont générées à travers des qualificatifs communs que j’ai manuellement assignés ou encore en laissant aux algorithmes des réseaux la tâche de classer des données à partir des motifs qu’ils ont déterminés statistiquement. Ces entraînements ont été menés à partir de petits jeux de données (Abuzuraiq et Pasquier, 2024) que j’ai créés ou assemblés. Cette approche facilite la navigation et la manipulation des réseaux de neurones créés à travers le processus d’entraînement et me permet de mieux saisir l’influence des choix effectués sur leur comportement.
Aperçu du processus de création de données d’entraînement par associations qualificatives. Photos : ⒸDavid Drouin
Afin de générer une variété de comportements, un algorithme central orchestre les signaux musicaux qui déclenchent les événements visuels. Il détermine aussi comment ces signaux peuvent être analysés à travers les réseaux de neurones entraînés ainsi que des propriétés, comme la cadence, le décalage ou le lissage de chaque analyse. En cas de silence d’un signal qu’il avait choisi, l’algorithme se replie sur les signaux musicaux actifs afin de créer un effet d’écoute machine convaincant de la performance musicale en cours.
Visualisation de l’orchestration des signaux musicaux et des réseaux de neurones.
En résidence : Scénographie, langage performatif et potentiel de transformation
En janvier 2026, la résidence à Hexagram-UQAM a permis de finaliser un concept scénographique qui me permet de voir l’image afin de renforcer l’influence mutuelle entre mes performances humaines et celles de la machine et ainsi créer une véritable dynamique d’interaction. Cette scénographie est centrée sur l’utilisation d’une toile de tulle translucide placée entre le public et moi et qui permet d’afficher la projection vidéo des deux côtés. J’y ai joint l’utilisation de jeux d’éclairages pour me faire apparaître dans l’image et exposer la boucle d’interactivité en soulignant des moments performatifs clés, comme le passage du silence total au son et les premières interactions son-image qui suivent ces moments.
Scénographie avec toile de tulle et contrepoint d’éclairages. Photos : ⒸOlivier Rodrigue
J’y ai aussi exploré et raffiné le langage performatif et musical du projet à travers des pratiques quotidiennes enregistrées dans l’espace. La tension rencontrée entre des postures de concentration envers ma performance musicale et d’observation de l’image m’a fait réaliser que je vivais un rapport d’interaction ayant des similarités à celle de l’improvisation avec un autre humain : je peux faire confiance aux apports et à l’écoute de mon partenaire-agent pour me concentrer sur l’exécution attentive de mes propres gestes, tout comme je peux me laisser porter par ses contributions visuelles et la globalité perçue de notre performance en devenir. En prenant la mesure de l’immersion que je vivais dans l’image, et de l’effet de présence de mon corps éclairé par des projecteurs de lumière, j’ai développé un cadre d’improvisation avec des arrêts marqués afin d’amplifier volontairement certains moments de regards et d’interactions.
Exploration du langage performatif. Photo : ⒸOlivier Rodrigue.
Ces pratiques ont aussi servi de laboratoire pour doter l’agent artificiel d’un réseau de neurones servant de mémoire de la performance en cours et qui lui permettrait d’associer des motifs musicaux à ses comportements afin de pouvoir y revenir si des motifs similaires se représentaient. Cette expérience rudimentaire a mené à des transformations perceptibles du comportement de l’agent. Cela fut particulièrement notable lors d’une performance publique le 29 janvier 2026, où les gestes visuels de l’agent furent hautement constants et notablement différents de toutes mes pratiques précédentes. Dans le jeu du faire semblant, on peut s’amuser à croire que la présence d’un public a poussé l’agent à performer différemment.
Performance publique de sortie de résidence (janvier 2026).
Performance d’une nostalgie régionaliste algorithmiquement médiatisée
La manipulation performative d’une collection d’archives régionales à travers des algorithmes qui génèrent un remix interactif de celles-ci apporte son lot de questionnements supplémentaires. Ce type de nostalgie réflective, comme le rappelle le sociologue Dariusz Brzeziński, transforme créativement le passé et ne cherche pas à « mettre en lumière les vérités de la réalité, mais plutôt à en révéler ses ambivalences » (Brzeziński, 2024, p. 97). À un moment où la nostalgie sur demande devient à la portée de tous et toutes par l’entremise des réseaux sociaux et des techniques d’IA, Résonance latente confronte à réfléchir aux sens que produit une nostalgie désormais médiatisée par des algorithmes.
La nostalgie régionaliste beauceronne algorithmiquement performée. Photos : ⒸDavid Drouin.
Audry, S. (2021). Art in the Age of Machine Learning. MIT Press.
Bown, O. (2021). Beyond the Creative Species. MIT Press.
Brzezińsk, D. (2024). Algorithmic Nostalgia. Longing for the Past in the Age of Artificial Intelligence
Lewis, E. (2019). Intents and Purposes. University of Michigan Press
Penny, S. (2000). Agents as Artworks and Agent Design as Artistic Practice
Abuzuraiq, A. M. et Pasquier, P. (2024). Towards Personalizing Generative AI with Small Data for Co Creation in the Visual Arts.
Image de couverture : David Drouin
David Drouin est un musicien électronique et artiste médiatique basé à Tiohtià:ke/Mooniyang/Montréal. Sa pratique se concentre autour de la performance live, de l’improvisation et des interactions audiovisuelles. Il est candidat à la maîtrise en communication (profil recherche-création en média expérimental) à l’Université du Québec à Montréal et membre étudiant du mXlab, le groupe de recherche sur la création médiatique au-delà de l’humain.
Son travail collaboratif sur des œuvres immersives et des installations interactives a été diffusé dans des lieux et événements comme Planétarium de la cité des sciences de Paris (France), Nobel Week Lights (Suède), Village numérique MUTEK (Montréal), Société des arts technologiques (Montréal), Ignite Art & Light Festival (États-Unis) et Patchlab Digital Art Festival (Pologne).
Remerciements
Merci à Olivier Rodrigue, Julien Dajez, Emma Cloutier-Nadon et Isaak Paul-Rivest pour leur soutien pendant la résidence et à monsieur Normand DeLessard pour l’utilisation de sa collection d’archives.
