Comment les technologies d’apprentissage machine peuvent-elles transformer les pratiques artistiques en temps réel ? Pour répondre à cette question, les artistes-chercheur·euse·s ont exploré la capacité des technologies d’apprentissage machine à créer une symbiose entre 3 formes artistiques : l’installation robotique, la performance audiovisuelle (AV) et la réalité virtuelle (VR).
Cette expérience s’est conclue par une exposition-restitution, Symbiosis : Useful fictions 3, présentées en juin 2023,à l’Espace Pierre Cardin du Théâtre de la ville à Paris. Découvrez ce carnet de résidence où, chaque jour, les variables s’alternent pour explorer les potentiels des agents artificiels au moyen de l’apprentissage par renforcement (reinforcement learning, RL).
Mardi : Performance AV + VR + RL
Les artistes-chercheur·euse·s mettent en place un agent artificiel qui navigue dans un espace latent. Les données produites par celui-ci sont assignées à des paramètres de contrôle générant une performance visuelle. La performance visuelle est ensuite utilisée comme texture dans l’environnement de réalité virtuelle. En résultent des cubes flottants, qui s’élèvent et évoquent les déplacements de l’agent artificiel. La personne utilisant le dispositif de réalité virtuelle peut manipuler ces cubes, interférant de la sorte avec les propositions esthétiques de l’agent.
Les artistes-chercheur·euse·s utilisent des robots pour créer un écran dynamique, fragmenté et rotatif. Une projection est distribuée sur les fragments du canevas robotisé. L’agent artificiel active des motifs comportementaux, prenant la forme de lignes, stries et géométries. Les mouvements de la surface de projection robotisée transforment la composition du canevas et de la projection. Le performeur ou la performeuse, au contrôle de la console, donne des directives à l’agent afin qu’il bonifie l’esthétique de l’œuvre ou qu’il propose d’autres agencements.
Les artistes-chercheur·euse·s combinent des éléments imprimés en 3D aux robots. Les mouvements de ces derniers sont contrôlés par les agents dans la réalité virtuelle. Son comportement est entrainé par renforcement (reinforcement learning).
Dans la réalité virtuelle, l’agent aux pattes jaunes est connecté aux mouvements des robots, tandis que les agents aux pattes grises suivent les mouvements de la personne utilisant le dispositif. Les robots dans l’espace physique se déplacent ainsi en synchronicité avec les robots virtuels.
Multivolet, le projet propose bien plus qu’un artistique. Il inclut également des observations ethnographiques sur le travail entre les équipes de réalité virtuelle (VR), d’audiovisuel (AV) et de robotique.
En prenant des notes détaillées, ainsi que des photos et des vidéos, cette observation externe du processus cherche à percevoir la dynamique entre les individus et les équipes. La personne chargée de cette observation a également mené des sessions d’autoconfrontation. Lors de ces sessions, elle revenait sur les moments les plus marquants de la journée. Il pouvait s’agir des instants les plus difficiles, des plus joyeux, ou de ceux chargés d’émotions très fortes. L’objectif était de comprendre comment chacune et chacun se sentait par rapport aux événements de la journée.
Cela a permis à chaque artistes-chercheur·euse·s de s’exprimer sur son expérience et ses sentiments, tout en permettant une analyse des défis et des opportunités liés au travail en symbiose.
Au sein du mXlab, le Groupe de recherche sur la création médiatique au-delà de l’humain se consacre à la recherche-création médiatique incluant les non-humains, tels que les algorithmes, les robots, l’image, le son, la lumière, la matière, les micro-organismes, les végétaux, etc.
Les travaux du groupe s’inscrivent dans des approches transdisciplinaires en recherche-création médiatique et abordent trois axes :
Les pratiques créatives en intelligence artificielle et vie artificielle — Sofian Audry
La création médiatique des collectivités étendues (humains, machines, matériaux, etc.) — Danny Perreault
Les mémoires et imaginaires médiatiques — Katharina Niemeyer
L’un des objectifs du groupe est de créer des approches, des outils et des œuvres médiatiques inclusives et évolutives qui présenteront une alternative aux créations industrielles souvent homogénéisées et formatées. À partir d’une posture réflexive et critique tant théorique que pratique, le groupe se penche sur la création d’œuvres et sur le développement d’outils matériels et logiciels ouverts, tout en faisant évoluer les dimensions conceptuelles, matérielles et historiques de la création médiatique.
Le mXlab — Groupe de recherche sur la création médiatique | au-delà de l’humain remercie ses partenaires :
Université du Québec à Montréal (UQAM) École nationale des arts décoratifs de Paris (ENSAD) Arizona State University (ASU) Conseil de recherche en sciences humaines (CRSH) Réseau Hexagram
Encadrants Sofian Audry* (École des Médias de l’UQAM) Samuel Bianchini* (EnsadLab, École des Arts décoratifs de Paris)
Équipe Saclay Natalia Balska*, Alex M.Lee*, Corentin Loubet, Etienne Montenegro*, Danny Perreault* et Ola Siebert*
Équipe Montréal Victor Drouin-Trempe* et Gabriel.le Tran*
Coordination Josée Brouillard*
Méthodologie Florence Millerand et Louis-Claude Paquin*
