Octobre 2022

Virtual Fusion: voices of cyborgs and other beings

Qu’est-ce qui définit une voix et comment différentes voix sont-elles représentées dans les mondes numériques ?

Cette question est à l’origine d’une nouvelle collaboration entre Idun Isdrake [membre étudiant, Concordia] et Jean-Ambroise Vesac [membre co-investigateur, UQAT] qui ont fait connaissance lors du Materia Labo Public organisé par Hexagram et ELEKTRA à l’automne 2022.

Isdrake est un concepteur de jeux, réalisateur de films et artiste cyborg, actuellement en recherche doctorale à l’Université Concordia, et membre du réseau Hexagram. Vesac est professeur de design expérimental et événementiel, responsable de l’Espace O Lab à l’UQAT Rouyn-Noranda. Ils ont tous deux de l’expérience dans le domaine des arts des nouveaux médias et de la production audiovisuelle, et Vesac a créé une infrastructure pour des scènes et des performances virtuelles, notamment une collaboration avec la chanteuse d’opéra Caroline Gélinas. Ensemble, les trois artistes veulent créer un jeu vidéo d’art performance basé sur la convergence de leurs voix distinctes. Une fusion de musique électronique et classique, avec des êtres et des environnements hybrides.

Au début de sa résidence à l’UQAT Rouyn-Noranda, Isdrake a pu expérimenter avec les matériaux que Vesac et Gélinas ont déjà créés. Les trois artistes s’étaient au préalable rencontrés pour partager leur processus artistique et discuter de la façon de combiner leurs styles. Pendant la résidence d’une semaine, Isdrake et Vesac ont travaillé avec le studio de capture de mouvement de l’UQAT. Leur démarche artistique exploratoire les a conduits à rechercher des couches de sens et une fusion des styles dans l’espace virtuel. Ils ont travaillé à la création de l’avatar d’Isdrake qui habitera l’espace de réalité mixte avec les avatars de Vesac et Gélinas. Des techniques de capture de mouvement ont été utilisées pour enregistrer les mouvements des artistes, ainsi que la photogrammétrie, un procédé permettant d’obtenir des données à partir de photographies pour créer des modèles 3D.

La résidence a donné l’occasion à Isdrake et Vesac de se promener, de documenter et de partager leurs histoires liées à des lieux spécifiques qui interagissent et inspirent un dialogue musical. La forêt de Rouyn-Noranda est devenue une partie de la toile de fond dans cet état initial de la collaboration et de la création du jeu et de son univers. Les artistes ont également expérimenté avec différentes formes de création musicale, et Isdrake a présenté son interface cyborg innovante, qui a également été incluse dans les sessions de capture de mouvement.

La voix d’Isdrake est conçue grâce à une interface cyborg et des matériaux audiovisuels liés à la glace et à la fonte rapide des icebergs, inspirée par leur héritage nordique façonné à partir du corps d’un géant de glace. Cette voix témoigne des enregistrements de glaciers devenant de plus en plus petits à chaque visite d’Isdrake au cours des deux dernières décennies et, avec des données scientifiques, elle constitue le principal contenu de la version actuelle de cette œuvre performative et de cette interface basée sur la technologie NFC (Near Field Communication). Dix petits implants NFC sont placés dans la partie supérieure du corps d’Isdrake, sous la peau des mains et de la poitrine. Un instrument de musique basé sur un ordinateur Raspberry Pi connecté à des cartes Arduino contenant des lecteurs NFC avec des antennes peut ensuite lire les implants lorsqu’ils sont tenus à moins d’un centimètre de la peau. Le champ magnétique du lecteur ou de tout appareil doté d’un lecteur NFC, comme certaines tablettes et certains téléphones portables, peut alimenter l’implant et transférer une petite quantité de données, de la même manière qu’une carte de métro est scannée en entrant dans une station de métro.

Isdrake a commencé à réfléchir aux interfaces cyborg non intrusives vers 2011, lors de recherches sur la communication non verbale, la neurodiversité et le mutisme sélectif (plus précisément l’incapacité à crier sous l’effet de la douleur ou d’autres contextes handicapants). Iel ont obtenu leur premier implant NFC dès qu’il a été disponible dans quelques studios de piercing en Suède vers 2015. La recherche d’Isdrake explore comment le physique et le numérique s’entremêlent, et comment concevoir des interfaces diverses et inclusives avec une responsabilité planétaire. Influencé par la musique métal ainsi que par les sons de la glace fondante, ressemblant à des cris, Isdrake crée des versions de voix médiatisées par leur corps en symbiose avec la technologie, leur permettant de jouer un cri et de composer d’autres sons à partir de fichiers ajoutés à l’instrument.

L’expression personnelle est ancrée dans le corps et parce que les avatars reflètent le “soi incarné », ils deviennent une métaphore visuelle de l’identité et de l’appartenance. La recréation numérique et la récupération de l’apparence corporelle et des marques d’identité sont des outils puissants pour les tribus, les communautés et les sociétés où l’identité et les artefacts culturels importants ont été interdits ou détruits par le colonialisme religieux et territorial. Dans ce contexte, le feu est un autre élément avec lequel Isdrake travaille, symbolisant la mort de femmes, principalement, qui ont été torturées, violées, assassinées et brûlées par des prêtres chrétiens lors d’événements historiques tels que le Grand Bruit en Suède à la fin des années 1600 et d’innombrables chasses de peuples non-monothéistes dans le monde. Le développement technologique et les archives de données et d’histoires sont traversés et contrôlés par des structures de pouvoir biaisées. Comment les mondes numériques et la modification physique du corps à des fins d’autonomisation peuvent-ils s’entremêler et donner une voix aux personnes et aux autres êtres qui sont réduits au silence par ces structures de pouvoir ?

La présence du corps est importante lorsqu’on travaille avec des avatars et des réalités mixtes. La liberté de mouvement dont nous bénéficions dans les mondes virtuels introduit de nouvelles sensations. Le sens de l’espace est défini par notre corps, les couches numériques mélangées aux couches physiques nous font réimaginer et redéfinir l’espace, le temps et nous-mêmes. Les neurones miroirs nous donnent la possibilité de se sentir connectés à nos avatars. Lorsqu’on le regarde en temps réel, en faisant les mêmes mouvements que votre propre corps, la frontière entre les deux corps s’efface et on a l’impression de se regarder. Travailler avec la capture de mouvement est une expérience très intéressante en termes de perception du corps et de l’espace. En utilisant tous les niveaux de la « pièce », Isdrake a travaillé avec les mouvements du sol et de l’air pour diriger les futurs schémas de mouvement de son avatar dans le monde du jeu, qui devrait inclure des mouvements en direct et préenregistrés.

Iel utilise également des systèmes et des outils d’intelligence artificielle pour mettre en évidence et limiter les biais dans les ensembles de données et pour imaginer des hybrides d’humains, de cyborgs et de glace. Certaines de ces recherches influenceront également l’avatar d’Isdrake dans ce projet de fusion virtuelle. Vous trouverez ci-dessous un exemple de la manière dont Isdrake, à travers le modèle Midjourney, imagine la fusion du corps de son avatar avec la glace.

Les prochaines étapes de ce projet consistent à concevoir l’univers du jeu, les interactions des trois artistes avec celui-ci, ainsi qu’un quatrième personnage, le joueur. Peut-être façonneront-ils l’environnement à l’aide de mécanismes d’écholocation ? Ou composeront-ils une nouvelle musique à partir des différents styles des avatars des artistes ?

Les artistes continueront à discuter de leurs voix distinctes et de la manière dont leurs corps interagissent avec le cadre dans lequel ils se trouvent. De la même manière qu’une chauve-souris utilise l’écholocation pour naviguer dans un espace, un chanteur fait rebondir sa voix sur les murs d’une salle de concert pour ressentir la pièce. Un danseur rebondit sur les sols, les murs, dans les airs, un musicien touche ses instruments, et un cyborg canalise les cris d’un géant de glace. Tout est possible, tant qu’il a une multitude de voix et de langues différentes.

Cette publication est également disponible en : English (Anglais)