Du 11 au 15 novembre 2023, Nora Gibson [membre étudiante, Concordia] était en résidence à Hexagram pour approfondir ses recherches sur la conscience et l’être. Ce DEMO présente trois œuvres – Self–Tuning (2023), Allure (2023) et EEG Soundscape_2 (2023) – créées pendant la résidence, qui sont basées sur un travail antérieur – the dream (2023) – qu’elle a présenté à Imprints, l’exposition 2023 d’Hexagram à Ars Electronica à Linz, en Autriche.
Danseuse depuis trois décennies, Nora s’intéresse à la façon dont le corps est l’intermédiaire de nos expériences conscientes. Elle situe le corps humain par rapport à des objets symboliques pour étudier le temps, la mort, l’irréductibilité de l’objet, la relationnalité et la beauté. Elle travaille avec des données physiologiques et des systèmes de rétroaction, avec la compréhension que les données seules sont insuffisantes pour transmettre des expériences conscientes. Elle s’intéresse donc aux matériaux « non tangibles », tels que les données, la lumière, le son, la programmation et les interactions entre les êtres et entre les êtres et les objets d’art. Inspirée par les travaux des philosophes Timothy Morton et Graham Harman, ses projets visent à faire l’expérience de cette dynamique relationnelle et à mettre en évidence l’aspect esthétique de l’expérience consciente.
the dream fut la première itération de la démarche de Nora visant à réorienter la recherche par le biais d’un objet esthétique. L’oeuvre présente des données EEG en temps réel qui animent un système de particules projetées et un paysage sonore. Cette pièce vise à créer un système de rétroaction avec soi-même et à prendre en compte la qualité de cette expérience interactive. Elle s’est intéressée aux ondes thêta et aux états mentaux associés à une prépondérance d’ondes dans cette bande de fréquence (les ondes thêta sont particulièrement répandues dans les états de rêve paradoxal, mais aussi dans les périodes de créativité). Elle a donc utilisé des données EEG en temps réel pour créer un objet esthétique exprimant la sensation d’être dans un état d’éveil onirique. L’objectif était donc de prendre des informations qui ressemblent à ceci…
…pour créer quelque chose de propice à une expérience esthétique. Nora a donc commencé à réfléchir à l’interaction entre l’environnement, l’objet (d’art) et le soi en tant qu’autre objet, et a examiné comment elle réagissait à des environnements colorés particuliers.
G: La première itération de the dream, qui n’avait pas de son. L’entrée en direct des données de l’EEG pilotait le système de particules représenté dans la projection. D : La deuxième itération présentée à Ars Electronica.
Lors de la deuxième itération de l’œuvre, Nora a invité les membres du public à porter le capteur EEG, leur activité cérébrale générant ainsi l’expérience de l’exposition. À cette occasion, Nora a également créé une composante sonore interactive, de sorte que les données transmises en temps réel par le capteur généraient également un paysage sonore émis par un haut-parleur placé directement devant le participant.
La résidence
Désireuse de mettre à profit l’expérience acquise lors de la création de the dream et d’approfondir la relation entre les données physiologiques et les objets esthétiques, ainsi que le rôle des données physiologiques en tant que matériau, Nora s’est fixé les objectifs initiaux suivants :
élaborer une oeuvre agissant à titre de véhicule pour l’expérience consciente par le biais d’un langage esthétique ;
programmer un système qui fonctionnera de manière interactive avec différents ensembles de données (tableaux de données et données en temps réel) ;
programmer des patchs visuels et sonores en rapport avec le projet ;
permettre des visualisations (ou des sonifications) propres à chaque participant ;
donner vie aux idées philosophiques de Harman et Morton de manière empirique par le biais de l’art ;
et d’organiser les écrans et l’emplacement des projecteurs, l’emplacement de la stéréo et d’autres aspects liés à l’expérience du spectateur.
Dans la salle d’expérimentation, Nora a passé beaucoup de temps à disposer les projecteurs, les écrans, les lumières et les rideaux jusqu’à ce que chaque oeuvre puisse se développer naturellement et que la composition globale de l’espace permette deux installations visuelles distinctes. Séparé par des rideaux, le premier espace était utilisé pour des projections en temps réel (Self-Tuning), tandis que le second projetait des données stockées (Allure). Le son était réparti entre des haut-parleurs placés dans chaque espace. Ce processus de configuration spatiale a joué un rôle important dans l’élaboration des deux installations, car il est apparu clairement que l’utilisation de données de différentes manières donnerait lieu à des expériences différentes. La résidence est devenue un moyen de développer ces deux types d’expériences.
Self-Tuning (2023) – Une installation interactive pour des visuels génératifs projetés, des capteurs EEG et des ondes cérébrales en direct.
Self-Tuning (« tuning » est un terme utilisé par le philosophe Timothy Morton) est un véhicule pour la fusion du soi avec l’objet et l’autre. Les ondes cérébrales EEG de deux participants déclenchent et interrompent l’imagerie dans des séquences imprévisibles. Ce modèle en temps réel permet une harmonisation des esprits par l’intermédiaire d’un objet esthétique.
G: Casques EEG, moniteur de données brutes, ordinateur portable permettant de restituer les données et les images en temps réel. D : Vue panoramique des images sur les deux murs.
Dans Self-Tuning, Nora a généré de nombreux types d’images, allant de structures géométriques à des formes organiques d’apparence neuronale, en passant par des images volumétriques de nuages granulaires de sa danse. Les données EEG en direct étaient liées à de nombreux paramètres au sein de chaque patch, ainsi qu’à la sélection des images. En d’autres termes, les données contrôlaient différentes caractéristiques des images ainsi que leur séquencement. Les images qu’elle a programmées ont été conçues pour évoquer des choses à des échelles d’existence radicalement différentes. Nora savait que le rythme des données EEG produirait un effet quasi stroboscopique, représentant de manière simultanéité cette imagerie à différentes échelles. Les différents visuels génératifs comprennent des rendus d’éléments organiques microscopiques, de neurones, de méta-structures imaginaires, de gemmes spatiales, d’explosions cosmiques et de figures anthropomorphes flottantes. Elle a décidé d’utiliser les ondes bêta, qui prédominent dans les états d’attention, parce que la nature saillante des images était susceptible de produire des modèles intéressants et dynamiques. Les images ont été projetées sur deux murs, un pour chaque participant. Chaque participant portait un casque EEG et les images étaient traitées séparément. Si les ondes cérébrales des participants se synchronisaient pendant l’expérience, alors les séquences murales le ferait également, produisant un effet panoramique entre les images sur les deux murs.
Allure (2023) – Une installation pour la projection de visuels génératifs, d’ondes cérébrales enregistrées et de lumières LED.
Allure fait référence à une relation entre objets décrite par le philosophe Graham Harman, où « la beauté fait partie d’une classe plus large de phénomènes [appelés] « allure » et « est la séparation d’un objet de ses qualités ». (Harman 2005). Dans Allure, l’accent est mis sur les données relatives aux ondes cérébrales en tant que matériau ou objet, et sur la manière dont leur interaction avec d’autres objets, tels que la lumière, la couleur et la forme, révèle un aspect jusqu’alors inconnu de ces données. Dans Allure, les données animent les motifs de la composition sonore ainsi que la luminosité des projections.
G&D : variations de motifs dans les images projetées et les différents degrés d’intensité des lumières LED roses
Pour cette œuvre, Nora a utilisé les données enregistrées de son activité cérébrale, utilisées comme une boucle à l’intérieur du patch. Ces données contrôlent un motif minimaliste de lignes blanches projetées sur des couches de tissu translucide. Les données contrôlent également le degré de luminosité des diodes électroluminescentes qui accompagnent la projection. En réalisant cette deuxième pièce, Nora a voulu comparer l’expérience interactive d’un objet d’art qui contient des données physiologiques (Allure) à celle d’un objet d’art qui est un support vivant pour ces mêmes données physiologiques (Self-Tuning). Elle s’est également intéressée au contraste entre la nature narrative de Self-Tuning, en raison de l’imagerie familière, et la nature abstraite d’Allure, qui utilise un vocabulaire limité à des lignes et à des compositions.
EEG Soundscape_02 – Son électronique original composé d’ondes thêta et bêta
EEG Soundscapes_02 exprime deux idées : que la conscience n’est pas limitée au corps physique et que le libre arbitre ne peut pas être pris pour acquis. Dans ces compositions, le matériel du cerveau de l’artiste est utilisé pour remplir la pièce qui s’étend au-delà du corps, et la composition est entièrement dictée par le flux sans volonté de ces données physiologiques.
Pour créer ce paysage sonore (que l’on peut entendre dans les vidéos ci-dessus), Nora a utilisé à la fois des données cérébrales en direct et une version enregistrée du son qui avait été créé à partir de ces données. Lors de la présentation post-résidence, elle a utilisé le paysage sonore enregistré, parce qu’un pépin a provoqué des pannes répétées de son ordinateur lors de l’utilisation des données en direct. En théorie, les données en temps réel qui contrôlent le Self-Tuning auraient également été programmées pour créer le son en temps réel. Le patch prend les données EEG entrantes et les envoie via OSC au rack VCV, un logiciel qui reproduit virtuellement la synthèse modulaire. Dans le logiciel, les données EEG contrôlent les portes qui, à leur tour, contrôlent la séquence des notes ainsi que la qualité des sons produits. Lors de la présentation, Nora a toutefois constaté que l’utilisation de la version enregistrée (une boucle de 13 minutes) était efficace pour créer une atmosphère contextuelle pour l’ensemble de l’exposition. Néanmoins, elle a réalisé que les données étaient en un sens extraites de son corps et transmises à travers l’espace de l’exposition. Après réflexion, elle a apprécié cette transposition de son corps et a compris qu’il pouvait y avoir des raisons symboliques d’utiliser à la fois des sons produits en temps réel et des sons préenregistrés avec des données.
La suite?
La prochaine itération de ce travail sera présentée lors de l’exposition de la thèse de maîtrise de Nora, du 2 au 4 mai, à la Black Box de l’Université Concordia. Alors qu’elle poursuit son travail, elle s’intéresse moins à l’aspect performatif de l’art interactif qu’au changement de hiérarchie entre l’objet d’art et le sujet d’art, lorsque les limites entre les deux deviennent floues. Si l’œuvre repose sur un système de rétroaction entre une personne et son environnement, il devient alors possible de se demander si le “soi » (le sujet) n’est pas davantage un point de vue qu’un fait objectif. Dans la prochaine phase de ce travail, Nora se concentrera sur la composition spatiale afin de mieux apprécier la nature interrelationnelle de l’expérience.
Remerciements
Je tiens à remercier chaleureusement le Réseau Hexagram qui m’a offert cette opportunité de résidence, Lynn Hughes [membre cochercheure, Concordia], qui a supervisé ce projet, et mon directeur de thèse, Eldad Tsabary, pour ses commentaires critiques.
Toutes les photos sont de Nora Gibson.
Nora Gibson a commencé sa carrière de danseuse professionnelle à l’âge de 13 ans. Elle a fréquenté la Baltimore School for the Arts et a obtenu une licence en danse à la Tisch School of the Arts de l’université de New York. Dans le cadre du Nora Gibson Contemporary Ballet, un projet décennal célébrant les collaborations entre le ballet et les domaines STEM, ses œuvres ont été commandées par des universités et développées dans le cadre de résidences aux États-Unis et à l’étranger. Inspirée par l’exploration de questions plus profondes sur le corps, elle a commencé en 2018 à intégrer la technologie dans son travail. Depuis lors, son travail a été présenté par le planétarium Fels du Franklin Institute (PHL), la galerie Vox Populi (PHL), la galerie mondiale en ligne d’Ars Electronica, Contemporary & Digital Art Fair (« CADAF ») (NYC), Lightbox (NYC), Urban Screens Production (AUS) et le Réseau Hexagram (CA) à Ars Electronica (AUT). Grâce à cette pratique élargie, Gibson facilite la recherche-création autour de la dualité corps-esprit, de l’identité et de la perception. Pendant son stage au Biosignal Interactive & Personhood Technologies Lab, un laboratoire de recherche en neurosciences de l’Université McGill, Gibson a étudié les marqueurs physiologiques de la synchronisation interpersonnelle en relation avec les expériences esthétiques, ce qui a inspiré des installations et des pièces sonores interactives. Elle poursuit actuellement sa maîtrise en beaux-arts, est membre étudiante du réseau Hexagram et a enseigné les médias numériques à l’Université Concordia de Montréal.
