Le geste dans toutes ses dimensions
Les technologies 3D permettent de numériser le geste dans sa complétude et, à l’image d’un programme informatique, de le porter vers de nouveaux supports qui servent les nombreuses disciplines impliquées dans la recherche sur le mouvement.
Les rapports entre le geste et la technologie sont complexes car le geste est chevillé au réel, il s’exprime dans trois dimensions et même quatre, si l’on compte celle du temps. La pellicule a longtemps été l’unique substrat technologique pour le capturer et c’est l’informatique qui permettra de le saisir dans toutes ses dimensions.
Capturer le réel à sa source
Héritière des mathématiques, l’informatique cachait la notion d’espace dans ses équations. A la fin des années 1970, des pixels commencent à courir sur des abscisses et ordonnées mais il faudra attendre les polygones 3D du début des années 1990 pour que la réplication du monde devienne possible.
The Secret of Monkey Island
L’économie de l’entertainment, les besoins en simulation de l’industrie ou de la médecine vont favoriser des outils qui capturent le réel à sa source, comme les scanners ou la motion capture.
IRM (Imagerie par Résonance Magnétique)
En 2010, la Kinect de Microsoft accélère cette révolution en mettant sa technologie proche du scanner, entre toutes les mains. Un motif infrarouge se déforme sur les objets et renvoie des informations de distance à la caméra. Des variantes utilisent le laser, les ultrasons ou le radar. L’art numérique s’est beaucoup amusé à mettre à nu ce procédé, révélant des corps tremblotants, stupilant toutefois d’une certaine imprécision. En effet, le suivi du geste est plus précis en portant un capteur sur soi, comme ceux que contiennent nos smartphones. En 2012, le prototype du casque de réalité virtuelle Oculus Rift était d’ailleurs basé sur un nivellement des micro-capteurs d’un smartphone, tandis qu’il en empruntait même l’écran OLED. Le tout couplé avec une caméra extérieure.
Microsoft Kinect / Oculus Rift DK1 (2012)
Le reboot du geste naturel
En 2016, le concurrent du Rift, l’HTC Vive, double les caméras pour trianguler un espace qui va libérer l’utilisateur de la position assise, tandis que des manettes à six degrés de liberté simulent les mains. Le peintre ou le sculpteur retrouve le geste naturel de la création dans des expériences immersives telle que Tilt Brush (Google) et on envisage aussi ce logiciel comme outil d’écriture chorégraphique, les tracés de peinture offrant l’historique des mouvements du danseur.
Cette numérisation du mouvement autorise toutes les audaces. Si, jusqu’à présent, le corps suivait la musique, le bracelet-capteur du projet Motion Sonic Projet de Sony (2017) transforme le mouvement en musique.
Motion Sonic Projet de Sony
Autre tendance, la vidéo volumétrique qui couple le réalisme de la vidéo et l’interactivité de la 3D, portée notamment par la technologie Google Tango ou le casque de réalité augmentée Microsoft Hololens. Tandis que la mocap (motion capture), chère au cinéma, fait aussi un retour remarqué.
Vidéo Volumétrique
Microsoft Hololens / MOCAP (Motion capture)
Une recherche pluri-disciplinaire
On le voit, l’interface ne fait plus qu’un avec le corps et il ne s’agit pas seulement de technologie, à l’image de la recherche sur le geste, différents domaines du vivant se croisent à son chevet. Lorsque, dans les années 1990, Jaron Lanier, musicien et informaticien américain, théorise la “réalité virtuelle”, il emprunte la terminologie à Antonin Artaud qui parlait ainsi du théâtre. A la même période, le MIT compile des publications scientifiques sur la “présence”, cette sensation d’y être propre à la réalité virtuelle (VR).
Jaron Lanier (Considéré comme l'un des pères de la réalité virtuelle)
Dans un papier de 2004, sur la rééducation sensorimotrice par la VR, des chercheurs italiens se sont rapprochés des travaux du neuroscientifique portugais Antonio Damasio qui critiquait, en 1994, la tendance de sa discipline à séparer le corps et l’esprit et d’affirmer que la “cartographie du corps” est un élément de la conscience de soi. Autrement dit, le casque ne suffit pas, il faut retrouver ses abattis dans la réalité virtuelle pour s’y sentir présent ! Damasio parle aussi du “soi” qui naît de l’interaction avec les objets. Et comment interagit-on, si ce n’est par le geste ?
Par Nicolas Barrial
