Et si les non-voyants parvenaient à « voir » grâce à leurs oreilles ?
C'est le défi auquel s'attaquent Jean Rouat, professeur et chercheur au Département de génie électrique et de génie informatique de l'Université de Sherbrooke, et le doctorant Mohammad Adeli, qui espèrent développer la prochaine génération de prothèse visuelle qui permettrait à un aveugle d'utiliser les sons pour s'approprier une scène visuelle.
Plusieurs études scientifiques ont démontré que l'être humain associe certaines formes à certains sons.
Une telle technologie de substitution sensorielle est envisageable, puisque plusieurs études scientifiques ont démontré que l'être humain associe certaines formes à certains sons – et vice-versa – grâce à une grande connectivité entre les cortex visuel et auditif.
Inspirés par ces recherches, le chercheur Rouat et ses collègues du Groupe de recherche en neurosciences computationnelles et traitement intelligent des signaux ont développé un système pour coder une scène visuelle en scène sonore. Pour illustrer ce concept, ils ont créé l'application iPhone « Voir différemment », qui permet de trouver des objets simples en se guidant par les sons. L'application analyse le contenu des images fournies par la caméra du mobile et réagit ensuite aux différences de contraste et de texture.
Cependant, pour intégrer ce principe à des prothèses, les chercheurs doivent mieux comprendre comment s'opère dans le cerveau le couplage entre la vision et l'audition. Par exemple, est-ce que tout le monde adopte la même stratégie au moment d'associer un son avec une forme ? Jean Rouat et son équipe ont donc réalisé une expérience de substitution sensorielle au cours de laquelle 119 répondants ont dû associer individuellement 23 timbres sonores dérivés de huit instruments à l'une des trois formes proposées – arrondie, pointue, mixte. Résultat : l'association timbre sonore–forme visuelle concorde d'un individu à l'autre. Ainsi, les sons lisses émis par le piano ont tous été associés à la forme arrondie.
Cette étude, la première à tenir compte de sons complexes et d'éléments visuels précis, constitue une avancée majeure vers la création de prothèses de substitution sensorielle.
