Quelque 500 000 Américains utilisent le langage ASL (American Sign Language). Pour les utilisateurs sourds de l'ASL, la communication avec ceux qui ne parlent pas couramment la langue peut être un défi. Bien que la plupart des Américains nés sourds apprennent le langage parlé par la thérapie par la parole, certains ont encore du mal à se faire comprendre oralement ou trouvent simplement que la langue des signes est une forme d'expression plus fluide.
Des chercheurs de la Texas A & M University ont mis au point un dispositif portable qui «traduit» la langue des signes en anglais en détectant les mouvements de l'utilisateur. L'appareil, encore au stade du prototype, peut reconnaître une quarantaine de signes ASL avec une précision de 96%.
Le système utilise deux capteurs. L'un est un capteur de mouvement avec accéléromètre et gyroscope, qui mesure la vitesse et l'angle de la main et du bras de l'utilisateur. En détectant où se trouvent les mains et les bras de l'utilisateur, il peut commencer à deviner quel mot il pourrait signer. Ensuite, il y a un capteur électromyographique, qui mesure le potentiel électrique du mouvement musculaire. Il peut dire exactement quelle partie des mains et des doigts bouge, ce qui est essentiel.
«Si vous examinez le vocabulaire américain de la langue des signes, il y a des cas où la main elle-même bouge et vous avez alors un mouvement des doigts très fin», explique Roozbeh Jafari, l'ingénieur qui a dirigé le projet. "Si vous voulez détecter ceux-ci, vous ne pourrez pas utiliser uniquement le mouvement de la main."
Par exemple, le mot «s'il vous plaît» en ASL implique de faire des cercles sur votre poitrine avec votre main ouverte. Le mot "désolé" utilise un mouvement identique, mais la main est fermée dans un poing.
Les capteurs sont portés au poignet droit de l'utilisateur. Les informations glanées sont envoyées via Bluetooth à un ordinateur portable. Cet ordinateur portable exécute un algorithme pour interpréter le signe et affiche le mot en anglais à l'écran.
À terme, Jafari espère supprimer le besoin d’un ordinateur portable en incorporant un petit ordinateur directement dans l’appareil. L'ordinateur pourrait alors envoyer les mots anglais sur le téléphone d'une autre personne, afin qu'elle puisse lire ce que dit son interlocuteur.
Bien entendu, le traducteur devra également maîtriser plus de signes que 40 pour être un produit viable. Bien qu'il existe des centaines de signes ASL, les 40 signes originaux ont été choisis parce qu'ils sont courants et utiles, dit Jafari. Une personne peut les utiliser pour prononcer des phrases simples et cruciales, telles que «J'ai besoin d'eau». L'appareil devra également aller plus vite — tout de suite, les utilisateurs doivent faire une pause entre les mots pour lui donner le temps de traduire.
«En réalité, les gens ne parlent pas comme ça», dit Jafari.
Mais ce système plus avancé, dit-il, va dans le bon sens et impliquera plus de travail et de financement.
Les technologies de traduction ASL précédentes utilisaient des caméras pour lire les gestes. Mais ceux-ci ne fonctionnent pas bien dans des conditions d'éclairage faible, dit Jafari. De plus, beaucoup de personnes n'aiment pas l'idée de pouvoir être regardées en permanence par une caméra.
Un certain nombre d'autres technologies ont été créées ces dernières années pour aider les personnes sourdes et malentendantes à communiquer entre elles. Une application appelée Transcense, lancée l'an dernier, traduit le discours de plusieurs personnes en mots écrits, et les présente à l'écran sous forme de bulles codées en couleur. Il est conçu pour aider les personnes sourdes lors de réunions ou de rencontres sociales, où plusieurs orateurs peuvent constituer un défi, même pour les lecteurs les plus expérimentés. Une autre société, MotionSavvy, travaille sur une tablette qui interprète les requêtes ASL et lit les mots à haute voix en anglais. En Chine, des chercheurs ont utilisé le matériel de détection de mouvement Kinect de Microsoft pour traduire la langue des signes chinoise en mots parlés et écrits.
En tant que personne qui travaille depuis longtemps avec les technologies portables, telles que les montres qui surveillent le rythme cardiaque, Jafari comprend l'importance du confort et de l'esthétique. Si un appareil est inconfortable et envahissant, les gens ne le porteront pas. Le prototype actuel du dispositif de traduction en langue des signes ressemble à un outil médical, avec des électrodes, des sangles et des fils. Jafari aimerait que la version finale soit petite et attrayante.
"Je veux que tout le système tienne dans une montre", dit-il.
