Au cours des dernières décennies, les chercheurs ont régulièrement mis au point des dispositifs destinés à traduire le langage des signes américain en anglais, dans l’espoir de faciliter la communication entre les personnes sourdes et malentendantes et le monde de l’ouïe. Beaucoup de ces technologies utilisent des gants pour capturer le mouvement de la signature, ce qui peut être volumineux et délicat.
Un groupe de chercheurs de la Michigan State University (MSU) a mis au point un dispositif sans gant de la taille d'un tube de Chapstick qui, espère-t-il, améliorera la traduction ASL-anglais.
La technologie, appelée DeepASL, utilise un appareil photo pour capturer les mouvements de la main, puis alimente les données via un algorithme d'apprentissage en profondeur, qui correspond aux signes de ASL. Contrairement à de nombreux appareils précédents, DeepASL peut traduire des phrases entières plutôt que des mots simples, et n'exige pas que les utilisateurs fassent une pause entre les signes.
«Il s’agit d’une technologie véritablement non intrusive», déclare Mi Zhang, professeur d’ingénierie électrique et informatique qui dirige la recherche.
Zhang et son équipe espèrent que DeepASL pourra aider les sourds et les malentendants en servant de traducteur en temps réel. Cela pourrait être particulièrement utile dans les situations d'urgence, explique Zhang, alors qu'attendre un traducteur peut coûter de précieuses minutes. L'appareil, qui pourrait être intégré à un téléphone, une tablette ou un ordinateur, peut également aider à enseigner l'ASL, explique Zhang. Étant donné que plus de 90% des enfants sourds sont nés de parents entendants, il existe une vaste communauté d'adultes qui ont besoin d'apprendre rapidement l'ASL. DeepASL pourrait servir de tuteur numérique et indiquer si les apprenants signent correctement.
Zhang a déposé une demande de brevet et espère avoir un appareil sur le marché d'ici un an. Parce qu’il repose sur une technologie abordable (le système de capture de mouvement Leap Motion coûte 78 dollars), il pourrait être plus largement accessible que les efforts précédents.
Les chercheurs Biyi Fang et Mi Zhang présentent DeepASL. (Université de Michigan) Mais Christian Vogler, professeur d'études en communication à l'Université Gallaudet, une université pour les sourds et les malentendants, est sceptique quant aux dispositifs conçus pour traduire l'ASL, et son scepticisme est partagé par de nombreux membres de la communauté sourde.
Les appareils ne traduisent généralement pas véritablement l'ASL, ils reconnaissent simplement les signes de la main et les transforment en un mot anglais par signe, explique Vogler. Cela signifie que des informations grammaticales clés sont perdues, des informations indiquant si une phrase est une question, une négation, une clause relative, etc. Bien que DeepASL traduise des phrases complètes, certaines caractéristiques de la grammaire ASL vont au-delà des signes de la main: les expressions faciales sont souvent utilisées comme modificateurs, la levée des sourcils peut transformer une phrase en question, le positionnement du corps peut indiquer quand l'utilisateur ASL cite quelqu'un d'autre.
Pour l’instant, «aucun des systèmes n’a été utile aux téléspectateurs», déclare Vogler, ajoutant que les chercheurs semblaient souvent avoir «très peu de contacts avec la communauté [des sourds et des malentendants] et avec une très petite idée de leur réalité. Besoins."
L'équipe de Zhang n'a pas testé le dispositif sur des sourds et des malentendants, mais sur des étudiants participant à un programme de traduction en langue des signes. Zhang souligne que DeepASL est conçu pour permettre uniquement la communication de base à ce stade, et qu'il ne s'agit que d'un point de départ. Il dit que son équipe espère étendre les capacités de DeepASL à l'avenir pour capturer les expressions faciales également.
"Ce sera la prochaine étape importante à atteindre", a-t-il déclaré.
Pour Vogler, il est positif que la technologie MSU utilise des méthodes d'apprentissage en profondeur, qui ont eu du succès avec la langue parlée. Mais, même s'il ne nécessite pas de gant, l'appareil présente probablement les mêmes pièges que tous les systèmes précédents, car il ne capture pas les mouvements du visage et du corps.
Vogler pense que les chercheurs devraient renoncer à l'idée que les dispositifs de reconnaissance du langage des signes peuvent réellement répondre aux besoins de communication en personne.
«Nous avons de nombreuses options pour faciliter la communication en personne, et tant que nous n’aurons pas mis en place quelque chose qui respecte réellement les propriétés linguistiques des langues des signes et les comportements de communication des signataires, ces efforts seront loin de les remplacer ou de les remplacer», dit-il. "Au lieu de cela, les gens doivent travailler avec les membres actuels de la communauté et avec des personnes qui comprennent la complexité des langues des signes."
Selon Vogler, il serait utile que les technologies de reconnaissance du langage des signes, telles que MSU, fonctionnent avec des interfaces vocales telles qu'Alexa. La croissance de ces interfaces est un défi d'accessibilité pour les personnes sourdes et malentendantes, tout comme Internet, média largement visuel, a représenté un défi majeur pour les personnes aveugles au fil des ans.
«Nous n’avons actuellement pas de moyen efficace d’interagir avec ces interfaces vocales si nous ne pouvons ou ne voulons pas utiliser notre voix», at-il déclaré. «La reconnaissance de la langue des signes correspond parfaitement à cette situation et pourrait même s'avérer utile et être utilisée.»
