Faire progresser l’innovation technologique et lutter contre le désert de données lié à la langue des signes ont été des domaines d’intérêt pour le L'IA pour l'accessibilité programme. Pour atteindre ces objectifs, l’équipe a organisé en 2019 un atelier sur la langue des signes, sollicitant les candidatures des meilleurs chercheurs dans le domaine. Abraham Glasser, titulaire d'un doctorat. étudiant en informatique et sciences de l'information et signataire de la langue des signes américaine (ASL), supervisé par le professeur Matt Huenerfauth, a reçu une bourse de trois ans. Son travail se concentrerait sur un besoin et une opportunité très pragmatiques : favoriser l’inclusion en se concentrant sur et en améliorant les interactions courantes avec les assistants intelligents à domicile pour les personnes qui utilisent la langue des signes comme principale forme de communication.
Depuis lors, des professeurs et des étudiants du Golisano College of Computing and Information Sciences du Rochester Institute of Technology (RIT) ont mené les travaux au Centre de recherche sur l'accessibilité et l'inclusion (CAIR). Le CAIR publie des recherches sur l'accessibilité informatique et inclut de nombreux étudiants sourds et malentendants (DHH) travaillant bilinguement en anglais et en langue des signes américaine.
Pour commencer cette recherche, l'équipe a étudié comment les utilisateurs de DHH préféreraient interagir de manière optimale avec leurs assistants personnels, qu'il s'agisse d'un haut-parleur intelligent ou d'autres types d'appareils de la maison qui répondent aux commandes vocales. Traditionnellement, ces appareils utilisaient une interaction vocale et, à mesure que la technologie évoluait, les modèles plus récents intègrent désormais des caméras et des écrans d'affichage. Actuellement, aucun des appareils disponibles sur le marché ne comprend les commandes en ASL ou dans d’autres langues des signes. L’introduction de cette capacité constitue donc un développement technologique futur important pour répondre à une clientèle inexploitée et favoriser l’inclusion. Abraham a exploré des scénarios simulés dans lesquels, grâce à la caméra de l'appareil, le technicien pourrait observer la signature d'un utilisateur, traiter sa demande et afficher le résultat de sortie sur l'écran de l'appareil.
Certaines recherches antérieures s'étaient concentrées sur les phases d'interaction avec un assistant personnel, mais peu incluaient les utilisateurs du DHH. Parmi les exemples de recherches disponibles, citons l'étude de l'activation des appareils, y compris les préoccupations liées au réveil d'un appareil, ainsi que les modalités de sortie des appareils sous forme de vidéos, d'avatars ASL et de sous-titres en anglais. L’appel à l’action du point de vue de la recherche comprenait la collecte de davantage de données, le principal goulot d’étranglement, pour les technologies de la langue des signes.
Pour ouvrir la voie aux progrès technologiques, il était essentiel de comprendre à quoi les utilisateurs du DHH souhaiteraient que l'interaction avec les appareils ressemble et quel type de commandes ils souhaiteraient émettre. Abraham et l'équipe ont mis en place une configuration de vidéoconférence du Magicien d'Oz. Un interprète ASL « sorcier » avait un assistant personnel à domicile dans la pièce avec eux, se joignant à l’appel sans être vu par la caméra. L'écran et la sortie de l'appareil seraient visibles dans la fenêtre vidéo de l'appel et chaque participant était guidé par un modérateur de recherche. Lorsque les participants sourds signaient sur leur appareil personnel, ils ne savaient pas que l'interprète ASL exprimait les commandes en anglais parlé. Une équipe d'annotateurs a regardé l'enregistrement, identifiant les segments clés des vidéos et transcrivant chaque commande en anglais et en ASL gloss.
Abraham a pu identifier de nouvelles façons dont les utilisateurs interagiraient avec l'appareil, telles que les commandes de « réveil » qui n'avaient pas été capturées dans les recherches précédentes.