Malvoyants : une appli pour décrire les images sur Facebook

Résumé : Facebook innove dans un système de description audio des images pour utilisateurs non-voyants. Un ciel et un arbre ou le sourire d'un bébé... Une fonctionnalité pourrait bientôt s'intégrer à des lunettes ou un smartphone pour "voir" à la place.

Par , le 

Réagissez à cet article !

Facebook lance, le 5 avril 2016, une nouvelle fonctionnalité qui utilise des avancées de l'intelligence artificielle, notamment en termes de reconnaissance d'objets, pour décrire le contenu de photos publiées sur son réseau aux aveugles et aux malvoyants.

Une description audio de la photo

La technologie est disponible uniquement dans un premier temps sur les appareils mobiles d'Apple (iOS) et pour les utilisateurs anglophones de 5 marchés spécifiques (Etats-Unis, Royaume-Uni, Canada, Australie, Nouvelle-Zélande). L'objectif est toutefois de l'étendre rapidement à d'autres langues et à d'autres plateformes. La nouvelle fonctionnalité, baptisée « automatic alternative text », fonctionne avec les logiciels utilisés par les aveugles pour obtenir une description audio de ce qui s'affiche sur leur écran. Dans le cas d'une image publiée sur Facebook, ce type de logiciel se contentait toutefois généralement jusqu'ici de dire qu'il s'agissait d'une photo avec le nom de son auteur, et de lire le cas échéants les commentaires écrits en dessous, ce qui ne donnait pas forcément d'indication sur son contenu.

Un ciel et un arbre, une pizza…

La nouvelle fonctionnalité ambitionne d'enrichir cette description en fournissant à l'utilisateur quelques mots sur ce qui a pu être automatiquement reconnu dans l'image. Lors d'une démonstration pour des journalistes, le système indiquait par exemple qu'une photo pouvait montrer du ciel et un arbre, une pizza, ou trois personnes qui sourient en extérieur. Cela reste une description partielle du contenu de l'image, avec pour l'instant une centaine d'éléments reconnus automatiquement, qu'il s'agisse de modes de transport (voiture, bateau, avion, vélo...), d'éléments naturels (extérieur, montagne, arbre, océan, soleil...), de types de sports (tennis, natation, golf...) ou de nourriture (pizza, sushi, café, dessert) ou encore de mots aidant à décrire l'apparence d'une personne (bébé, lunettes, barbe, souriant...).

L'astuce d'un ingénieur aveugle

Le choix des éléments de cette liste, qui a vocation à s'allonger au fil du temps, repose sur la fréquence d'apparition des choses en question dans les photos publiées sur Facebook, mais aussi sur la capacité du système à les reconnaître de manière fiable, ont expliqué aux journalistes Jeff Wieland, un des membres de l'équipe s'occupant des questions d'accessibilité chez Facebook, et Matt King, un ingénieur du groupe qui a perdu la vue quand il était à l'université. Dans le futur, le système pourrait être développé pour fournir des descriptions plus complètes, par exemple en précisant les activités auxquelles se livrent les personnes sur une photo, ou peut-être leur identité, ont-ils détaillé.

Pas le seul…

Facebook n'est pas le seul groupe technologique à envisager d'utiliser l'intelligence artificielle pour aider les personnes handicapées. Lors d'une conférence pour les développeurs fin mars 2016, Microsoft avait également évoqué l'intégration de fonctions de reconnaissance d'objet ou de texte à des applications mobiles. Il avait notamment montré dans une vidéo comment ce type de fonctionnalité pourrait par exemple s'intégrer à des lunettes ou un smartphone pour « voir » à la place d'un aveugle et lui décrire les gens qui l'entourent et leurs réactions, ou encore lui lire le menu d'un restaurant.

Réagissez à cet article !  

Handicap.fr vous suggère les liens suivants :

Sur Handicap.fr

« Tous droits de reproduction et de représentation réservés.© (2017) Agence France-Presse.Toutes les informations reproduites sur cette page sont protégées par des droits de propriété intellectuelle détenus par l'AFP. Par conséquent, aucune de ces informations ne peut être reproduite, modifiée, rediffusée, traduite, exploitée commercialement ou réutilisée de quelque manière que ce soit sans l'accord préalable écrit de l'AFP. L'AFP ne pourra être tenue pour responsable des délais, erreurs, omissions qui ne peuvent être exclus, ni des conséquences des actions ou transactions effectuées sur la base de ces informations ».


Soumettre votre avis

Rappel :

  • Merci de bien vouloir éviter les messages diffamatoires, insultants, tendancieux...
  • Pour les questions personnelles générales, prenez contact avec nos assistants
  • Avant d'être affiché, votre message devra être validé via un mail que vous recevrez.

Haut

Recevez la newsletter Handicap.fr