Animatie met gebarentaal helpt dove kinderen met leren lezen

0
432

Dove kinderen kunnen klanken niet aan geschreven woorden koppelen. Daardoor leren ze vaak veel later lezen dan hun horende leeftijdsgenootjes. De app StorySign zet tekst om in gebarentaal en helpt zo dove kinderen met leren lezen.

In StorySign, vertaalt de vriendelijke avatar Star, in gebarentaal, het kinderboek ‘Waar is Dribbel?’. Hierdoor  leren dove en slechthorende kinderen, net als hun leeftijdsgenoten, lezen terwijl ze naar de woorden in kinderboekjes kijken.

Werking

De app werkt als volgt. Ouders kunnen hun kind voorlezen met de StorySign app door de app te openen en met hun smartphone de woorden te scannen. De avatar Star verschijnt en vertaalt de tekst naar gebarentaal. Hierbij worden de woorden uitgelicht die Star aan het gebaren is. Zo leren de kinderen de betekenis kennen van de woorden.

“We hebben de exacte gezichtsuitdrukkingen van gebarentolken gekopieerd om Star tot leven te brengen”, vertelt Neil Pymer, creative director bij Aardman Animations, verantwoordelijk voor de animatie van Star. “Mimiek is zeer belangrijk omdat het 70% van de gebarentaal bepaalt. Elke knik of glimlach doet er toe.”

Kunstmatige intelligentie

StorySign maakt gebruik van de AI (kunstmatige intelligentie) van Huawei. Huawei gelooft dat technologie, en kunstmatige intelligentie in het bijzonder, echt kan bijdragen aan maatschappelijke problemen. StorySign is daar een mooi voorbeeld van.

Voor een optimale leeservaring maakt de app gebruik van Image Recognition en Optical Character Recognition (OCR). De AI in Huawei smartphones zorgt ervoor dat de hoek waarin de smartphone boven de tekst gehouden wordt geen invloed heeft op de gebruikservaring. Kinderen zullen namelijk in de praktijk hun telefoon niet altijd recht boven de tekst houden. OCR zorgt ervoor dat de app nog nauwkeuriger werkt. Om de app voor zoveel mogelijk mensen beschikbaar te maken, werkt deze ook op andere Android smartphones. StorySign is erop gebouwd om in de toekomst meer boeken te kunnen toevoegen en zo veel mogelijk ouders en kinderen er gebruik van te kunnen laten maken.

Voorleeskilometers

Volgens FODOK, Federatie voor Ouders van Dove Kinderen, is het erg belangrijk dat er meer aandacht komt voor leesbevordering. “Voorleeskilometers maken met dove en slechthorende kinderen zorgt voor leesplezier. En voorlezen vergroot hun greep op de wereld. Ze worden er sterker van”, zegt Mariën Hannink van FODOK.

Downloaden

StorySign is te downloaden via de Google Play Store en via de HUAWEI App gallery, in 10 talen. Naast Nederlands zijn dat Belgisch, Duits, Engels, Iers, Frans, Spaans, Italiaans, Zwitsers en Portugees.

Video The Silent Child

Chris Overton, die een Oscar won voor de film The Silent Child, regisseerde een korte video over StorySign:

 

Embedcode video

<iframe width=”560″ height=”315″ src=”https://www.youtube.com/embed/2w6-zYhfmN8” frameborder=”0″ allow=”accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture” allowfullscreen></iframe>

------
Abonneer u op onze gratis digitale nieuwsbrief en u ontvangt wekelijks een overzicht van relevante ontwikkelingen rond vroeghulp- en -signalering

LAAT EEN REACTIE ACHTER

Please enter your comment!
Please enter your name here