Mutasd a hangod - automatikus jeltolmács
Mátételki Péter
<>
MTA SZTAKI
A Tolmácskesztyű projektben egy olyan segédeszközt alkottunk, mellyel a beszéd- és halláskárosult emberek kézmozgást, gesztusokat használva képesek a mindennapi életben kapcsolatot teremteni ép embertársaikkal. A kifejlesztett segédeszköz egy innovatív hardver-szoftver rendszer, amely egy kézmozgást érzékelő kesztyűből valamint a kézjeleket felismerő és nyelvi feldolgozást végző szoftverből áll. A Tolmácskesztyű eszközrendszer jelnyelvi szinkrontolmácsként működik, segítségével a fogyatékkal élők anyanyelvükön - vagyis jelnyelven - kommunikálhatnak az épekkel. A Tolmácskesztyű applikáció a jelelt szöveget hangosan felolvassa, így a sérültek és a (jelnyelvet nem ismerő) épek között folytonos kommunikáció jön létre.
A Tolmácskesztyű hardver prototípusa lélegző elasztikus anyagból készült, ergonomikus tervezésének köszönhetően alkalmas mindennapos használatra. A kesztyűn integrált orientációérzékelő szenzorok találhatók, a vezérlőegységhez vezeték nélküli kommunikációs egységet illesztettünk. A kesztyű szenzorfúziós, majd térgeometriai műveletek segítségével megalkotja a kézfej digitális mását, melyet speciális gesztusleírókként reprezentál. A felhasználó mobiltelefonjára csatlakozva folyamatosan küldi e gesztusleírókból álló adatfolyamot. A mobilapplikáció feldolgozza a bejövő gesztusleírókat, intelligens szegmentáló algoritmusok és automatikus szövegjavítás során érthető szöveget hoz létre, melyet hangosan felolvas.
A siketnéma emberek jelenleg hosszas, olykor nehézkes magyarázkodással, vagy jelnyelvi tolmács segítségével kommunikálnak. A Tolmácskesztyű jelentősen előmozdítja társadalmi integrációjukat, mivel általa képesek magukat megértetni a jelnyelvet nem ismerőkkel. Üzletben, piacon való vásárlástól kezdve a banki ügyintézésen át az oktatásban való részvételig számos kaput nyit meg számukra a Tolmácskesztyű. Ezen felül az eszköz jelentősen előmozdíthatja a beszéd- és halláskárosult emberek munkavállalási lehetőségeit is.