Lista przedmiotów z materiałami udostępnionymi dla studentów

Dla_studentów
  • Increase font size
  • Default font size
  • Decrease font size

Mariusz Jangas

Projekt i implementacja systemu rozpoznawania wybranych znaków polskiego języka migowego z wykorzystaniem urządzenia MyoArmband


Design and implementation of a system for selected Polish sign language gestures recognition using the MyoArmband device


Opiekun pracy dyplomowej: dr inż. Aleksandra Królak
Praca dyplomowa magisterska obroniona 2022-07-01
Streszczenie pracy dyplomowej:
Pojęcie utarty słuchu obejmuje spektrum różnego poziomu jego uszkodzeń oraz szeroką gamę strategii dotyczących porozumiewania się osób dotkniętych ubytkiem słuchu. Ta niezdolność dotyka 1.5 miliarda ludzi, a do 2050 roku ich liczba wzrośnie do 2.5 miliarda. Jednym ze sposób komunikowania się osób głuchych jest język migowy, który nie jest powszechnie znany i łatwy do nauki. Celem pracy jest opracowanie systemu do rozpoznawania wybranych znaków Polskiego Języka Migowego z wykorzystaniem urządzenia MyoArmband. Opracowany model sieci neuronowych umożliwia rozpoznanie 18 liter alfabetu palcowego oraz 5 gestów dynamicznych. W celu stworzenia modelu oraz przeprowadzenia jego walidacji dokonano pomiaru łącznie 168 znaków. Uzyskane wyniki potwierdziły możliwość rozpoznania znaków alfabetu palcowego korzystając wyłącznie z sygnału elektromiograficznego. Do rozpoznawania gestów dynamicznych wykazano konieczność wykorzystania zarówno sygnału EMG jak i sygnału z czujników inercyjnych opaski. Słowa kluczowe: Polski Język Migowy, Głusi, EMG, MyoArmband, Sieci neuronowe.
Abstract:
Loss of hearing covers a spectrum of different levels of hearing loss and a wide variety of strategies for communicating with hearing loss. This disability affects more than 1.5 billion people, and by 2050 the number will increase to 2.5 billion. One of the ways deaf people communicate is sign language, which is not widely known and easy to learn. The aim of the work is to develop a system for recognizing selected signs of Polish Sign Language with the use of the MyoArmband device. The developed model of neural networks enables the recognition of 18 letters of the finger alphabet and 5 dynamic gestures. In order to create the model and validate it, a total of 168 characters were acquired. The obtained results confirmed the possibility of recognizing the characters of the finger alphabet using only the electromyographic signal. For the recognition of dynamic gestures, the necessity to use both the EMG signal and the signal from the inertial sensors of the wristband was demonstrated. Keywords: Polish Sign Language, Deaf, EMG, MyoArmband, Neural networks.