en
Enter
Build a dream
Free registration

Recommend to friends

Мой проект - «Тренажер LeMoNaDe»
Hi-tech
1
2475
15
Recommend to friends
4

 

Однажды в нашей, увлеченной технологичными штучками семье появился небольшой девайс. Эта маленькая черная коробочка, напичканная сенсорами, позволяет пользователям бесконтактно взаимодействовать и управлять экранами устройств, при помощи движений рук на расстоянии. Наигравшись вдоволь, управляя персонажами движениями рук, размахивая перед ноутбуком, мы с младшими братьями на время забросили её в дальний угол стола.

Наверное, нужно сказать, что двое моих младших братьев имеют нарушения слуха. Малыши усиленно изучают дактильную азбуку и жестовый язык, впрочем, также, как и мама, и мы с третьим моим братом.

Как-то раз вспомнился наш заброшенный несколько месяцев назад в стол Leap Motion, ведь управление действиями в играх чем-то напоминает общение на жестовом языке.

Меня заинтересовала эта мысль.

На просторах интернета я узнала о том, что жестовых языков много – английский, китайский, русский, казахский. И в каждом языке некоторые буквы и слова похожи, а некоторые сильно отличаются в разных языках. Также было найдено множество сайтов-переводчиков, где как правило размещают видео с переводом буквы или слова. И несколько разработок, направленных на использование цифровых переводчиков, так называемых аватаров на ТВ, в учебных заведениях, на мероприятиях, в общении.

Отдельное мое внимание привлек сайт surdo.kz – прекрасный и единственный ресурс-переводчик казахского жестового языка, отправленный мной тут-же в закладки браузера.

 В общем-то и в родной Leap Motion среде разработчиков я столкнулась с развивающимся, правда коммерческим проектом Motion Savvy UNI – планшетом, подключаемом к облачной базе данных (за отдельную стоимость ежемесячной подписки) и выступающим в роли живого переводчика с английского жестового языка, благодаря встроенному Leap Motion, обеспечивая обратную связь путем Speech to text – технологий. Этот проект столкнулся с высокой нагрузкой и необходимостью немалых аппаратных ресурсов устройства. Мне кажется, что есть и другие проблемы, связанные с необходимостью отслеживания не только кистей рук сенсорами для стопроцентного корректного перевода с жестового языка, но и движения рук и тела, даже глаз и выражения лица. Кроме этого, база жестовых данных UNI основана на английском жестовом языке и планы по увеличению количества языков базы, весьма отдаленные во времени.

Любой переводчик все же в большей мере нужен для людей, уже знающих жестовый язык, либо пользующихся им, либо желающих уточнить, изучить – имея навыки самого жестового языка.

Теория – это хорошо, но нашей жизнью управляет практика. Множество изобретений, открытий, разработок начинаются с эскиза или модели, превращаясь в формулы и расчеты. Впрочем, также, как и невозможно выучить английский язык, прочтя пусть даже множество учебников и обучающих книг – необходима среда и практика разговорной речи. Что также необходимо и для приобретения навыков жестовой речи любому человеку.

Понимая, что я со своими мыслями не смогу составить конкуренцию большим командам математиков, разработчиков, компаниям, занимающимся усовершенствованием способов перевода жестовых языков, - переводчики и аватары мысленно мной были оставлены тем, кто ими занимается не первый и не последний год.

Как говорит мама – любое хорошее дело начинается с реальных потребностей и проблем, с которыми сталкивается человек. Так вот, я точно знаю, что мне достаточно сложно изучать жестовый язык, даже по видеоматериалам, т.к. не совсем понятно, правильно ли я повторяю жест, увиденный на экране ноутбука.

И именно поэтому я решила остановиться на создании интерактивного тренажера с обратной связью. Предварительно, это комплекс обучающих игровых ПО-моделей, позволяющих получать данные от Leap Motion, такие как – правильно ли показан жест рукой человека.

В интервью Сауле Кудубаева, создатель surdo.kz (Костанайские новости) говорит о том, что жест – это математическая формула. Т.е. мы можем получать данные с сенсоров Leap Motion и программно проверять, соответствуют ли полученные данные о жесте, заложенной модели в базе, используя ответ в игровой форме, либо в виде тестов. Такая форма не требует больших ресурсов для обработки текущих данных, как в переводчике быстросменяемых жестов в речи.

Такой тренажер (или серия обучающих игр) может быть реализован как отдельным ПО, например, на API Leap Motion для языка Python, так и в web-формате – дело времени.

Также, как и внешний вид, последовательность обучающих блоков согласно методике, может быть согласована с программой обучения казахским и русским жестам и дактилю с программой, начиная с дошкольных учреждений. Малышам достаточно легко обучаться на практике, тем более, что современные дети растут с планшетами и смартфонами в руках, а ноутбук найдется в каждой третьей семье.

 

LeMoNaDe – это аббревиатура Leap Motion Navigation of Deaf.

Первая задача – с помощью имеющихся программных возможностей, без необходимости описывать вручную формулами каждый жест казахского и русского языков – сформировать базу жестов, также как это сделали в видео-формате разработчики сайта surdo.kz, с отличием в том самом формате - получить пространственные данные жестов с сенсоров LP.

В нашей команде сегодня есть я – идейный вдохновитель, мама – мой наставник и консультант, профессиональный Python-разработчик - Тимур, визуальный дизайнер, два испытуемых под рукой, - мои не слышащие братья. Следующий этап – разработка либо использование методически-реализуемых визуальных обучающих блоков и формирование блочной последовательности внутри обучающей серии тренажера LeMoNaDe. Исследование применения, корректировки, развитие, трансформации и т.д.

Нам потребуется время, силы и тесное общение с обширной средой профессионалов вокруг темы тренажера жестового языка LeMoNaDe для реализации и развития проекта от фантазий и идей к прототипу и рабочему ПО.

Польза этого проекта не только в облегчении обучения детей с нарушением слуха, но и в обучении их слышащих родителей, старающихся также изучить дактиль и жестовый язык и любых людей вообще. А обучаться – играя, повторяя и жесты руками, тем более совместно – всегда весело и эффективно.

 

Двести тысяч человек – это население среднего городка. Столько жителей Казахстана имеют инвалидность по слуху. Кроме этого, есть люди, которым для общения необходимо изучать жестовый язык – в первую очередь это родители не слышащих детей.

 360 миллионам людей в мире, страдающим от глухоты или проблем со слухом, современные технологии дали бесценную возможность делать то, что еще 5-10 лет назад было совершенно невозможно.

Почему бы не использовать современные технологии в процессе обучения жестовому языку?

 

© KATYA WOLF (Екатерина Стрельникова. 2000 г.р. Ученица КГУ Гимназия №15 г.Алматы.).

I liked Publication
Similar articles
Futuristic 'vertical village'
The organic, curvilinear designs of an Avatar universe may be closer than we think. Indian agroec...
2
22544
2 0
Мини-датчик будет охранять ваши вещи
На краудфандинговой платформе Indiegogo появился проект компактного датчика Stilla Motion, которы...
1
17157
4 0
Japan is designing an invisible train to hit the tracks
If anyone’s going to be dreaming up the outlandish trains of the future, it’s Japan. ...
0
13160
0 0
You invite people into the community
+
Files
my device
Upload
Files
my device
Upload

Обязательно расскажите о своей статье в социальных сетях!
Попросите друзей сделать репосты. Это поможет привлечь вдвое больше пользователей на Вашу публикацию.

Free registration
or With Facebook
Next

By clicking on the "Next" button, you are accepting and agreeing with our Terms and Conditions, and you are acknowledging that you have read our Privacy Policy.