Студентський проєкт Deaf Translator на Фестивалі інноваційних проєктів "Sikorsky Challenge" отримав високу оцінку міжнародного журі та посів перше місце в категорії "Краща ідея проєкту".
Редакція "КП" звернулася до ст. викладача Л.А.Люшенко, відповідальної на ФПМ за студентські стартап-проєкти, із запитанням: як виникла ідея проєкту?
"В Україні все більше уваги приділяється питанням інтегрування людей з особливими потребами в активне життя, – розповіла Леся Анатоліївна. – Сучасне суспільство намагається забезпечити людям з інвалідністю рівні можливості комунікації, доступу та використання технологій, автоматизації й "розумних" речей. Одним із важливих завдань є надання їм можливостей для спілкування, зокрема і за допомогою спеціальних технологічних та програмних засобів. Команда з трьох студентів факультету прикладної математики: Олександра Пені, Михайла Іващенка, Дениса Охримчука працює над комп'ютерною програмою, що дозволяє розпізнавати жестову мову на відео з камери пристрою. Студенти проходять перший рік магістерської підготовки на науковому відділенні".
Тож команда проєкту Deaf Translator розробила прототип програмної платформи для автоматизованого розпізнавання мови жестів за допомогою комп'ютерного зору та використання штучних нейронних мереж, яка забезпечує функції її виявлення та перекладу, а також зворотну обробку природної мови та перетворення її на жестову. Реалізація платформи на мобільних пристроях, персональних комп'ютерах, у вигляді розширень для інших засобів зв'язку та пристроїв, таких як смарт-окуляри або автоматизовані термінали, дозволить людям з вадами мовлення та/або слуху легко і зручно спілкуватися з тими, хто не знає жестової мови, і навпаки, оточуючі зможуть розуміти та спілкуватись з людьми, які не чують, та навіть навчатись жестової мови.
Проєкт "Deaf Translator" має:
- простий автономний засіб двосторонньої комунікації;
- можливість роботи з різними природними та жестовими мовами;
- модульну структуру для забезпечення широкого спектру застосувань технології;
- звичний спосіб спілкування обох сторін.
Розробники розповіли: запропонована технологія може використовуватись у мобільних додатках, що допоможуть людям зі слабким слухом спілкуватися у повсякденних ситуаціях, а також стане у пригоді людям, яким доводиться спілкуватися з людьми, які не чують: продавцям, лікарям, службовцям тощо. Вона також здатна розширити можливості існуючих засобів зв'язку, таких як Skype або Viber, розумних інтерактивних вбудованих систем.
Нині проєкт знаходиться на стадії дослідження та розробки. У планах на найближче майбутнє – створити масштабований та стабільний робочий прототип для української дактильної жестової мови, щоб визначити оптимальні технології й ефективні технічні рішення.
Побажаємо авторам успішного втілення їхнього стартапу. Адже КПІ ім. Ігоря Сікорського активно допомагає створювати та впроваджувати студентські розробки.