Модифіковані Microsoft Hololens зможуть допомогти людям з обмеженими можливостями.

Люди, які звикли бачити все навколо, не помічають, наскільки важливу роль в соціальній взаємодії та спілкуванні відіграє зір. В дослідницькому проекті Tokyo, Microsoft використовує штучний інтелект (ШІ) і доповнену реальність (ДР), щоб допомогти людям з вадами зору «бачити» своїх співрозмовників.

Проблема, з якою стикаются люди з вадами зору, звичайно, полягає в тому, що вони не можуть бачити інших людей навколо. Їм можуть бути недоступні багато невербальних сигналів, які використовуються в розмовах іншими людьми.
Проект Tokyo є новою спробою дослідників з Microsoft зрозуміти, яким чином технології ШІ і ДР можуть бути корисними людям з обмеженими можливостями.

І, хоча кожен випадок потрібно розглядати окремо, треба все ж таки відмітити, що віртуальні помічники з голосовим керуванням є благом для багатьох, хто не в змозі так просто користуватися сенсорним екраном, мишкою і клавіатурою.

Команда спеціалистів, яка декілька років тому починала з неофіційної задачи з покращення доступу до інформації, почала спостерігати за учасниками Спеціальної Олімпіади, а потім проводити семінари за участю сопівтовариства незрячих і слабозорих. Перші результати досліджень ґрунтувались на тонкому контексті, основі, яку дає людині зір майже в будь-яких ситуациях.
«Більшість людей наділені дуже нюансованим і детальним сприйняттям того, як взаємодіяти з іншими людьми. На це сприйняття безпосередньо впливає розуміння того, які люди знаходяться в кімнаті, що вони роблять, в каких відносинах вони зі мною, чи є вони для мене актуальними», – відмічає дослідник з Microsoft Ед Катрел. «А для незрячих багато сигналів, які ми приймаємо як належне, просто недоступні».

Експериментальне рішення цієї проблеми, впроважденням якого займаєтся Project Tokyo лежить у використанні модифікованих Microsoft Hololens (окулярів змішаної реальності) – без використання самих лінз, звичайно.
В даному випадку іде мова про дуже складний пристрій візуалізації, який може ідентифікувати об’єкти і людей, якщо їм присвоєно правильний код.
Користувачи носять прилад як високотехнологічний обруч або ободок на голові,а спеціальний програмний стек надає їм набір контекстних підказок:

• При виявленні людини, скажімо, в чотирьох футах справа, гарнітура видає клацання, яке звучить так, ніби воно виходить з цього місця.
• Якщо обличчя людини знайоме, гарнітура дає другий сигнал і оголошується ім’я людини (чутно тільки користувачеві).
• Якщо особа невідома або її погано видно, відтворюється довгий звук, який модулюється, коли користувач повертає голову в бік іншої людини, завершуючись клацанням, коли особа центрується на камері (що також означає, що користувач стикається з ним віч-на-віч).
• Для тих, хто знаходиться поруч, світлодіодна стрічка світиться білим в напрямку виявленої людини, та зеленим, якщо він був ідентифікований.
Інші інструменті приладу ще оцінюються, але цей набір є тільки початком, і, ґрунтуючись на результатах тематичних експеріментальних ігор з незрячими дітьми, можна зробити висновок, що прилади будуть надзвичайно корисні.

Проведена робота є гарним початком, але вона, безперечно, ще в процесі. Громіздке, коштовне обладнання – це не те, що ви б хотіли носити весь день, і, природно, що у різних користувачів будуть виникати різні потреби. Як щодо виразів обличчя і жестів, дорожних знаків і меню?
В кінцевому підсумку майбутнє Project Tokyo, як і раніше, буде визначатися потребами спільнот, з якими, на жаль, рідко консультуються, коли мова йде про розробку систем штучного інтелекту та інших сучасних зручностей.
image credit:3DWorld