Модифицированные Microsoft Hololens могут помочь людям с ограниченными возможностями

Люди, привыкшие видеть все вокруг, не замечают, насколько важную роль в социальном взаимодействии и общении играет зрение. В исследовательском проекте Microsoft используется ИИ (искусственный интеллект) и ДР (дополненная реальность), чтобы помочь людям с нарушениями зрения «видеть» своих собеседников.

Проблема, с которой сталкиваются люди с нарушениями зрения, конечно, заключается в том, что они не могут видеть других людей вокруг них. Им могут быть недоступны многие невербальные подсказки, используемые в разговоре другими людьми.

Проект Tokyo является новой попыткой исследователей Microsoft понять, каким образом технологии ИИ и ДР могут быть полезны людям с ограниченными возможностями.
И, хотя каждый случай индивидуален, стоит все же отметить, что виртуальные помощники с голосовым управлением являются благом для многих, кто не может так просто использовать сенсорный экран, мышь и клавиатуру.

Команда специалистов, которая несколько лет назад начинала c неофициальной задачи по улучшению доступности к информации, стала наблюдать за участниками Специальной Олимпиады, а затем проводить семинары с участием сообщества слепых и слабовидящих. Первые результаты их исследований основывались на тонком контексте, основе, которую человеку дает зрение почти во всех ситуациях.

«Большинство людей наделены очень нюансированным и детальным восприятием того, как взаимодействовать с людьми. На это восприятие непосредственно влияет понимание того, какие люди находится в комнате, что они делают, в каких отношениях они со мной, актуальны они для меня или нет», — отмечает исследователь Microsoft Эд Катрелл. «А для незрячих многие сигналы, которые мы принимаем как должное, просто недоступны».

Экспериментальное решение этой проблемы, продвижением которого занимается Project Tokyo лежит в использовании модифицированных Microsoft Hololens (очков смешанной реальности) – без использования линз, конечно.
В данном случае речь идет об очень сложном устройстве визуализации, которое может идентифицировать объекты и людей, если им присвоен правильный код.

Пользователи носят устройство как высокотехнологичный обруч или ободок на голове, а пользовательский программный стек предоставляет им набор контекстных подсказок:

• При обнаружении человека, скажем, в четырех футах справа, гарнитура издает щелчок, который звучит так, как будто он исходит из этого места.
• Если лицо человека знакомо, гарнитура дает второй сигнал и объявляется имя человека(слышно только пользователю).
• Если лицо неизвестно или плохо видно, воспроизводится долгий звук, который модулируется, когда пользователь направляет голову в сторону другого человека, заканчиваясь щелчком, когда лицо центрируется на камере (что также означает, что пользователь сталкивается с ним лицом к лицу).
• Для тех, кто находится рядом, светодиодная полоса светится белым в направлении обнаруженного человека, и зеленым, если он был идентифицирован.

Другие инструменты еще оцениваются, но этот набор является только началом, и, основываясь на результатах тематических экспериментальных игр с незрячими детьми, можно сделать вывод, что устройства будут чрезвычайно полезны.

Проведенная работа является хорошим началом, но она определенно еще в процессе. Громоздкое, дорогое оборудование — это не то, что вы хотели бы носить с собой весь день, и, естественно, у разных пользователей будут возникать разные потребности. Что насчет выражений лиц и жестов, дорожных знаков и меню?
В конечном итоге, будущее Project Tokyo, как и прежде, будет определяться потребностями сообществ, с которыми, к сожалению, редко консультируются, когда речь идет о разработке систем искусственного интеллекта и других современных удобств.
image credit:3DWorld