Технология, помогающая слепым людям видеть

Ранее на этой неделе Facebook обновил свое приложение для iOS, предлагающее голосовые описания фотографий, загружаемых пользователями. Большой шаг вперед в обеспечении доступности, но это далеко не единственная компания, стремящаяся сделать мир более инклюзивным для людей с нарушениями зрения.

Фактически, быстрый прогресс в области искусственного интеллекта, машинного зрения и технологий распознавания изображений открывает цифровой мир для слепых и слабовидящих – и помогает им взаимодействовать с окружающей средой.

Умные жидкости

Интересный пример — австрийский стартап. БЛИТАБкоторая создала первый в мире тактильный планшет для слепых и слабовидящих людей, получивший название «iPad для слепых». Как объясняет Кристина Цветанова, соучредитель и генеральный директор BLITAB Technology, устройство похоже на электронную книгу, но отображает небольшие физические пузырьки вместо экрана, что означает, что пользователи могут просматривать целые страницы текста Брайля одновременно, без каких-либо механических элементов. .

«Он предлагает совершенно новый пользовательский интерфейс для читателей, использующих шрифт Брайля и не использующих его, благодаря сенсорной навигации, преобразованию текста в речь и клавиатурному приложению в стиле Perkins. Он также позволяет напрямую конвертировать любой текстовый файл в шрифт Брайля и получать информацию через теги NFC. BLITAB — это не просто планшет, это платформа для всех существующих и будущих программных приложений для слепых читателей», — говорит она.

Хотя Цветанова не раскрывает точных деталей, она сообщает, что устройство работает с использованием инновационной технологии умных жидкостей, которая, по ее словам, предлагает «принципиально новые возможности преобразования материалов» и что планшет «переосмысливает традиционные представления о срабатывании, основанные на механике».

Ключевым ограничением существующих дисплеев Брайля является то, что они отображают только одну строку текста Брайля – что гораздо менее полезно для чтения книг или длинных документов – и не позволяют пользователям «просматривать» другие тактильные приложения, такие как изображения или графики. По словам Цветановой, перевести учебник, содержащий табличные данные и иллюстративную информацию, на шрифт Брайля часто бывает непомерно дорого: затраты достигают 40 000 долларов (28 000 фунтов стерлингов).

Помимо воспроизведения 14 строк текста Брайля, BLITAB также будет выводить изображения и графику и сочетать тактильные ощущения с возможностями преобразования текста в речь. Эта функция напрямую предназначена для всех слепых пользователей, которые не умеют читать по Брайлю и хотят впервые увидеть цифровые тактильные изображения.

В прошлом месяце BLITAB продемонстрировала новый пользовательский интерфейс без клавиатуры с сенсорным экраном с функцией преобразования текста в речь. Цветанова говорит, что компания в конечном итоге планирует создать модель высокого класса с большим количеством функций стоимостью около 2500 евро (2025 фунтов стерлингов) и более дешевое устройство по цене 500 евро (405 фунтов стерлингов), ориентированное исключительно на дисплей Брайля.

Видеть ИИ

Помимо небольших стартапов, некоторые крупные глобальные игроки также активно рассматривают возможность выхода в это пространство. Одним из примеров является гигант социальных сетей Facebook, который в настоящее время объединяет технологию распознавания изображений с MemNets (Memory Networks) для разработки новаторские новые приложения для пользователей с нарушениями зрения.

MemNets — это новые приложения, которые добавляют своего рода кратковременную память к сверточным нейронным сетям, которые питают системы глубокого обучения компании, и в процессе позволяют им понимать язык так же, как это делает человек. По данным Facebook, демонстрационная система MemNets обучена читать краткий обзор и отвечать на вопросы. Властелин колец теперь масштабируется для обработки наборов данных, превышающих 100 000 вопросов. В будущем компания также надеется использовать эту технологию, которая позволит людям задавать вопросы о содержании фотографий, не позволяя слабовидящим людям оставаться в стороне, когда друзья делятся фотографиями.

В другом месте другой технологический гигант, Microsoft, работает над современной визуальной вспомогательной технологией в рамках своего текущего проекта. Видеть ИИ исследовательская инициатива. Проект, подробно описано в видео выпущенный во время конференции Build в прошлом месяце в Сан-Франциско, он работает над объединением компьютерного зрения с возможностями обработки естественного языка для описания непосредственного окружения человека, а также «чтения текста, ответа на вопросы и даже распознавания эмоций на лицах людей». Хотя дата выпуска еще не определена, компания заявляет, что видит, что Seeing AI в конечном итоге будет использоваться в качестве приложения для мобильных телефонов или даже будет доступен через умные очки от Поворотная головка.

Нейронные сети

Еще одним ранним фаворитом является Айполиприложение для iPhone, которое использует искусственный интеллект для идентификации предметов в режиме реального времени и помогает слепым и слабовидящим людям распознавать физический мир через свой смартфон. Начав с «легкого» приложения, способного распознавать 1000 предметов, компания, основанная в Университет Сингулярности в Исследовательском центре Эймса НАСА в Силиконовой долине сейчас готовится выпустить версию, которая сможет распознавать 5000 предметов.

С помощью приложения пользователи могут создать мысленную картину новой области или комнаты, сканируя ее и слушая голос, описывающий объекты в их окружении. Они также могут использовать его для поиска выключателей и вилок света или для доступа к объектам в общественных туалетах, а дети с нарушениями зрения используют его для изучения предметов без помощи воспитателя.

«Со временем Aipoly сможет идентифицировать гораздо больше предметов, а в будущем также создавать полные предложения, описывающие положение и состояние предметов. Мы также рассматриваем возможность интеграции его в очки», — говорит Альберто Риццоли, соучредитель Aipoly.

По словам Риццоли, технология основана на сверточной нейронной сети, обученной Терадип Программное обеспечение глубокого обучения для набора данных из 10 миллионов изображений. Нейронная сеть — это архитектура процессов, вдохновленная человеческим мозгом и, в данном случае, зрительной корой головного мозга животных. Это позволяет компьютерам видеть и думать, как люди, и дает им чувство творчества. Нейронные сети находились в центре внимания в течение последних пяти лет и недавно смогли создавать произведения искусства, используя стиль известных художников, «воображая» и создавая лица или даже превосходя людей в угадывании простых эскизов.

«Благодаря нейронным сетям Aipoly может понимать концепцию таких объектов, как стулья, и идентифицировать все типы стульев, не видя их предварительно. Эта революционная технология приближает нас на один шаг к поиску замены собакам-поводырям или помощникам для людей с нарушениями зрения», — говорит Риццоли.

«Через несколько лет он может превзойти людей, кто знает?»

ЧИТАЙТЕ ДАЛЬШЕ: Как Facebook использует ИИ для чтения изображений слепым