Корпорация Microsoft выпустила мобильное приложение Seeing AI, предназначенное для слабовидящих и слепых людей. Оно работает на базе нейросетей: когда пользователь наводит камеру телефона на объект, приложение распознает его и рассказывает, что происходит вокруг, пишет Медуза.

Бесплатное приложение Seeing AI пока доступно только на iOS и только в американском App Store. Когда оно появится на Android и в других странах, в Microsoft не уточняют.

Пользователю сначала нужно указать приложению, что оно должно распознать: человека, короткую надпись, текст, купюру, продукт в магазине или вообще все, что оно увидит.

Если навести камеру на человека, приложение назовет его примерный возраст и черты внешности (например, носит ли он очки), а также опишет выражение его лица. Пользователь может сфотографировать своего друга, тогда его изображение сохранится в базе данных, и в следующий раз Seeing AI просто назовет его по имени.

Microsoft встроила в приложение распознавание штрихкодов. Благодаря этому можно узнать название продукта в магазине и получить его краткое описание. The Verge отмечает, что распознавание купюр особенно актуально в США, где все доллары одного размера и цвета вне зависимости от номинала.

Seeing AI подсказывает пользователю, куда двигать камеру, чтобы нужный объект или надпись целиком попали в кадр. Описывая человека, приложение указывает, как далеко он стоит и в каком углу кадра его лицо.

Большинство стандартных функций в Seeing AI используют нейросети, работающие на самом телефоне. Благодаря этому распознавание объектов будет срабатывать и без связи. Интернет нужен для экспериментальных функций — таких, как описание сцены в целом и распознавание рукописного текста.

Наконец, Seeing AI научили распознавать изображения, с которыми пользователь сталкивается в других приложениях. Чтобы оно описало, что происходит на картинке, достаточно импортировать картинку в него.