Нейросеть «Алиса» научилась описывать картинки в интернете

У нейросети «Алиса» в Яндекс Браузере появилась новая функция — распознавать изображения в интернете и создавать их описание, сообщили РБК в пресс-службе компании «Яндекс». Благодаря новой способности «Алисы» незрячие и слабовидящие пользователи смогут воспринимать прежде недоступный им визуальный контент: иллюстрации в статьях, фотографии товаров на маркет-плейсах или картинки в соцсетях.

Как пояснили разработчики, в основе новой функции лежит нейросетевая мультимодальная модель.

«Она не просто распознает отдельные объекты, а воспринимает изображение целиком: понимает взаимосвязь между элементами, учитывает их контекст и смысл», — рассказали в компании. Таким образом получается создавать лаконичные и осмысленные описания, позволяющие пользователям с особенностями зрения получить достоверное представление о содержании изображения.

Для этого достаточно выбрать опцию «Описать картинку» в контекстном меню или на панели поверх картинки — либо навести на изображение фокус программы экранного доступа.

Кроме того, в Яндекс Браузере для Windows, iOS и Android «Алиса» еще и озвучит описание. Управлять же функцией можно в настройках Браузера — в разделе «Специальные возможности». В случае включенной программы экранного доступа «Алиса» создаст описания только для тех картинок, на которые пользователь может нацелить фокус, уточнили в пресс-службе.

Ранее в Яндекс Браузер были внедрены и другие инструменты для слабовидящих людей: особый режим чтения, убирающий лишнее с экрана и помогающий концентрироваться на тексте; выбор темной темы и гибкое масштабирование интерфейса, чтобы создать комфортные условия для глаз и разобрать мелкий шрифт.

Читайте РБК в Telegram.