Лаборатория обработки естественного языка университета Фудан представила приложение “Слышать мир”, которое использует передовую мультимодальную модель “Фудан-Мысли” для преобразования изображений в слова и описания окружающей среды. Это приложение стало настоящим помощником для людей с нарушениями зрения, предоставляя им возможность безопасно перемещаться и в полной мере наслаждаться жизнью.
Приложение “Слышать мир” предлагает три режима, которые идеально подходят для повседневных нужд незрячих людей:
- Режим передвижения по улице: Служит верным гидом, предупреждает об опасностях и помогает безопасно передвигаться по городу.
- Режим свободного опроса: Описывает окружающую обстановку, позволяя незрячим людям посещать музеи, галереи и парки, наслаждаясь красотой каждого момента.
- Режим поиска: Помогает находить повседневные предметы, такие как трость или любимые продукты, что делает жизнь более удобной.
Команда, стоящая за этим невероятным приложением, состоит из талантливых студентов и преподавателей, которые увлечены созданием технологий, улучшающих жизнь людей. Они тесно сотрудничали с незрячими людьми, чтобы обеспечить соответствие приложения их реальным потребностям.
В ближайшем будущем приложение “Слышать мир” будет интегрировано с технологией дополненной реальности (AR) для повышения точности определения местоположения и будет обновлено до системы, основанной на видео. Также разрабатываются дополнительные режимы, такие как режим чтения и режим комментария, которые еще больше расширят возможности приложения.
“Слышать мир” – это революционное приложение, которое позволит незрячим людям вести более независимую и полноценную жизнь. Оно открывает перед ними новые возможности и позволяет им в полной мере участвовать в различных видах деятельности.
Источник: Пэньпай Ньюс
China8