Система дополненной реальности научилась точнее распознавать достопримечательности
Исследователи создали систему дополненной реальности, которая распознает городские достопримечательности даже тогда, когда GPS ошибается. В испытаниях в Тегеране точность определения объектов выросла примерно на треть.
Источник: Новости науки: Пользователь смартфона с дополненной реальностью, распознающей историческое здание в городской среде; поверх изображения отображаются название объекта, историческая справка и навигационные подсказки.
МОСКВА, 14 июля. /Новости науки/. Международная группа исследователей разработала систему дополненной реальности для смартфонов, которая сочетает геолокацию, искусственный интеллект и анализ контекста пользователя. Испытания в Тегеране показали, что такой подход повышает точность распознавания городских достопримечательностей примерно на 34% по сравнению с обычными системами, основанными только на данных GPS. Результаты опубликованы в журнале Big Earth Data.
Разработка призвана решить одну из главных проблем существующих приложений дополненной реальности. Системы, полагающиеся только на спутниковую навигацию и датчики смартфона, нередко ошибаются из-за неточностей GPS, плотной городской застройки или ограниченного обзора. Новый алгоритм автоматически переключается на компьютерное зрение, когда обычные методы не могут надежно определить объект.
«Мы предложили механизм переключения, при котором глубокое обучение используется только тогда, когда система на основе геолокации не смогла распознать достопримечательность», — отмечают авторы работы.
В основе системы лежит нейросеть MobileNetV2, оптимизированная для мобильных устройств. Помимо изображения объекта, приложение учитывает дополнительные факторы: время суток, возраст пользователя, проходящие поблизости мероприятия и расстояние до достопримечательности. Такой подход позволяет не только распознавать объект, но и адаптировать выдаваемую информацию к конкретной ситуации.
Во время испытаний система анализировала десять известных достопримечательностей Тегерана. Средняя точность распознавания достигла около 91%, а 90% добровольцев сообщили, что новая технология успешно устраняет ограничения традиционных геолокационных сервисов. Еще 68% участников отметили, что контекстные подсказки сделали знакомство с культурным наследием более информативным.
Авторы полагают, что подобные решения могут использоваться не только в туристических приложениях, но и при создании инфраструктуры «умных» городов, помогая жителям и туристам лучше ориентироваться в городской среде и получать информацию об объектах культурного наследия.
Разработка призвана решить одну из главных проблем существующих приложений дополненной реальности. Системы, полагающиеся только на спутниковую навигацию и датчики смартфона, нередко ошибаются из-за неточностей GPS, плотной городской застройки или ограниченного обзора. Новый алгоритм автоматически переключается на компьютерное зрение, когда обычные методы не могут надежно определить объект.
«Мы предложили механизм переключения, при котором глубокое обучение используется только тогда, когда система на основе геолокации не смогла распознать достопримечательность», — отмечают авторы работы.
В основе системы лежит нейросеть MobileNetV2, оптимизированная для мобильных устройств. Помимо изображения объекта, приложение учитывает дополнительные факторы: время суток, возраст пользователя, проходящие поблизости мероприятия и расстояние до достопримечательности. Такой подход позволяет не только распознавать объект, но и адаптировать выдаваемую информацию к конкретной ситуации.
Во время испытаний система анализировала десять известных достопримечательностей Тегерана. Средняя точность распознавания достигла около 91%, а 90% добровольцев сообщили, что новая технология успешно устраняет ограничения традиционных геолокационных сервисов. Еще 68% участников отметили, что контекстные подсказки сделали знакомство с культурным наследием более информативным.
Авторы полагают, что подобные решения могут использоваться не только в туристических приложениях, но и при создании инфраструктуры «умных» городов, помогая жителям и туристам лучше ориентироваться в городской среде и получать информацию об объектах культурного наследия.
