Остановите меня, если вы видели это раньше: черно-белый пикселизированный квадрат вместо физического меню в ресторане.
QR-коды, казалось бы, повсеместны в повседневной жизни. Независимо от того, видите ли вы его на купоне в продуктовом магазине, на листовке на доске объявлений или на стене музейной экспозиции, каждый код содержит встроенные данные.
К сожалению, QR—коды в физических пространствах иногда заменяются или подделываются, чтобы обманом заставить вас передать ваши данные нежелательным лицам – кажущийся безобидным набор пикселей может привести вас к опасным ссылкам и вирусам.
Исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) разработали еще один потенциальный вариант: BrightMarker, невидимую флуоресцентную метку, скрытую в объектах, напечатанных на 3D-принтере, таких как мяч, контейнер, чехол для гаджета или снаряжение. Исследователи полагают, что их система может улучшить отслеживание движения, виртуальную реальность и обнаружение объектов.
Чтобы создать BrightMarker, пользователи могут загрузить программный плагин команды CSAIL для программ 3D-моделирования, таких как Blender. Поместив тег в геометрию своего дизайна, они могут экспортировать его в виде STL-файла для 3D-печати. С помощью флуоресцентных нитей, вставленных в принтер, пользователи могут изготовить объект со скрытой меткой, очень похожий на невидимый QR-код. Пользователям нужно будет встроить свои маркеры в объект до того, как он будет создан, что означает, что теги не могут быть добавлены к существующим элементам.
Флуоресцентные материалы позволяют каждой метке излучать свет с определенной длиной волны ближнего инфракрасного диапазона, что делает их видимыми с высокой контрастностью в инфракрасных камерах. Исследователи разработали две подключаемые аппаратные установки, способные обнаруживать яркие маркеры: одну для смартфонов и одну для гарнитур дополненной реальности (AR) и виртуальной реальности (VR).
Оба устройства имеют возможность просматривать и сканировать маркеры, которые напоминают светящиеся в темноте QR-коды. Окружающие объекты можно было бы скрыть от глаз с помощью длиннопроходящего фильтра – еще одной прикрепляемой детали, которая улавливала бы только флуоресценцию.
Яркие маркеры незаметны невооруженным глазом — и ненавязчивы, что означает, что они не изменяют форму, внешний вид или функцию объекта. Это делает их защищенными от несанкционированного доступа, одновременно легко встраивая метаданные в физический мир. Добавив уровень связности между данными и физическими объектами, пользователи получат доступ к более интерактивному взаимодействию с окружающим миром.
“В современном быстро развивающемся мире, где границы между реальной и цифровой средами продолжают стираться, постоянно растет спрос на надежные решения, которые легко соединяют физические объекты с их цифровыми аналогами”, – говорит Мустафа Дога Доган (Mustafa Doga Doğan), доцент Массачусетского технологического института CSAIL и факультета электротехники и компьютерных наук.
“BrightMarkers служат шлюзами к “вездесущим метаданным” в физическом мире. Этот термин относится к концепции встраивания метаданных — описательной информации об идентичности объекта, происхождении, функции и многом другом — непосредственно в физические элементы, сродни невидимой цифровой подписи, сопровождающей каждый продукт.”
Их система показала себя многообещающей в условиях виртуальной реальности. Например, игрушечный световой меч со встроенным маркером яркости можно было бы использовать в качестве внутриигрового инструмента для прохождения виртуальной среды, используя аппаратную часть для обнаружения меток. Этот инструмент мог бы включить другие внутриигровые объекты для более полного погружения в виртуальную реальность.
“В будущем, где доминируют парадигмы дополненной реальности и виртуальной реальности VR, распознавание объектов, отслеживание и прослеживаемость имеют решающее значение для соединения физического и цифрового миров: BrightMarker – это только начало”, – говорит приглашенный исследователь MIT CSAIL Рауль Гарсия-Мартин, который защищает докторскую диссертацию в Мадридском университете Карлоса III. “Бесшовное отслеживание BrightMarker знаменует собой начало этого захватывающего путешествия в будущее, основанное на технологиях”.
Что касается отслеживания движения, то BrightMarkers могут быть внедрены в носимые устройства, которые могут точно отслеживать движения конечностей. Например, пользователь может носить браслет с имплантированным BrightMarker, позволяющий аппаратному обеспечению обнаружения оцифровывать движения пользователя. Если бы геймдизайнер захотел создать аутентичный вид от первого лица, он мог бы смоделировать руки своих персонажей после точного отслеживания каждого маркера. Система также может поддерживать пользователей с ограниченными возможностями и различными размерами конечностей, устраняя разрыв между цифровым и физическим опытом для широкой базы пользователей.
Маркеры BrightMarkers также можно отслеживать по всей цепочке поставок. Производители на месте могли бы сканировать бирки в разных местах, чтобы получить метаданные о происхождении продукта и его перемещениях. Аналогичным образом, потребители могли бы проверить цифровую подпись продукта, чтобы подтвердить информацию об этичных источниках и утилизации, аналогично предлагаемым Европейским союзом цифровым паспортам продуктов.
Другое потенциальное применение: мониторинг ночного видения в камерах домашней безопасности. Если пользователь хотел обеспечить сохранность своего имущества в течение ночи, можно было бы оборудовать камеру для наблюдения за объектами аппаратным обеспечением, предназначенным для отслеживания любых перемещений и уведомления владельца о них. В отличие от своих готовых аналогов, этой камере не нужно было бы снимать всю комнату пользователя, сохраняя таким образом его конфиденциальность.
Лучше, чем инфракрасные метки и воздушные метки
Работа Догана и его команды может показаться знакомой: ранее они разработали InfraredTags, технологию для встраивания данных на 3D-печатные метки в физические объекты, которая была номинирована на премию People’s Choice за лучшую демонстрацию на конференции ACM CHI 2022 по человеческому фактору в вычислительных системах.
В то время как их предыдущий проект работал только с черными объектами, у пользователей есть несколько вариантов цвета с помощью BrightMarker. Благодаря флуоресцентным материалам метки сконфигурированы таким образом, чтобы излучать свет с определенной длиной волны, что значительно облегчает их выделение и отслеживание, по сравнению с инфракрасными метками, которые могут быть обнаружены только при низкой контрастности из-за шума от других длин волн в захваченной среде.
“Флуоресцентные нити излучают свет, который может быть надежно отфильтрован с помощью нашего оборудования для обработки изображений”, – говорит Доган. “Это устраняет “размытость”, часто связанную с традиционными встроенными ненавязчивыми маркерами, и позволяет эффективно отслеживать объекты в режиме реального времени, даже когда они находятся в движении”.
По сравнению с AirTags от Apple, BrightMarkers отличаются низкой стоимостью и низким потреблением энергии. Однако, в зависимости от приложения, одно потенциальное ограничение заключается в том, что в настоящее время теги не могут быть добавлены к объектам post hoc. Кроме того, отслеживание каждой метки может быть затруднено, если рука пользователя или другой предмет в комнате загораживают обзор камеры.
В качестве средства для потенциального улучшения обнаружения команда рекомендует сочетать эту технологию с магнитными нитями, чтобы также можно было отслеживать магнитное поле объекта. Эффективность обнаружения маркеров также можно было бы улучшить, изготовив нити с более высокой концентрацией флуорохрома.
“Технологии погружения требуют мощных возможностей для понимания сцены”, – говорит научный сотрудник Google Мар Гонсалес-Франко, который не принимал участия в работе. “Наличие встроенных невидимых маркеров, подобных тем, что используются в BrightMarker, может упростить работу с компьютерным зрением и помочь устройствам идентифицировать объекты, с которыми можно взаимодействовать, а также сократить разрыв между AR и VR”.
Доган с оптимизмом смотрит на потенциал системы по внедрению метаданных в нашу повседневную жизнь. “BrightMarker подает огромные надежды в изменении нашего взаимодействия с технологиями в реальной жизни”, – отмечает он. “Поскольку эта технология продолжает развиваться, мы можем представить себе мир, в котором яркие маркеры будут органично интегрированы в наши повседневные объекты, облегчая легкое взаимодействие между физической и цифровой сферами.
“Возможности огромны – от розничной торговли, где потребители могут получить доступ к подробной информации о продукте в магазинах, до промышленных предприятий, где BrightMarkers упрощает отслеживание цепочки поставок”.