Инженеры из США разрабатывают «искусственные органы зрения», предназначенные для повышения качества восприятия окружающей среды у роботов и автономных транспортных средств.
Как сообщает interestingengineering.com, речь идет о принципиально новом виде «фотонной памяти», который функционирует по аналогии с человеческим глазом: система способна подстраиваться под комбинированные источники света и мгновенно переключаться между ярким и приглушенным освещением.
Ирина Медведева
Иллюстративное изображение. Источник: forbes.com
Специалисты Пенсильванского университета представили механизм, созданный по образу человеческого органа зрения, который позволяет беспилотным автомобилям, дронам и роботам не терять видимость при резких перепадах освещенности.
Это инновационный «фотодетектор», копирующий работу глаза: он адаптируется к различным световым режимам, меняя чувствительность от яркого до тусклого света за несколько секунд.
«Когда самоуправляемый автомобиль движется ночью, он сталкивается с разными уровнями освещения — представьте темное небо и одновременно яркие фары встречных машин, — пояснил Ларри Ченг, доцент кафедры инженерных наук и механики Пенсильванского университета. — Для искусственной оптической системы становится проблемой различать мелкие детали, например свечение красного сигнала, в условиях смешанного освещения», — добавил соавтор разработки.
Подражание человеческому глазу
Даже при использовании современных камер и мощного искусственного интеллекта беспилотные автомобили остаются весьма уязвимыми при работе в условиях сильного контраста освещения.
Подобные роботизированные «глаза» успешно функционируют при стабильной погоде, но не справляются с резкими вспышками света, например когда фары встречного транспорта пробивают темноту ночи. Это способно вызвать критические сбои в работе автомобильных систем.
Инженерная группа наконец нашла выход. Ключ к решению — копирование «влажной» органической механики человеческого глаза.
Исследователи создали миниатюрный аппаратный элемент, который за короткое время приспосабливается к смене ослепляющего света на глубокую тень.
Если человеческому зрению требуется от 20 до 30 минут для полной адаптации к резким изменениям освещенности, то искусственная система выполняет этот переход почти мгновенно.
Для ее реализации ученым пришлось пересмотреть принцип обработки света в вычислительных устройствах. Обычные камеры фиксируют изображение и передают его отдельному компьютерному «мозгу» для обработки. Это требует времени и значительных вычислительных ресурсов.
Команда применила фотонную память — микроскопические электрические компоненты, которые способны одновременно воспринимать свет и хранить его как данные, имитируя функции нейронов.
Однако главное достижение — в способе регулировки чувствительности
Человеческий глаз использует палочки при слабом свете и колбочки при ярком. Когда сильный свет попадает в глаз, пигменты в палочках временно «выцветают», уступая место колбочкам.
Чтобы воспроизвести этот процесс, исследователи объединили порошкообразное белое вещество — диоксид титана — с эластичным гелеобразным полимером PEDOT: PSS.
Диоксид титана улавливает окружающий свет и превращает его в электрический ток. Этот ток заставляет полимерный слой взаимодействовать с окружающим воздухом.
В темноте пластик быстро впитывает влагу и набухает; при ярком свете — стремительно высыхает. Такое автоматическое управление набуханием и высыханием работает как регулятор громкости для освещения — система самонастраивается.
Разработка фотонной памяти на основе диоксида титана и полимера PEDOT:PSS открывает новую главу не только в автономном транспорте, но и в фундаментальной науке о материалах. Уникальность подхода заключается в том, что система не просто обрабатывает свет, а буквально «дышит» вместе с окружающей средой.
Влажность воздуха становится активным компонентом управления: в темноте полимер набухает, увеличивая площадь контакта и чувствительность к слабым сигналам, а при ярком свете он сжимается, блокируя избыточные фотоны.
Это пассивный, саморегулирующийся процесс, не требующий внешнего энергопотребления на переключение режимов. Такой механизм радикально снижает задержки, которые неизбежны в традиционных системах, где камера передает данные процессору, а тот принимает решение об изменении экспозиции.
Фотомемристор, созданный командой, довольно мал — его диаметр составляет всего полмиллиметра. Несмотря на свои размеры, этот компонент может преобразовывать световую энергию в электрический ток для питания современных оптических систем. Источник: Jia Zhu
Матрица размером 4×4
Для проверки технологии специалисты создали миниатюрную матрицу размером 4×4 и подключили ее к нейросети искусственного интеллекта.
Перед устройством поставили классическую офтальмологическую задачу: распознать тускло освещенную букву «F» на очень ярком фоне.
Система справилась безошибочно. Уже после семи циклов обучения точность распознавания образов достигла 95%.
С точки зрения инженерной реализации, созданная матрица 4×4 является лишь прототипом, но её успешное тестирование с нейросетью доказывает масштабируемость концепции.
Ключевой прорыв заключается в том, что фотонная память совмещает функции сенсора и запоминающего устройства одновременно. Это означает, что беспилотному автомобилю больше не нужно тратить драгоценные миллисекунды на передачу данных от камеры к вычислительному блоку — информация преобразуется в электрический сигнал прямо на уровне пикселя.
В перспективе это позволит создавать камеры, которые «видят» и «запоминают» изображение мгновенно, без участия внешнего процессора, что критически важно для ситуаций, где счет идет на доли секунды, например, при внезапном появлении пешехода из тени.
Выходя за рамки дорожной обстановки
Последствия этой разработки выходят далеко за рамки предотвращения дорожных аварий. Команда уже подала предварительную патентную заявку, чтобы расширить сферу применения технологии.
В будущем промышленные роботы смогут стабильно работать в нестабильных, мерцающих условиях производства.
Выход за рамки автомобильной отрасли обещает не менее впечатляющие результаты. В промышленности, где роботы часто работают в условиях переменного освещения — от ярких вспышек сварочных аппаратов до полумрака складских помещений — такие сенсоры станут незаменимыми.
Они обеспечат стабильность компьютерного зрения на конвейерах, где сегодня любая тень или отражение могут привести к браку.
Более того, адаптивная фотонная память может быть интегрирована в системы безопасности, например, в камеры ночного видеонаблюдения, которые перестанут ослепляться от фар проезжающих машин, сохраняя четкость изображения в динамичном световом потоке.
Помощь людям с ослабленным зрением
Что еще важнее, Ченг полагает, что эта технология в итоге может привести к созданию сложных искусственных оптических систем, которые вернут адаптивное и надежное зрение людям с ослабленным зрением.
Наиболее значимым и человекоцентричным итогом исследований станет потенциальное применение технологии в медицине. Идея создания бионических глаз, способных имитировать не только структуру, но и химическую адаптацию сетчатки, переходит из разряда научной фантастики в реальные лабораторные прототипы.
Если диоксид титана и полимер можно интегрировать в гибкие, биосовместимые имплантаты, то пациенты с дегенерацией сетчатки могут получить «искусственный пигментный эпителий», который будет регулировать чувствительность к свету в реальном времени.
Это принципиально иной уровень протезирования: не просто фиксация картинки, а её динамическая подстройка под условия окружающей среды, аналогично тому, как это делает здоровый глаз.
Таким образом, работа команды из Пенсильванского университета — это не просто улучшение характеристик датчика, а смена парадигмы в том, как мы понимаем взаимодействие света и вычислительных систем.
Фактически, инженеры нашли способ заставить кремний и полимеры «чувствовать» свет так же органично, как это делает биологическая ткань.
Если дальнейшие патенты приведут к коммерциализации, то уже к концу десятилетия мы можем увидеть не только полностью адаптивные беспилотники, но и первые клинические испытания имплантатов, возвращающих зрение тем, кто его потерял.
«Тёмное небо и яркие фары» перестанут быть проблемой — как для машин и промышленных роботов, так и для людей.
Кстати, ранее мы рассказывали о другом электронном устройстве — «умных очках», помогающих не только восстановить утраченное зрение, но и поддерживающих людей, страдающих деменцией.