Стандартные системы визуального восприятия считывают световые сигналы через несколько последовательных и достаточно энергозатратных стадий.
В обычных системах визуального восприятия световые сигналы проходят через множество стадий. Сначала сенсор улавливает свет, затем аналого-цифровой преобразователь превращает его в пиксели. Эти данные временно сохраняются, после чего передаются на отдельный чип, где изображение делится на квадратные фрагменты, каждый из которых преобразуется в токен для чтения моделью ИИ. Исследования показывают, что аналого-цифровой преобразователь в среднем отвечает за 66% потребления энергии сенсором изображений.
«Мы решили переместить генерацию токенов на сам сенсор, позволяя чипу напрямую создавать токены, которые модели ИИ могут обрабатывать, как только свет достигает сенсора», — говорит Мяо Фэн, директор Института интеллекта, вдохновленного мозгом, при Нанкинском университете.
Устройство под названием LightTok способно напрямую преобразовывать свет в токены, объединяя пять стадий обработки в одну. Разработчики встроили процессы восприятия, памяти и вычислений в один и тот же пиксель. Это стало возможным благодаря использованию дисульфида молибдена — двумерного материала, который хорошо реагирует на свет и может быть выращен в виде листов толщиной в один атом. Фототранзистор преобразует входящие фотоны в электрический ток, а плавающий затвор — изолированный компонент внутри транзистора — может удерживать электрический заряд даже после исчезновения света.
LightTok объединяет пять этапов визуального восприятия в один, преобразуя свет непосредственно в компоненты обработки искусственного интеллекта на самом чипе.«Чип физически устраняет перемещение данных, которое является основным источником потерь энергии, — объясняет профессор физики Нанкинского университета Лян Ши-Цзюнь. — Свет входит, токены выходят».
В ходе испытаний LightTok достиг точности распознавания изображений 87,3% при десятикратном повышении энергоэффективности по сравнению с традиционным многоэтапным процессом. Однако пока максимальное разрешение чипа составляет всего 32 на 32 пикселя, что намного уступает качеству современных камер смартфонов.
Тем не менее, разработчики видят перспективы масштабирования технологии с использованием стандартных производственных процессов, которые применяются для изготовления чипов в смартфонах и ноутбуках. Если это удастся, LightTok может полностью изменить работу дистанционных сенсорных технологий — например, дрон, сканирующий зону бедствия, сможет летать гораздо дольше благодаря меньшим затратам энергии на визуальную обработку информации.
Ранее ученые разработали чип памяти, который хранит данные всего на одном электроне.
Источник новости: hi-tech.mail.ru
