Что устанавливает Bi-CMPStereo: оценка глубины для пары событийной и кадровой камеры

Октябрь 5, 2026 · 2 min read

Bi-CMPStereo — сторонняя научная работа, которая решает задачу оценки глубины (стереоразности) для асимметричной стереопары: одна камера событийная, другая — обычная, фиксирующая кадры. Метод сопоставляет глубину между этими двумя разными типами датчиков. Основная проверка выполнена на датасете DSEC, плюс тесты переноса на MVSEC и M3ED. Ниже — что именно показано и где границы.

Как устроена стереоразность

Стереоразность (disparity) — это смещение одной и той же точки объекта на двух снимках стереопары. Одну и ту же физическую точку каждая камера видит в своём пикселе; разница между этими позициями и есть разность. Чем объект ближе, тем больше смещение, поэтому по disparity восстанавливается глубина: близкие объекты дают большое значение, далёкие — малое. Чтобы это работало, нужна согласованная пара камер с известной геометрией — то есть откалиброванная система.

Что делает метод

Главная идея — двусторонний межмодальный промптинг (bidirectional cross-modal prompting). Представление каждой модальности проецируется не только в собственное пространство, но и в пространство другой, а также в общее пространство. За счёт этого сохраняются комплементарные свойства обоих сигналов: высокая временная чувствительность событийной камеры и пространственная целостность кадра. По замыслу авторов, взаимное проецирование позволяет получать более надёжную оценку глубины, чем у подходов, опирающихся на один тип сигнала.

На чём проверяли результат

Основная оценка — на DSEC. Дополнительно авторы выполнили проверку переноса модели на MVSEC и M3ED. Все числовые показатели в работе — замеры самих авторов; в проверенном материале нет указания на их независимое воспроизведение.

Где заканчивается применимость

Результаты относятся к конкретной конфигурации — асимметричной паре событийной и кадровой камеры. Из проверенного материала не следует универсальная робастность: метод не является общим решением для всех видов стереозрения и не распространяется автоматически на симметричные пары, монокулярные задачи или иные датчики. Обобщение за пределы трёх датасетов — DSEC, MVSEC и M3ED — подтверждено не было, а гарантии безопасности или готовности к промышленному развёртыванию в работе не заявлены.

Когда метод имеет смысл рассмотреть

Подход релевантен, если у вас уже есть согласованная пара из событийной и кадровой камеры и задача — оценить глубину именно для такой конфигурации; тогда работа даёт рабочий метод и понятный протокол оценки. Если ваша задача другая — симметричное стерео, одиночный сенсор, иной набор датчиков, — выводы статьи на неё напрямую не переносятся.