ВОССТАНОВЛЕНИе ТРЕХМЕРНЫХ сцен ПО НАБОРУ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ или видеопотоку:
НАПОЛНЕНИЕ данными СИСТЕМы ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ и позиционирование робота в ней

В последнее десятилетие наблюдается существенный прогресс в области компьютерного зрения, а в частности разработано большое количество разнообразных подходов [2, 5] к решению задачи восстановления трехмерных сцен по их двумерным изображениям. Эти подходы можно подразделить на:

1. Восстановление сцен по стереоизображениям (shape from stereo). Данный метод подразумевает получение трехмерных сцен на основании изображений со стереокамер с фиксированной базой.

·      Восстановление по ключевым точкам (from feature points). Методы, основанные на поиске характеристические точек и их сопоставлении между двумя кадрами.

·      Плотное стереосопоставление (dense stereo). Между двумя изображениями ищется соответствие каждой паре пикселей. Существуют области, где какая-либо текстура отсутствует, тогда накладываются ограничения гладкости. Алгоритм ищет карту смещений как кусочно-гладкую функцию, с ограниченным количеством линий разрыва и учитывает, что некоторые точки сцены видны только на одном изображении.

2. Cтерео с широкой базой (wide baseline stereo). Достоинство метода - возможность достижения существенно лучшей точности. Минусы связаны с тем, что окрестности объекта могут существенно отличаться с различных ракурсов.

3. Реконструкция по видеопотоку (shape from motion). Суть метода в восстановлении трехмерной сцены из большого количества последовательных изображений этой сцены. Интерес к этому методу связан с тем, что в отличие от стерео можно восстановить и положение, и ориентацию камер, и внутренние параметры камер, т.е. параметры, которые очень часто неизвестны, особенно при ручной съемке фотоаппаратом. Большое количество кадров дает возможность проверки, что сопоставительный анализ проведен правильно.

5. Реконструкция с учётом известных особенностей сцены (shape from Manhattan). Известно, что антропогенные постройки в основном формируются прямыми линиями и плоскостями, поэтому можно извлечь много информации из одного изображения. Кроме того, если известно, что плоскости, составляющие сцену взаимно перпендикулярны, то удается восстановить сцену более точно.

6. Реконструкция при анализе рассеивания (shape from shading). Смысл метода в восстановлении трехмерной сцены по одному изображению на основе закона рассеяния Ламберта.

7. Реконструкция по фокусному растоянию (shape from focusing and defocusing). Если имеется ряд изображений, снятых с одной точки, но с различной фокусировкой, то в зависимости от удаленности, разные части сцены на изображении имеют различную резкость. Меняя фокусировки, можно найти какая часть в данный момент обладает набольшей резкостью, при этом расстояние до этих частей равно расстоянию фокусировки. Если есть два изображения, полученных при разных расстояниях фокусировки, то анализируя степень дефокусировки также можно найти трехмерную форму, например, анализируя Фурье-спектры.

8. Реконструкция по текстуре (shape from texture). Если известно, что сцена имеет поверхности с одинаковой текстурой, то анализируя изменение видимого размера элементов текстуры можно восстановить форму.

Описанные методы дают хороший результат, если входные изображения сняты с высоким разрешением при подходящем освещении. На практике не всегда удаётся обеспечить желаемые параметры съёмки. Реальное положение дел обязывает работать с набором снимков низкого качества, и часто невозможно предсказать, какой именно метод даст хороший результат для каждой конкретной сцены. Восстановление геометрии объектов сцены в подобных методах затруднено и требует значительного участия пользователя [3]. Поэтому необходимо разрабатывать новые методы и программные средства для автоматической реконструкции трехмерных сцен с геометрией различной сложности.

При создании подобных методов трехмерной реконструкции необходимо решить несколько взаимосвязанных задач, основными из которых являются:

·      задача калибровки камеры (вычисление внутренних и внешних параметров камеры) и ректификации изображений;

·      задача сопоставления точечных и линейных особенностей на исходных и векторизованных изображениях;

·      задача  реконструкции сцены с построением трехмерного, полигонального, текстурированного представления сцены с возможностью просмотра и редактирования 3D модели в распространенных графических редакторах.

·      задача построения системы реконструкции трехмерной сцены на базе автономного робота и определение его местоположения.

Задача планирования траектории и определения местоположения называется задачей SLAM [4] (Simultaneous Localization and Mapping, синхронное определение местоположения и составление карты), которая подразумевает, что автономный робот помещается в среду (помещение, открытая местность, водная или воздушная среда), о которой у него нет никакого априорного знания. Перемещаясь в среде и используя датчики, робот должен построить трехмерную сцену и траекторию перемещения в ней.

Для исследования качества алгоритмов самоориентирования автономного робота по наблюдаемой сцене требуются независимые средства измерений, позволяющие определять положение автономного робота с высокой точностью, синхронно и в единой системе координат с измерениями, выполняемыми системой компьютерного зрения.

Источники входных данных, которые получит робот, показаны на рис. 1. Совокупность таких источников позволяет решить задачу SLAM с минимальной погрешностью, а так же для создания избыточной информации о трехмерной сцене для ее уточнения.

Рис. 1. Варианты входных данных для построения трехмерной сцены

В настоящее время для решения задач навигации и построения трехмерной сцены достаточно использовать видеопоток, но результат при этом получается с большой погрешностью из-за вероятностного характера алгоритмов сопоставления и часто недостаточно высокого разрешения. В общем случае не известно, в какое время суток и при какой погоде будет осуществляться съёмка, нет также никаких сведений о сложности объектов. Эти факторы влияют на качество восстановления сцены. Предложенный метод определяет, какие источники ему использовать по предварительному анализу:

1) по каждой паре из набора входных данных (рис. 1) запускается соответствующий алгоритм по восстановлению трехмерной сцены. За базовый источник принят видеопоток, по нему строится форма сцены, а по дополнительным – корректируется и осуществляется привязка;

2) высчитывается нормализованная ошибка работы каждого из алгоритмов;

3) если нормализованная ошибка больше заданного значения, то этот источник данных не будет использоваться в дальнейшем;

4) выявляется наиболее оптимальная пара источников, по которой будет происходить восстановление сцены;

5) при недостаточности данных для восстановления трехмерной сцены в выбранных источниках, путем перебора, берется информация для уточнения сцены из оставшихся источников.

Перед началом работы системы трехмерного восстановления сцены и навигации в ней автономного робота выполняется процедура предварительного ориентирования, определяющею систему координат, к которой далее рассчитываются координаты трехмерных точек движущегося объекта.

Созданная на базе предложенного метода система выполняет следующие функции:

·      оценка положения камер относительно рабочей сцены, решение задачи внешнего ориентирования;

·      синхронный захват видеопотока;

·      определение потока особенных точек и слежение за ними, рис. 2;

Рис. 2. Пример выбора характеристической точки для восстановления трехмерной сцены при движении камеры

·      расчет последовательностей трехмерных координат характеристических точек, присутствующих, по крайней мере, на трех кадрах;

·      уточнение координат характеристических точек, с использованием данные с других датчиков.

·      создание облака особых точек;

·      фиксация выбранных системой кадров для трёхмерной реконструкции относительно облака точек;

·      визуализация движения автономного робота относительно построенного облака точек;

·      наложение текстуры на облако точек.

            Схематичное описание предложенного метода изображено на рис.3.

Рис. 3. Схема работы выбранного метода

Основными преимуществами в пользу предложенного метода являются следующие:

·      возможность получения всей необходимой информации для формирования модели сцены путем перемещения одного устройства регистрации (фото- или видео- камеры) вокруг объекта с помощью автономного робота [1];

·      возможность автоматической калибровки в процессе движения камеры;

·      эффективно совместное накопление информации об объектах сцены с различных источников данных;

·      получение данных с датчиков (гироскоп, акселерометр) робота для уточнения его координат и синхронизация этих координат относительно построенной сцены;

·      возможность сопоставления снимков, полученных от робота, с фотографиями, полученными со спутника или самолета, для уточнения трехмерной карты;

·      возможность максимально подробно заполнить трехмерную сцену.

Представление результатов работы системы, построенной по предложенному принципу, представлена на рис 4.

а)

б)                                                                      

в)

г)

Рис. 4. Вид практической реализации метода по восстановлению трехмерной сцены:

 а) фиксация выбранных системой кадров для трёхмерной реконструкции относительно облака точек; б) построение траектории движение автономного робота относительно ренонсируемой сцены; в, г) восстановленная трехмерная сцена под разными ракурсами

Сложность задачи по формированию высококачественной трехмерной сцены усугубляется обеспечением «эффекта присутствия» и «дополненной реальности», необходимо точное соответствие углового масштаба пространственному положению изображения и реальных объектов.

Заключение

В данной статье описан новый метод формирования трехмерной сцены по набору снимков с учетом дополнительной информации на основе анализа существующих методов. Реализация предложенного метода, по проведенным испытаниям, дает возможность решить сразу несколько взаимосвязанных задач: трехмерной реконструкции сцены, синхронного определения местоположения и траектории движения относительно восстановленной сцены.

Литература

1. Алферов Г.В. Информационные системы виртуальной реальности в мехатронике и робототехнике : учеб. пособие / Алферов Г.В., Кулаков Ф.М., Нечаев А.И., Чернакова С.Э. – СПб. : «СОЛО», 2006. – 146 с.

2. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход: Пер. с англ. – М. : ИД «Вильямс», 2004. – 928 с.

3. Peter C., Noah Snavely, VOLUME 20, NUMBER 1, 2013 LINCOLN LABORATORY JOURNAL 1, 3D Exploitation of 2D Imagery.

4. Renato F. Salas-Moreno, Richard A. Newcombe, Hauke Strasdat, Paul H. J. Kelly and Andrew J. Davison SLAM++: Simultaneous Localisation and Mapping at the Level of Objects, CVPR 2013.

5. Szeliski R. Computer Vision: Algorithms and Applications Springer. –   New York, 2010.  –  812 p.