연구 개요

본 연구실에서는 3차원 공간을 3차원 메쉬로 표현하기 위한 알고리즘을 연구하고 있다. 먼저, LRF를 이용하여 3차원 구조를 표현하는 포인트 클라우드를 얻는다. 그리고 다운샘플링을 통해 포인트 클라우드의 분포를 균일하게 한다. 다음으로 표면 재구성 (surface reconstruction)작업을 통해 3차원 구조를 3차원 메쉬로 표현한다. 3차원 구조를 시각적으로 표현하기 위해서는 텍스쳐 정보가 필요한데, 이는 전방향 카메라 (omni-directional camera) 로부터 얻은 전방향 영상을 이용한다. 전방향 영상의 각 픽셀을 3차원 공간으로 매칭시켜 메쉬에 텍스쳐를 입힘으로써 3차원 구조를 시각적으로 표현할 수 있다. 본 알고리즘은 3차원 구조를 정확하게 표현할 뿐만 아니라 3차원 공간과 텍스쳐를 비교적 정확하게 매칭할 수 있다.

세부 연구 내용

1. 전방향 • 광역 RGB-D 데이터 취득

LRF와 전방향 카메라로 구성된 Omni Wide Sensor를 구성하여 전방향•광역의 RGB-D 정보를 취득한다.

A. 영상 데이터 취득

영상 데이터는 전방향 카메라를 이용하여 획득한다. 전방향 카메라는 한 번의 촬영으로 전방향의 영상 데이터를 얻을 수 있는 장치이다. 전방향 카메라는 여러 대의 카메라로 구성되어 있는데 각 카메라는 각기 다른 방향을 향한다. 각 카메라에서 얻은 영상 데이터들을 왜곡하여 하나의 영상으로 합침으로써 전방향을 표현하는 전방향 영상을 획득한다.

B. 거리 데이터 취득

거리 데이터는 LRF로 통해서 3차원 포인트 클라우드의 형태로 획득한다. LRF는 레이저 빔을 이용하여 거리 정보를 획득하는 장치이다. LRF의 관측 시야 (field of view)의 한계로 회전을 해가며 여러 방향의 데이터를 얻는다.

3차원 공간 정보를 구성하기 위해서는 하나의 통합된 포인트 클라우드가 필요하다. 그러므로 각 방향에 대한 포인트 클라우드를 pose estimation 알고리즘을 이용하여 하나의 포인트 클라우드로 합친다.

 2. 3차원 공간 구성

A. 3차원 메쉬 구성

포인트 클라우드를 이용하여 3차원 구조를 구성하는 과정이다. A에서 얻은 3차원 포인트 클라우드를 분포를 균일하게 하기 위해 다운샘플링을 한다. 그리고 평면 피팅 (plane fitting) 알고리즘을 이용하여 포인트 클라우드의 각 포인트의 노멀 벡터를 구한다. 그리고 각 점들의 노멀 벡터로 구성된 포아송 방정식을 이용하여 3차원 메쉬를 구성하는 알고리즘인 포아송 평면 재구성 (Poission surface reconstruction) 기법을 이용하여 3차원 메쉬를 구성한다.

B. 텍스쳐 매핑

과정 1에서 얻은 3차원 메쉬에 영상 정보를 입히는 과정이다. 전방향 영상의 특성을 이용하여 각 픽셀 좌표 (u,v)를 3차원 좌표 (X,Y,Z)로 매핑할 수 있다. 이 과정을 통해 3차원 메쉬의 각 face에 영상 정보를 입힌다.

이 연구는 2011년 교육과학기술부의 재원으로 한국연구재단의 지원을 받아글로벌프런티어사업으로 수행된 연구입니다. (한국연구재단-M1AXA003-2011-0031648)
This work was supported by the Global Frontier R&D Program on funded by the National Research Foundation of Korea grant funded by the Korean Government(MEST) (NRF-M1AXA003-2011-0031648)

다시점 비디오 (Multi-view video)는 같은 장면(scene)을 위치가 다른 서로 다른 여러 대의 카메라를 이용하여 촬영한 영상을 말한다. 각 카메라들은 서로 다른 시점에서의 영상을 제공함으로써 사용자는 원하는 시점을 자유롭게 선택하여 시청할 수 있다. 하지만 다시점 비디오를 사용하기 위해서는 2가지 단점을 극복해야 한다. 우선, 기존의 단시점 비디오(single- view video)에 비해 처리해야 할 데이터가 증가하므로 전송 및 저장을 위한 효율적인 압축 알고리즘이 필요하다. 둘째로, 처리해야 할 데이터가 증가하므로 연산속도가 급격히 증가하는 문제점이 있다. 따라서 효율적인 신호 처리 기술을 응용하여 다시점 비디오의 취득, 처리, 압축, 전송 등의 기술 개발이 필수적이다. 이러한 기술을 이용하여 다시점 비디오 영상으로부터 디스패리티 백터와 깊이 정보 추출을 통한 3차원 영상을 추출할 수 있을 뿐만 아니라 초고해상도 영상과 다시점 영상의 결합을 통하여 차세대 실감 방송을 실현할 수 있다. 현재 미디어 통신 연구실에서는 다음과 같은 주제에 대하여 연구를 진행하고 있다.

• 효율적인 다시점 비디오 압축 알고리즘 개발
• 정확한 시점 합성 알고리즘 개발
• 고화질 깊이 정보 생성 알고리즘 개발

A multi-view video sequence captures the same scene from multiple viewpoints simultaneously. It can offer 3D realistic experience by enabling a user to change and select various viewpoints as he/she wishes. However, the multi-view video representation has two drawbacks that should be overcome. First, a multi-view video sequence requires much larger storage space and higher transmission bandwidth than a single-view video sequence. Second, it demands higher computational complexity. Therefore, an efficient set of signal processing techniques should be developed for the acquisition, processing, compression and transmission of multi-view video sequences. From a multi-view sequence, we can reconstruct 3D objects by estimating disparity vectors and then extracting depth information. Also, we can combine multi-view sequences to acquire high resolution video sequences. In MCL, we are currently carrying out researches on

• Efficient multi-view video compression
• Accurate view synthesis
• High-quality depth information extraction

1. Background subtraction
전경의 물체를 배경으로부터 분리하는 것은 컴퓨터 비전과 영상처리에서 중요한 과정이다. 이러한 알고리즘은 감시 시스템(surveillance system), 물체 추적(object tracking) 및 교통 상황 관찰(traffic monitoring) 등의 다양한 컴퓨터 비전 응용의 첫 단계에 위치하게 된다. 전경 추출 알고리즘은 적은 복잡도를 가지면서 정확하게 동작하여야 한다. 배경에 대한 모델을 세우기 위해 색, 밝기, 지역 정보 등의 여러 특징들을 사용할 수 있다. 우리 연구실에서는 낮은 복잡도에 정확한 전경추출을 하기 위하여 다음과 같은 연구를 진행 하고 있다.

• 다양한 환경 조건하에서 강한 전경 추출 기법
• 하드웨어 구현을 위한 빠른 전경 추출 기법

2. Omni camera unwarping
비디오 감시 분야에서 넓은 영역을 관찰하는 것은 매우 중요하다. 넓은 영역을 관찰하기 위한 방법으로는 PTZ카메라를 이용하거나 여러 개의 카메라로 찍은 영상을 합성하는 방법이 있다. 또 다른 방법으로 전방위 카메라라는 360도 전 방향을 관찰할 수 있는 카메라를 사용할 수 있다. 그러나 전방위 카메라부터 획득된 영상은 렌즈나 거울의 모양에 따른 왜곡이 발생하므로 이렇게 발생한 왜곡을 효과적으로 펼 수 있는 방법이 필요하다. 본 연구실에서는 이와 관련하여 다음과 같은 연구를 진행하고 있다.

• 전방위 카메라를 이용한 감시 및 추적에 관한 연구
• 전방위 카메라의 자동-칼리브레이션에 관한 연구
• 전방위 카메라의 영상 왜곡을 줄이는 연구

3. Bi-layer segmentation
본 연구실에서는 실시간 객체 분할 알고리즘을 개발하고 있으며, 이는 동영상으로부터 객체와 배경을 분할한다. 먼저 객체와 배경에 대한 컬러 확률 모델을 만들기 위해 첫 프레임은 사용자의 반응을 통해 분할한다. 그리고 각 프레임에 대해 시공간적 연관성을 이용하여 객체의 실루엣이 되는 연관틀을 만든다. 마지막으로 컬러, 연관성 그리고 스무드 항을 바탕으로 한 에너지 최소화를 통해 객체를 분할한다. 본 연구실에서 제안하는 알고리즘은 실시간으로 정확한 객체를 추출할 수 있으며, 심지어는 불안정한 카메라 움직임하에서도 작동한다. 객체를 분할한 뒤에 사용자는 배경을 아래와 같이 다른 그림으로 대체할 수 있다. 이러한 방법은 모바일 화상통신에서 사용자가 배경을 공개하고 싶지 않을 때 사생활을 보호할 수 있는 방법이다.

1. Background subtraction
Segmenting foreground objects from the background is an important task in computer vision and image processing. It is employed as the first stage of many computer vision applications, such as video surveillance, object tracking, and traffic monitoring. It should be performed reliably with low complexity. Several features, such as color, brightness and spatial information, can be used to build a background model. In MCL, to achieve reliable background subtraction at a low complexity, we are researching

• Robust background subtraction algorithms in various environmental conditions
• Fast background subtraction algorithms for hardware implementation

2. Bi-layer segmentation
We are developing a real-time video segmentation algorithm, which can extract objects from video sequences even with non-stationary backgrounds. First, we segment the first frame into an object and a background interactively to build the probability density functions of colors in the object and the background. Then, for each subsequent frame, we construct a coherence strip, which is likely to contain the object contour, by exploiting spatio-temporal correlations. Finally, we perform the segmentation by minimizing an energy function, which is composed of color, coherence, and smoothness terms. The proposed algorithm provides accurate segmentation results in real-time, even though video sequences contain unstable camera motions. After the segmentation, a user can substitute the background with another one as shown in the following figure. This can be used to protect privacy in mobile video communications, when a user does not want to reveal the background.

3. Omni camera unwarping
In video surveillance, it is desirable to capture a larger region with a camera. To cover a huge region, we can use a PTZ camera or merge images from several cameras. An alternative approach is to use an omni-directional camera, which can observe 360 degrees of angle. However, image, captured by omni-cameras, are distorted by the geometry of lens and mirrors. It is hence necessary to unwarp the distortions. We are working on

• Surveillance and tracking using omni-directional cameras
• Automatic calibration of omni-directional cameras
• Reduction of distortions in the unwarping procedure

영상을 다른 해상도나 비율을 가지는 영상 기기에 표현하기 위해 영상 크기 조정이 이루어진다. 예를 들어 극장용 필름을 일반 TV에서 시청할 경우 기존의 스케일링 기법을 이용하여 영상 크기를 조정하면 영상이 길쭉해지고 크로핑 기법을 적용하면 좌우 가장자리가 잘려진다. 스케일링 기법은 전체 영상에 대해 일정한 비율로 크기를 조정하는 것으로 영상이 왜곡되거나 너무 작아져 인식이 어려울 수 있다. 크로핑 기법은 가장자리로부터 중심 방향으로 영상을 잘라내기 때문에 주요한 영상 정보의 손실을 가져올 수 있다. 최근 기존 방법들의 단점을 극복하기 위해 새로운 기법들이 연구 되고 있다. 이와 관련하여 본 연구실에서는 다음의 연구를 진행하고 있다.

• 최적화 기법을 이용한 적응적 영상 크기 조정
• 실시간 동영상 크기 조정

Image resizing is often used to display an image on devices which have different resolutions or aspect ratios. For example, we watch horizontally squeezed or cropped movie on TVs, using the conventional resizing techniques scaling or cropping, respectively. The scaling algorithm changes the sampling rate uniformly over the entire image, but the resulting image can be distorted or too small to perceive. The cropping algorithm crops the image from the boundary to achieve a target size, but it may lose essential visual information. Recently, novel adaptive techniques have been proposed to overcome these problems of the conventional techniques. In MCL, we are working on

• Adaptive image resizing using optimization techniques
• Real-time video resizing