Multi-View Video Processing

다시점 비디오 (Multi-view video)는 같은 장면(scene)을 위치가 다른 서로 다른 여러 대의 카메라를 이용하여 촬영한 영상을 말한다. 각 카메라들은 서로 다른 시점에서의 영상을 제공함으로써 사용자는 원하는 시점을 자유롭게 선택하여 시청할 수 있다. 하지만 다시점 비디오를 사용하기 위해서는 2가지 단점을 극복해야 한다. 우선, 기존의 단시점 비디오(single- view video)에 비해 처리해야 할 데이터가 증가하므로 전송 및 저장을 위한 효율적인 압축 알고리즘이 필요하다. 둘째로, 처리해야 할 데이터가 증가하므로 연산속도가 급격히 증가하는 문제점이 있다. 따라서 효율적인 신호 처리 기술을 응용하여 다시점 비디오의 취득, 처리, 압축, 전송 등의 기술 개발이 필수적이다. 이러한 기술을 이용하여 다시점 비디오 영상으로부터 디스패리티 백터와 깊이 정보 추출을 통한 3차원 영상을 추출할 수 있을 뿐만 아니라 초고해상도 영상과 다시점 영상의 결합을 통하여 차세대 실감 방송을 실현할 수 있다. 현재 미디어 통신 연구실에서는 다음과 같은 주제에 대하여 연구를 진행하고 있다.

  • 효율적인 다시점 비디오 압축 알고리즘 개발
  • 정확한 시점 합성 알고리즘 개발
  • 고화질 깊이 정보 생성 알고리즘 개발



A multi-view video sequence captures the same scene from multiple viewpoints simultaneously. It can offer 3D realistic experience by enabling a user to change and select various viewpoints as he/she wishes. However, the multi-view video representation has two drawbacks that should be overcome. First, a multi-view video sequence requires much larger storage space and higher transmission bandwidth than a single-view video sequence. Second, it demands higher computational complexity. Therefore, an efficient set of signal processing techniques should be developed for the acquisition, processing, compression and transmission of multi-view video sequences. From a multi-view sequence, we can reconstruct 3D objects by estimating disparity vectors and then extracting depth information. Also, we can combine multi-view sequences to acquire high resolution video sequences. In MCL, we are currently carrying out researches on

  • Efficient multi-view video compression
  • Accurate view synthesis
  • High-quality depth information extraction