디스플레이 크기와 인간 시각 시스템의 3차원 인식 메커니즘을 고려하여 사용자에게 편안한 입체감을 제공할 수 있는 스테레오 영상의 크기 조정 및 디스패리티 재구성 기법을 개발한다. 첫째, 입력 영상의 크기를, 스테레오 영상의 일치 정합(correspondence matching) 관계를 보존하면서, 전경과 배경에 따라 적응적으로 조정하는 크기 조정 기법을 개발한다. 우선 스테레오 정합 알고리즘을 이용하여 획득된 디스패리티 정보와, 그래디언트(gradient), 텍스쳐(texture) 등과 같은 영상 특성으로부터 입력 영상의 중요도 지도(importance map)을 추출한다. 그리고 디스패리티 정보와 중요도 지도에 따라 좌시점과 우시점에 해당하는 영상의 크기를 조정할 때 중요한 영역의 크기는 보존하고 덜 중요한 영역을 줄임으로써 원하는 크기의 출력 스테레오 영상을 구한다. 이러한 크기 조정 과정에서 일치 정합 관계와 폐색 영역(occluded regions)을 고려함으로써 출력 영상의 3차원 깊이 정보가 충실히 보존될 수 있도록 한다. 그러나 크기 조정은 필연적으로 디스패리티 정보의 변경과 비-중요 영역의 축소를 초래한다. 이러한 정보의 왜곡을 에너지 함수로 정의하고 최소화함으로써 최적 화질의 출력 영상을 얻는다. 둘째, 디스패리티 정보를 조정하여 시청자에게 편안한 3차원 시청거리를 제공하는 스테레오 영상의 디스패리티 재구성 기법을 개발한다. 시청자가 자연스러운 입체감을 느낄 수 있는 거리는 제한되어 있으며 일반적으로 화면의 크기에 비례한다. 따라서 스테레오 영상의 크기가 변경되거나 화면의 크기가 다른 출력 장치를 통해 시청할 경우, 최적의 3차원 시청 거리 또한 변경될 수 밖에 없다. 이러한 문제를 해결하기 위해서 본 연구에서는 영상 크기의 변화에 상관없이 균일한 3차원 시청 거리를 제공할 수 있는 디스패리티 재구성 기법을 개발한다. 관련과제 – IT/SW 창의연구과정-한국마이크로소프트: Stereoscopic Image Retargeting and Disparity Remapping for Adaptation of 3D Video Contents for Various Display Devices

• 디스패리티를 이용한 중요 영역 추출 알고리즘
• 스테레오 이미지 인페인팅 알고리즘
• 디스패리티 리맵핑을 통한 입체감 조정 기법

We develop stereo image resizing and disparity remapping technique which can provide comfortable depth perception, while a display size and human visual recognition system are considered. First, we develop stereo image retargeting method, which resize the image size according to important region and background while a correspondence matching relation is preserved. First, we extract importance map using image characteristics, such as gradient and texture, and a disparity data which is given. Then, we resize left and right image while preserve important regions and distort background regions until fitting target image size. Moreover, we consider occluded regions and correspondence match relation to preserve depth perception when resizing stereo image. Second, we develop disparity remapping method controlling depth perception to provide comfortable 3D contents viewing. A viewing distance, which a viewer can feel comfortable depth perception at, is limited. Therefore, if image or display size is changed, the viewing distance should be changed. To solve this problem, we develop disparity remapping method, which provide comfortable depth perception without a limitation of viewing distance even though image or display size is changed. (related research project: IT/SW Microsoft Research Asia: Stereoscopic Image Retargeting and Disparity Remapping for Adaptation of 3D Video Contents for Various Display Devices) We are doing researches on

• Extraction of importance regions based disparity data
• Inpainting stereo image
• Ramapping disparity data and controlling depth perception