일반기술

스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치

시각화 분야나 엔터테인먼트(Entertainment)를 위한 영상 분야 등에서는 가상 또는 실제 카메라를 이용하여 임의의 위치로부터 관찰되는 영상을 필요로 하는 바, 이와 같은 영상을 얻기 위하여 모든 위치에 실제 카메라를 설치하거나 이동 카메라를 이용하여 영상을 얻는 시스템을 생각할 수 있으나, 이는 비현실적인 방법으로 카메라를 설치할 수 있는 위치가 한정되어 있을 경우에 이동 카메라 시스템을 설치하는 것은 불가능하다. 일반적으로 임의의 위치로부터 관찰되는 영상을 만드는 방법은 몇몇의 고정된 위치에 카메라를 설치하고, 이로부터 얻어지는 영상을 혼합하거나 보간(Interpolation)하여 사용자가 원하는 영상을 만드는 방법이 이용되고 있는데, 영상의 혼합과 보간은 소프트웨어나 하드웨어로 수행된다. 그러나, 초당 30프레임의 영상으로 처리해야 하는 실시간 영상으로의 구현은 매우 어렵고, 매우 복잡하고 고비용의 하드웨어를 필요로 한다. 또한, 가상 시점에서의 영상을 만들기 위해서는 입력 영상의 3차원적 구조를 알아내야 하는데 실시간으로 3차원으로 복원하기에는 고 난이도의 기술을 필요로 하며, 시스템 하드웨어가 복잡하고 고비용이 발생하는 문제점이 있다.이러한 문제점을 해결하기 위하여 본 기술은 실시간으로 출력되는 스테레오 영상 쌍의 양안차도(Depth Map)를 이용하여 두 개의 오리지널 카메라 사이에 위치하는 가상 카메라에 의한 영상을 실시간으로 만들 수 있는 스테레오 카메라의 양안차도를 이용한 다시점 영상 합성 장치를 제공한다.본 기술의 특징은, 고정된 위치에 설치된 제1카메라 및 제2카메라로부터 각각 입력되는 영상신호를 디지털신호로 변환하고, 상기 제1,2카메라로부터 얻어지는 두 영상 사이의 임의의 위치에 있는 가상카메라에 의한 영상을 얻기 위하여 상기 제1,2카메라에서 출력되는 영상신호들의 양안차도(Depth Map) 값을 산출하여 출력하는 다시점영상합성수단; 상기 다시점영상합성수단으로부터 전송되는 상기 디지털신호 및 양안차도 값을 받아서, 상기 가상카메라를 위한 재투영 영상의 매핑 픽셀 인덱스를 계산하여 출력하는 다시점영상재투영수단; 및 상기 다시점영상재투영수단에서 출력되는 출력신호를 이용하여, 상기 다시점영상합성수단을 통하여 입력되는 상기 디지털신호의 중복 픽셀을 디스플레이하기 위하여 소정픽셀을 선택하는 픽셀선택수단을 포함하는 데 있다.결국, 본 기술에 의한 스테레오 카메라의 양안차도를 이용한 다시점 영상 합성 장치에 따르면 다음과 같은 이점이 발생한다.즉, 양안차도의 직렬 처리 과정과 재귀 알고리즘을 이용한 스테레오 영상 시퀀스를 이용함으로써 실시간으로 사용자가 정한 가상 카메라의 영상의 발생이 가능하다.