일반기술

여러대의 카메라 입력 영상을 이용한 조밀한 깊이 정보 추출방법

본 발명은 여러 위치에 있는 유한개의 카메라로부터 획득한 영상으로부터 각 화소의 깊이 정보를 조밀하게 추출하고, 그를 이용하여 무한개의 중간 영상을 효율적으로 합성하는 방법을 제공하는 것이다.종래의 다기선 스테레오 정합법(Multiple-Baseline Stereo)은 정합의 정확도는 다른 방식에 비해 높지만 계산 시간이 스테레오 쌍의 개수에 비례하여 증가하며, 정합창의 크기를 고정시킴으로써 구한 깊이 맵(depth map)의 경계선 연장 문제(boundary overreach)가 일어나게 되고 이로 인해 합성한 영상의 화질이 저하된다. 본 발명에 의한 다해상도 다기선 스테레오 정합방법은 다기선 스테레오 정합방법을 다해상도 방식으로 구현하여 처리 시간과 깊이 맵에서의 경계선 연장 문제를 개선하고, 다해상도 방식에 있어 이웃 후보 선택 방식을 사용하여 불연속 부분에 대한 정합의 오차를 감소시킴과 동시에, 적응적 폐색(occlusion) 영역 처리 방법을 제공하므로써 임의의 카메라 배치 상황에서도 정합의 오차가 줄어들지 않도록 하였고 폐색 영역을 검출한 뒤 처리하여 정보의 손실을 줄임으로써, 기준영상의 각 화소에 대한 깊이정보를 정밀하게 구할 수 있다.1. 하나의 물체에 대한 다수 카메라로부터의 입력 영상을 다해상도로 분해한 후, 가장 저해상도 영상에 대하여 완전탐색에 의한 다기선 스테레오 정합(MBS) 및 폐색 영역 처리를 수행하여 각 부(父)노드의 깊이 정보를 구하는 제 1단계;상기 제1단계에서 구해진 각 부(父)노드의 깊이 정보가 다음 해상도 단계의 자(子)노드로 전달되고, 상기 전달된 깊이 정보를 기초로 하여 다기선 스테레오 정합 및 폐색영역 처리를 수행하며, 상기 다기선 스테레오 정합과정 도중에 상기 전달된 부노드의 깊이 정보를 확인함으로써, 각 자노드의 깊이 정보를 구하는 제2단계; 및상기 제2단계에서 구하여진 깊이 정보를 이용하여 제2단계에서와 같은 방식으로 최고 해상도까지 계층적으로 진행함으로써 원 해상도 기준 영상의 각 화소의 깊이 정보를 구하는 단계 등으로 이루어지는 조밀한 깊이정보 추출방법.2. 제1항에 있어서, 상기 부(父)노드의 깊이 정보가 자(子)노드로 전달될 때, 부노드외에 부노드에 이웃하는 8개의 이웃노드의 깊이정보도 함께 전달되고, 상기 이웃노드의 깊이정보까지 고려한 다기선 스테레오 정합을 수행하여 정합 수직