일반기술

실시간 중간시점 영상보간 방법

본 발명은 정보통신 기술에 관한 것으로, 특히 영상 처리 기술에 관한 것이며, 더 자세히는 중간 시점 영상 보간 기술에 관한 것으로서, 실시간 처리가 가능한 중간 시점 영상 보간방법을 제공하는데 그 목적이 있다. 본 발명에서는 동일수평축 상에 배치된 두 카메라로부터 제공되는 스테레오 영상(좌우 영상)으로부터 실시간으로 중간 시점 영상을 보간하는 방법을 제안한다. 구체적으로, 본 발명에서는 영상이 여러 개의 계층으로 구성되는 특성을 이용하여 중간 시점 영상의 좌표는 좌우영상으로부터 추정된 블록 기반의 양방향 시차 맵(bidirectional disparity map)을 이용하여 추정하며, 시차 추정 속도를 높이기 위해서 2단계 검색 방법(two-step search strategy)과 계층적 접근 방법을 이용한다. 또한, 본 발명에서는 잘못된 시차를 교정하기 위해 3가지 가려짐 패턴(three occluding patterns)을 이용할 수 있으며, 이후 각각의 중간 시점 장면에 서 두 보간 영상을 합성하는 양방향 시차 몰핑 방식(bidirectional disparity morphing, BDM)을 이용하여 홀을 제거한다.양방향 시차 맵의 추정 속도를 향상시켜 고화질의 중간 시점 영상을 실시간으로 생성할 수 있는 효과가 있다본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위하여 제안된 것으로, 실시간 처리가 가능한 중간 시점 영상 보간방법을 제공하는데 그 목적이 있다.상기의 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따르면, 수평방향의 시차를 가지는 좌우 영상 각각의 대하여, 전체 검색 영역 내에서 대응하는 후보 블록을 다수의 화소씩 이동하면서 검색한 후, 그 후보 블록 주변에 대해서 한 화소씩대응 블록을 검색하는 2단계 검색 방식을 적용한 시차 추정을 이용하여 영상 보간을 수행하는 단계와, 상기 좌우 영상에 대한 각각의 보간 영상을 합성하여 중간 시점 영상을 생성하는 단계를 포함하는 중간 시점 영상 보간 방법이 제공된다. 또한, 본 발명의 다른 측면에 따르면, 수평방향의 시차를 가지는 좌우 영상 각각의 대하여, 4:2:0 형식의 Y, Cb, Cr 영상 성분 중에서 Y 성분의 해상도를 1/2로 다운 샘플링하여 해당되는 영상을 4:4:4 형식으로 변환하고, 시차 맵 계산을 수행하여 영상 보간을 수행하는 단계; 상기 좌우 영상에 대한 각각의 보간 영상을 합성하여 중간 시점 영상을 생성하는 단계; 상기 중간 시점 영상의 Y 성분을 2배로 업 샘플링하는 단계; 및 선형보간을 수행하는 단계를 포함하는 중간 시점 영상 보간 방법이 제공된다.