일반기술

사용자의 조력 및 물체추적에 의한 영상객체 분할 방법

본 기술은 영상 편집, 저작 및 합성기, 객체기반 영상 부호화기 등에서 비디오 객체 단위의 조작(Manipulation), 편집(Editing), 대화형 기능(Object-based User Interaction), 및 객체기반 영상 부호화(Object-based Image Coding) 등을 할 때, 사용자의 조력과, 물체추적(Object Tracking) 등에 의해 영상을 비디오 객체로 정확하게 분할하기 위한 영상 객체 분할 방법에 관한 것이다.종래의 영상 객체 분할 방식은 자동 분할의 경우에 연속된 영상의 밝기값 변화량을 검출하는 문턱값에 따라 분할 성능이 크게 달라졌으며, 수동 분할의 경우에 매 프레임을 손으로 직접 분할하였기 때문에 시간이 많이 걸렸고, 사용자에게 경제적인 부담을 주는 문제점이 있었다.본 기술은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 영상시스템 등에서 영상내의 객체를 추출하기 위하여 영상 시퀀스(Image Sequence)상에 처음 나타나는 영상 객체를 사용자의 도움으로 수동 또는 반수동으로 분할하고, 이후의 영상 프레임부터는 분할된 영상 객체의 움직임에 의한 물체추적 등에 의해 자동 분할하여 보다 정확하게 영상 객체를 분할하기 위한 영상 객체 분할 방법을 제공하는데 그 목적이 있다.따라서 객체기반 MPEG-4 데이터에서 그 객체를 효과적으로 구분(segmentation)함으로써 객체 분할을 통해 압축률을 달리 할 수도 있고, 분할된 객체에 대한 편집도 가능하다. 동영상은 여러 scene이 결합하여 이루어지게 되는데 이 scene를 구성하는 객체를 조작할 수 있다면 다양한 편집이 가능함을 알 수 있다.본 기술은 영상시스템에 적용되는 영상 객체 분할 방법에 있어서, 영상 시퀀스상의 첫 번째 프레임상에 존재하는 영상 객체 혹은 그 뒤 연속된 프레임에서 새롭게 나타나는 영상 객체를 사용자의 조력 및 공간 정보를 이용하여 수동 혹은 반수동으로 일차 분할하는 제 1 단계; 이전 분할 객체의 움직임 추적에 의하여, 이전 프레임에서 일차 분할된 영상 객체를 자동으로 영역 분할하는 제 2 단계; 상기 제 2 단계를 연속된 프레임에 대하여 반복 수행할 때, 연속 프레임간에 장면전환이 있거나 자동 영역 분할된 영상 객체이외에 새로운 영상 객체가 있는 경우에, 해당 영상 객체에 대해 상기 제 1 단계 및 제 2 단계를 반복 수행하는 제 3 단계 및 상기 제 2 단계를 연속된 프레임에 대하여 반복 수행할 때, 프레임간 장면전환이 없고 자동 영역 분할된 영상 객체이외에 새로운 영상 객체가 없는 경우에, 영상 객체의 영역 분할 결과를 검사하여, 사용자의 만족시에 상기 제 2 단계를 수행하고, 불만족시에 상기 제 1 단계에서 사용자에 의해 보정된 영역 분할 결과를 상기 제 2 단계의 자동 분할 과정에 반영하는 제 4 단계를 포함하는 영상 객체 분할 방법으로서, 사용자의 조력, 공간정보, 및 물체추적의 시간정보 등을 이용하여 영상에서 원하는 객체를 효과적으로 분할할 수 있고, 정의 또는 분할하기 어려운 비디오 객체를 사용자의 조력에 의해 수동 또는 반수동으로 분할하며, 일단 분할된 비디오 객체를 물체추적에 의해 자동으로 분할하여 수동 및 자동 분할법을 효과적으로 결합함으로써 정확한 비디오 객체 분할이 가능하고 사용자의 시간 및 노력을 줄일 수 있어 영상 편집, 저작 및 합성기, 객체기반 영상 부호화기 등에 적용할 수 있는 효과가 있다.