일반기술

허밍과 음성인식을 이용한 음악정보검색 방법

본 발명은 허밍과 음성인식을 이용한 음악정보검색방법에 관한 것으로서, 입력 음악 정보로서 멜로디를 허밍을 이용하여 입력하고,시스템이 입력된 허밍으로부터 노트를 검출하고, 음 길이와 신뢰도 측정에 따른 다중 피치들의 특징을 추출하여 유사성(similarity) 측정 엔진에서는 추출된 특징을 이용하여 허밍과 데이터베이스 사이의 유사성을 측정한 후, 질의(query)엔진은 데이터베이스와 해당되는 허밍을 매칭시키기 위하여 동적 프로그래밍(DP:dynamic Programming,DP)을 수행하고, 그 결과로서 데이터베이스에 포함된 멜로디 중 가장 가까운 매칭 거리를 가지는 멜로디가 선택하는 허밍과 음성인식을 이용한 음악정보검색방법에 있어서;상기 데이터베이스와 허밍 사이의 매칭은 3 차원의 연속 DP를 이용하여 수행하며, 이 방법에서 스팬(span)과 다중 피치 후보를 이용하여 데이터베이스와 허밍 사이의 최적 배열을 계산하는 것을 특징으로 한다.본 발명의 허밍과 음성인식을 이용한 음악정보검색방법에서는 다중 피치 후보를 이용하는 음악 정보 검색 시스템을 제안한다.피치 후보의 에너지로부터 계산되는 신뢰도 측정(Confidencemeasure)을 고려하고 다중 피치 후보를 다루기 위하여 일반적인 동적 프로그래밍(DP:dynamic Programming 이하 DP 라 함) 알고리즘의 확장을 제안한다.이 방법에서 DP 의 패스(path)는 노트(note)가 삽입되고 삭제되는 것을 고려하여 입력과 참조 노트의 주파수와 상대적인 길이에 따라 동적으로 변한다.또한, 음악 데이터베이스 검색을 위한 노래 제목, 가수 이름 등을 입력하기 위하여 음성인식을 이용한다. 이를 이용하는 경우 키패드형식의 입력방식에 비해 고속으로 검색이 가능하다. 일반적인 음악 정보 검색 시스템(Music Information Retrieval System;MIRS)에서 검색의 중요한 열쇠는 가수나 작곡가, 혹은 제목등과 같은 텍스트 정보이다.하지만 최근에는 정보 검색의 열쇠로서 허밍을 이용하여 음악 정보를 검색하는 시스템들이 많이 연구되고 있다. 본 발명에서는 유사성 측정 방법이 질의 과정에서 피치 오류에 신뢰성을 증대하기 위하여 3차원으로 DP면의 탐색공간을 확장하였으며, 이것은 다중 피치 후보의 신뢰도 측정사용자의 허밍에는 개인마다 다른 빠르기, 다른 음 높이 등의 개인 특성과 노트의 삽입과 삭제와 같은 노래 오류 등을 포함하고 있다. 이러한 문제를 고려하여 본 발명에서는 DP 패스에 따라 동적으로 결정되는 최적 이웃 노트에 대응되는 상대적 비를 이용하여 노트를 표현하였다. 또한 허밍 질의가 완벽하더라도 허밍 질의로부터 정확하게 피치를 추출하는 것은 어렵다.따라서 피치 오류를 고려하여 다중 피치 후보의 이용을 제안하였으며 본 발명의 방법을 이용하여 3번째 순위에서 피치 추출 정확도를 평가한 결과 99.7%의 정확도를 보였다. 또 다중 피치 후보를 다루기 위하여 3차원 연속 DP로 검색 방법을 확장하였다. 전체 320질의를 가지는 155곡의 데이터를 대상으로 검색 정확도 측정을 이용하여 제안한 방법을 평가한 결과 본 발명의 방법이 기존 방법에 비해 향상된 효과를 보여주었다.