일반기술

한국어 고성능 형태소 분석 기술

한국어 고성능 형태소분석기는 한국어 문서를 문장단위로 형태소를 분석하고 태깅한 결과를 구조체에 저장하여 출력한다. 본 형태소분석기는 26개의 태그셋을 가지고 있고, ETRI 표준 태그셋인 29개 태그셋으로도 변환이 가능하다.형태소분석기의 성능은 백과사전 영역, 정보검색 영역의 Hantec 데이터, 생황정보 영역의 대화형 질의응답 시스템에 대해서 튜닝이 되어있다. 형태소분석기는 모든 가능한 형태소분석결과를 만드는 형태소분석 모듈과 분석결과를 랭킹을 매겨서 가장 확률이 높은 결과를 1순위로 올리는 태거 모듈로 구성되어 있고, 기술이전도 두 가지 모듈 모두에 대해서 이루어진다본 한국어 고성능 형태소 분석기는 어절을 구성하는 음절들의 일부 혹은 전부로 구성된 부분 문자열을 미리 형태소를 분석하여 해당 문자열에 대한 형태소 원형 및 품사 리스트를 작성한다.그리고 그 형태소 원형 및 품사 리스트와 해당 부분 문자열의 쌍을 트라이 형태로 저장하고, 그 부분 분석 정보들 간의 좌우 접속 및 품사 전이 조건을 미리 작성하여 부분 문자열별 기분석 리스트를 만들어 저장한다.실행 시에는 기분석 리스트를 직접 탐색하여 해당 문자에 대하여 분석 가능한 모든 형태소들 간의 연결 관계를 나타낸 중간 분석 결과를 생성하며, 그 중에서 좌우 접속 및 품사 전이 조건을 만족하는 후보를 최종 분석 결과로 선택한다.그렇게 함으로써 원형 복원 규칙 적용이나 사전 탐색 등 종래의 경우 매 어절 반복되는 처리 절차를 없앨 수 있고, 신조어와 같은 미지 어절을 쉽게 분석해낼 수 있도록 시스템의 확장이 용이하며, 조합형 한글 코드로의 변환이 없이도 어절을 분석 할 수 있다* 기술의 구성전체적인 구성은 문자열 입력장치, 문자열 저장장치, 기분석 리스트 탐색장치, 분석리스트 저장장치, 최종 결과 저장 장치, 기분석리스트 저장 장치, 분석리스트 연결장치, 최종 출력장치로 구성된다. 1. 문자열 입력장치는 분석 대상인 문장 또는 문서를 입력받는 장치이며,2. 문자열 저장장치는 입력된 문장 또는 문서로부터 하나의 문장을 추출하여 분석대상으로 저장하는 장치이며, 3. 기분석 리스트 저장장치는 기분석 사전으로 저장된 부분 문자열 정보 및 분석결과를 분석에 사용할 수 있도록 메모리에 로딩하는 장치이며,4. 기분석 리스트 탐색장치는 분석대상인 어절을 구성하는 음절들에 대해 기분석 리스트 저장장치에 저장된 부분 분석 정보를 탐색하여 그 어절에 의해 생성될 수 있는 모든 부분 문자열에 대한 분석 정보를 찾는 장치이며, 5. 분석 리스트 연결장치는 형태소 간의 좌우 접속 및 품사 전이 조건 정보를 이용해서 연결 조건의 만족 여부를 확인하는 장치이며,6. 분석 리스트 저장 장치는 어절별 형태소 분석 리스트의 중간 결과를 저장하는 장치이며,7. 최종결과 저장 장치는 최종적으로 분석된 결과를 특정 구조체 정보에 저장하는 장치이며,8. 최종 출력장치는 사용자가 원하는 형태로 화면에 출력하는 장치이다