일반기술

정보 관리용 자연어 처리 툴

이탈리아의 한 회사가 문자 분석 및 색인 응용 프로그램의 개발, 그리고 정보 검색 및 지식 관리 시스템을 NLP 기술에 결합하는데 강력한 전문성을 가지고 자연어 처리에 초점을 맞추고 있다. 이 회사는 그러한 응용 분야의 초기 단계에서부터 주문화 또는 실행을 위하여 여러 응용 제품들(전처리, 구문 해석, 사전)을 제공하고 있으며 두 가지 개발 환경(자연어 구문 해석 기능 발생 장치, 사전 관리 시스템)을 제공한다.이 기술의 핵심은 자연어 표현을 분석하고, 그들 간의 주제 및 문법적인 관계를 추출하는 섈로 파서(shallow parser)이다. 언어학적 분석 공정은 언어 의존적인 문법에 기초하고 있다; 서로 다른 언어에 대하여 적절한 문법을 사용하여 서로 다른 구문 해석 응용 프로그램들을 개발하는 것이 가능하다; 이탈리아어 및 영어 버전이 있다. 입력되는 문장은 완벽하게 처리된다. 만일 문장에 대한 완전한 분석이 이루어지지 않으면, 문장의 서로 다른 부분에 해당되는 부분 분석이 회신된다. 구문 해석 시스템은 독립형 응용 프로그램 또는 라이브러리로 제공될 수 있으며, 모든 종류의 아키텍처에 통합되게 하기 위하여 맞춤화 될 수 있다.이 시스템의 전형적인 응용 분야는 다음과 같다:- DBMS 또는 검색 엔진을 위한 자연어 기반 인터페이스; 언어학적 프로세스의 출력은 자유롭게 바꿀 수 있다; 기존 시스템과의 통합을 가능하게 하는 입력된 표현에 대한 복잡한 일상적인 언어(SQL과 같은) 또는 불리언(Boolean) 질의로의 번역;- 텍스트 색인 기능; 파서는 문장 색인 기능에 기초한 정보 검색 프로토타입에서 실험되었다; 구문 해석 시스템은 구조성 및 어휘상의 모호함을 제어하면서 효율을 보장하기 위하여 다양한 전략을 사용한다.파서는 주문화 및 통합을 위한 한 세트의 모듈을 동반한다:- 전 처리기: 파일 포맷을 적절한 명사, 일시, 공식 등의 요소들을 태그 시킴으로써 평문 마크 업(mark-up) 포맷으로 변환한다,.- 사전: 중급 이탈리아어 사전으로 구문 해석 시스템으로 구문 변환 정보를 전달한다; 영어를 위한 유사한 자원이 개발될 것이다.구문 해석 시스템 및 사전은 두 소프트웨어 개발 환경의 기능성에 기초하고 있다:- YAP4NL은 사용자가 주어진 언어에 대하여 형식적인 문법을 쓰도록 하며(C와 유사한 메타 언어에서 정의된 확대 문장 구조 문법), 그러한 문법을 적용하는 구문 해석 응용 프로그램을 제작하도록 한다;- YALEX는 사전 관리를 위한 분산 시스템이다; 사전 편집자들의 상호 작업을 위한 것으로써 형식적인 정의와 관련하여 연속성을 검사함으로써 사용자들이 사전의 구조를 정의하고 데이터를 처리할 수 있도록 한다.이러한 툴들은 세 가지 최종 사용자 응용 프로그램을 개발하는데 있어서 적용되며 서로 다른 시장을 위한 통합 및/또는 특화를 가능하게 한다:- AQUI: 검색 엔진 또는 DBMS을 위한 사용자 인터페이스; 검색 옵션을 정의하거나 불리언 운영자를 질의에 삽입함이 없이, 사용자들이 자신의 언어를 사용하여 진보된 모드에서 정보를 검색할 수 있도록 한다. 질의들은 언어학적 분석에 의해 "정상화"되어 번역 시스템 또는 용어상의 데이터베이스와의 통신을 가능하게 한다. AQUI는 많은 상용 시스템의 최전방 시스템으로 사용된다(예를 들면, Verity, Autonomy, Janas, Fulcrum, 그리고Inktomi). - YACS: 고전적인 "tf/idf" 알고리즘을 다른 언어학적 기술과 통합함으로써 파생되는 응용 소프트웨어. 이는 문서를 사전 정의된 서열과 작은 세트의 사전 구분된 문서에서 시작하여 주제 목차 노드로 링크 시킨다. 응용 도메인: 브라우저에 기초한 상화 작용을 통해 접근 가능한 문서 저장소 또는 정보 푸싱을 위한 자동화된 서비스. YACS는 AQUI 인터페이스와 함께 구매할 수 있다. - SYNDEX: 구문 해석 단계에서의 결과들을 이용함으로써 고전적인 명사에 기초한 색인 절차를 확장한다, 예를 들면 복합 문장을 색인화 한다. 이 솔루션은, “개념에 기초한” 처리로 이동함으로써 많은 고전적인 색인 기능들을 향상시키며 고도로 자동화 된 질문/해답 시스템의 기초가 된다.혁신적인 사항:주요 혁신적인 사항들은 “연구소” 기술에서 시작하여 실제 응용 제품을 제작하는 것들로 구성된다. 정보 관리를 위한 상용 시스템에 수록된 언어학적 지식은 일반적으로 매우 낮다; 견고성이 없고, 효율이 떨어지며, 통합이 힘들고, 시간이 많이 소모되는 지역화는 일반적으로 NLP 기반 시스템에 대해서는 “반대적인” 것이다. 현장에서의 경험은, 일반적으로 NLP 기반 시스템의 주요 장점으로 인식되었던 정확도의 상실 없이, 이러한 문제들을 처리하기 위하여 일반적인 방법 및 잘 보조된 소프트웨어 솔루션의 전개를 가능하게 하였다.엄격히 기술적인 관점에서 볼 때, 파서는 현대 섈로 파싱 기술의 견고성 및 유연성과 효율을 향상시키기 위한 첨단 솔루션과 고전적인 차트 구문 해석의 정확도가 결합된다.이탈리아어에 있어서, 모듈은 최첨단이며 영어 전용 소프트웨어와 전용 언어학적 소프트웨어 그리고 모든 기타 국가 버전간에 존재하는 격차를 메운다. 주요 장점:NLP 기술로부터 유도되는 일반적인 장점들:- 사용자 친화성- 정밀도 및 정확도- 구성되지 않은 정보의 처리- 사용자들을 위한 높은 수준의