일반기술

어형 통제 기반 유해 텍스트 판별을 위한 전처리 기능

어형 통제를 통한 유해 텍스트 판별에 필요한 기반기술로서, 유해 문서 수집을 위한 웹 로봇과 고성능 형태소 분석기를 포함하는 전처리 기능 구현초고속 통신망의 보급과 다양한 양질의 콘텐츠 증가로 인하여 인터넷 사용자가 기하급수적으로 늘어가고 있다. 그러나, 이러한 인터넷이 방대한 정보의 보고로서의 순기능만큼이나 유해한 정보의 난립으로 인하여 국민 정신건강에 지대한 악영향을 미치고 있다. 또한, 정보에 대한 호기심은 강하지만 아직 판단이 미숙하고 신체적 정신적으로 성장기에 있는 청소년 들에게는 심각한 해를 끼칠 수 있어 기존에는 인식하지 못했던 새로운 사회적 문제로 대두되고 있다. 이러한 유해 인터넷 환경으로부터 청소년들을 보고하기 위해 유해 사이트를 필터링할 수 있는 유해 정보 차단 기술 개발이 요구되었고, 여러 업체들이 유사한 제품을 출시하고 있다. 유해 사이트 차단 제품들은 초기에는 수준급의 성능을 보였으나, 빠른 속도로 늘어만 가는 성인사이트들에 대한 높은 차단율과 낮은 오탐율 보장이 갈수록 힘든 상황이다. 또한 차단 제품들로 인한 필터링을 회피하기 위해 지능적으로 제작된 사이트들이 점차 늘어남에 따라 계속 새로운 필터링 기술이 개발될 필요가 있다. 본 팀에서는 유해 사이트에 대한 필터링 기술 개발의 일환으로 내용 기반 유해정보 방지 기술을 개발하고 있으며 이에 대한 기반 기술인 유해 텍스트 등급 분류 기술의 경우, 등급 분류 기술과 더불어 문서 수집과 형태소 분석 단계를 포함한 전처리 기술을 차별화하였다. 이에 본 기술이전을 통하여 유해 사이트 차단을 위한 기반 기술을 보급하여 보안 업계의 효율적인 유해 사이트 필터링 기술 개발에 기여하고자 한다. 본 기술은 어형 통제를 통한 유해 텍스트 판별에 필요한 요소 기술로서, 유해 문서 수집을 위한 웹 로봇과 고성능 형태소 분석기를 포함하는 전처리 기능을 구현한 것이며, 유해 사이트 차단 기술 개발, 웹 정보 검색 기술 개발, 특정 분야 웹 문서 필터링 기술 개발 등 다양한 분야에 활용될 수 있다.•활용 방안 -유해 사이트 차단 제품 개발 시 기반 기술로 활용 가능 -웹 정보 검색 기술에 활용 가능 -특정 분야 웹 문서 필터링 기술 개발에 활용 가능 •기대 성과 -차별화된 웹 로봇 기술 적용으로 유해 웹 페이지 수집율 및 수집량, 수집 속도 등을 향상시킬 수 있다. -띄어 쓰기 오류 처리 기능, 복합 명사 처리 기능 등을 통하여 형태소 분석기 성능을 향상시킬 수 있다.① Relevance feedback을 통한 유해 웹 페이지 수집율 향상 기술 ② 메타 검색 엔진을 이용한 유해 웹 페이지 수집량 증대 기술 ③ 중복 호스트 검사를 통한 웹 문서 수집 속소 향상 기술 ④ 유해 웹 컨텐츠 분석 유용 정보 제공 기술 ⑤ 래핑을 통한 형태소 분석기 유용성 향상 기술 ⑥ 형태소 분석기 성능 향상 기술