일반기술

UMiner:품질 및 불확실성을 다루는 데이터 마이닝 시스템

주요 데이터 마이닝 작업을 지원하는 통합된 프레임워크. 혁신적인 기능은 i) 클러스터링(여러 클러스터링 알고리즘 사용) 및 클러스터링 품질 평가, ii) 다차원에서 클러스터링 결과의 시각화, iii) 분류를 유지하는 분류 의견, iv) 의사 결정 지원을 위한 정보의 기준 등이다. 프레임워크는 CORBA 표준을 지원하는 클라이언트 서버 아키텍처에서 개발된다.지난 수십 년간 방대한 데이터 저장소에서 많은 양의 데이터를 다루고 데이터 마이닝과 정보 발견을 자동화할 수 있도록 새로운 도구와 기술이 개발되어 왔다. 그러나 데이터 마이닝 프로세스에서 가장 중요하면서 널리 인식된 필요 조건의 일부가 현재의 접근 방법으로는 데이터베이스와 데이터 마이닝 응용 프로그램에서 제대로 이뤄지지 않는다. 이러한 필요 조건 중의 하나는 데이터 마이닝 작업의 구문에서 불확실성의 노출과 처리이다. 또한 클러스터링 프로세스에 대한 다른 중요한 문제는 클러스터의 품질과 데이터 집합에서의 최상의 분할 작업 정의이다.당사는 데이터 마이닝 작업(클러스터링, 분류)을 위한 새로운 시스템을 개발했으며 이 시스템은 데이터 분석 결과를 향상시키고 클러스터링과 분류 프로세스에서 불확실성을 효율적으로 처리하며 추론 및 의사 결정 과정을 돕는다. 또한 다차원적인 데이터세트를 선명하게 시각화하여 제공한다.혁신적인 사항:대규모 관련 데이터베이스의 클러스터링, 분류 및 연합 규칙 추출 프레임워크가 있어 신뢰 측정의 관점에서 불확실성을 처리하고 데이터에서 추출하는 정보의 형태를 평가한다. 보다 구체적으로 다음과 같은 부분을 포함한다.a) 최상의 클러스터링 도해 추출을 위한 방법론. 사용자는 해당 알고리즘 매개변수에 대해 다른 값을 가정하지만 제대로 설정된 클러스터링 알고리즘은 해당하는 도해를 만든다. 제안된 접근 방법은 사용자가 정의하는 품질 색인에 따라 최상의 클러스터링 도해(즉, 잘 맞아 떨어지는)를 선택한다.b) 분류 신뢰도를 유지하는 범주. 이러한 범주는 이전의 클러스터링 프로세스를 기반으로 정의된 “최상의” 클러스터이다. 여기서는 이러한 신뢰도를 나타내고 처리하기 위하여 퍼지 논리를 사용한다.c) 정보는 퍼지 집합에 포함된 정보 양을 반영하는 에너지 거리 기능을 기반으로 분류 도해를 평가한다. 이러한 평가를 기준으로 추리와 의사 결정에 “유용한” 정보를 추출한다.주요 장점:데이터 마이닝 프로세스의 주요 작업인 불확실성과 품질의 처리. 추출된 정보를 표시하여 분석가가 포괄적이고 쉽게 사용할 수 있도록 한다. 자연어 쿼리와 평가의 관점에서 하나 이상의 데이터 집합에 관련된 의사 결정을 지원하기 위하여 분류 신뢰도를 이용한다.가장 중요한 장점은 시스템이 데이터 마이닝 프로세스를 강화하여 신뢰의 측면에서 불확실성을 지원한다는 점이다. 또한 사용자가 정의하는 정보 평가를 기준으로 분류 신뢰도를 이용한다. 이러한 평가는 분류 도해에 맞는 정도에 따라 다른 집합을 비교하거나 특정 기준으로 다른 데이터 집합을 비교하는 데 사용할 수 있다. 또한 데이터 집합에 관련된 많은 쿼리는 정의된 정보 평가를 사용하여 지원함으로써 분류 프로세스가 분석된 데이터에 관한 “흥미있는” 평가를 내도록 할 수 있다.