일반기술

시간차 신경망을 이용한 고립단어 인식을 위한 하드웨어구조

본 기술은 시간차 신경망을 위한 게이트 레벨에서의 아키텍처를 구성할 수 있도록 된 시간차 신경망을 이용한 고립단어 인식을 위한 하드웨어 구조에 관한 것이다. 한편, 본 발명은 시간차 신경망(TDNN)의 곱하는 연산을 각각의 레이어마다 시스톨릭하게 처리하도록 구성하고, 전체적으로 정수연산을 사용할 수 있도록 하고, ASIC과 같은 소용량의 빠른 칩을 이용할 수 있도록 하는 시간차 신경망을 이용한, 고립단어 인식을 위한 하드웨어 구조에 관한 것이다. 이를 위해 본 기술은 마이크를 통해 입력되는 음성신호를 샘플링하고 양자화하기 위한 샘플링/양자화 수단, 상기 샘플링/양자화 수단을 경유한 신호를 주파수에 따라 나누는 필터뱅크 수단, 상기 필터뱅크 수단을 경유한 신호를 제로 크로싱 값으로 변환하는 제로 크로싱 수단 그리고 상기 제로 크로싱 값을 다운 샘플링을 통해 데시메이션(decimation)하여 나온 특징 벡터를 시간차 신경망(TDNN: temporal difference neural network)의 입력으로 하는 시간차 신경망 입력 수단을 포함하고, 상기 필터뱅크는 밴드패스 필터로 이루어지도록 된 것을 특징으로 한다. 시간차 신경망(TDNN)에 들어가는 피쳐(feature)를 추출해 내기 위해서 작은 용량의 하드웨어로 구현이 가능한 필터뱅크와 인터벌 디텍터를 사용하여, EIH 모델을 하드웨어로 구현하였다. 시간차 신경망(TDNN)은 계산량이 많고 소프트웨어로 구현하기 위해 많은 연산이 필요하다는 단점이 있다. 이를 극복하기 위해 본 발명에서는 시간차 신경망(TDNN)의 연산 순서를 하드웨어에 맞게 설정하고 가능한 작은 용량의 하드웨어를 사용하기위한 구조를 설계하여 하드웨어로 구현하였다.1) 마이크를 통해 입력되는 음성신호의 샘플링, 양자화, 필터뱅크, 제로크로싱 변환, 다운 샘플링을 통한 데시메이션(decimation)으로 이루어진 과정을 통해 특징 벡터를 얻어내어 이를 시간차 신경망(TDNN)의 입력으로 사용함으로써 하드웨어로의 구현이 용이하게 한다. 2) 시간차 신경망(TDNN)은 연결강도를 다운받고, 필요시에 연결강도를 넘기는 연결강도 저장모듈, 입력 프레임 값과 연산된 프레임 값을 다운로드 및 저장하는 프레임 저장 모듈, 실질적인 연산을 수행하는 연산 모듈로 이루어진 하드웨어 구조를 가진다. 3) 호스트(host)로부터 연결강도를 다운받을 때, 쉬프트 레지스터를 통해 일률적으로 연결강도를 채워나가고, 상기에서 채워진 연결강도 집합들 중에서 필요한 집합이 연결 선택 비트를 통해서 선택되게 하여 특정 카테고리의 패턴에 대한 인식을 가능하게 하는 연결강도저장 모듈을 구비한다. 4) 제1 시간(n-2)에서의 출력뉴런의 값들을 구한 후에, 제2 시간(n-1)에서 소정의 제2 히든 레이어(hidden layer)의 프레임 값을 구하고, 제3 시간(n)에서 제1 히든 레이어의 프레임 값을 구하는 과정을 통해 시간적으로 차등을 두어서 연산결과를 나오게 하여 출력단과 프레임단 각각이 값을 병렬적으로 구할 수 있다. 5) 반도체 칩의 용적을 절약하기 위해 개략적인 곱셈결과를 출력하는 보상기, 누산값을 구할 때마다 일일이 리셋신호를 발생시킬 필요 없이 입력 값을 클럭 신호에 맞추어 입력하고 일정 시간 지연을 거쳐 출력 값을 받아내기 위한 누산기, 이 누산기의 시간지연을 이용하여 작은 용적의 룩업테이블(LUT)을 사용할 수 있도록 한다. 6) 프레임 저장 모듈에 있어 연결 연산한 값들을 일렬로 이동시켜서 시그모이드를 통과한 후에 프레임저장 모듈의 쉬프트 레지스터에 채우고, 모든 프레임 값들과 출력뉴런의 값이 채워지면 수직으로 모든 값들을 이동시켜 다음 연산을 준비하도록 한다. 7) 단어 인식과 같이 하나의 패턴이 긴 경우, 추가적인 연결강도저장 모듈과 프레임저장 모듈 쌍에 단어의 부분들을 처리하여 이 값을 호스트에서 다운받아 이를 조합하여 전체적인 단어를 인식하도록 한다.