Information Theory와 音聲의 識別問題

Abstract

정보이론은 비교적 연륜이 짧은 새로운 학문이다. 이를 처음 體系化한 것은 1942년에 MIT 교수인 노먼 · 위이너 (N.Wiener)가 필터의 설계에 대한 이론을 확립한 뒤부터다. 그러나 戰爭中이었기 때문에 서로 모르기는 했지만, 동시 에 소련의 킨치너(Khintchine) 박사가 거의 같은 이론을 편 것으로 알려져 요즘은 위이너-킨치너의 이론이라고 부른다. 그 후 1948년에 새논(C.E. Shannon: 現Illinois大學敎授)이 당시 벨 전화 연구소에서 근본적인 통일된 정보이론을 세워서, The Mathematical Theory of Communication"이란 통신의 수학적 이론을 발표했던 것이다. (Shannon and Weaver, 1963) 그 이론은 근본적으로 두 가지의 전제 조건에 근거를 둔 것이다. 첫째, 통신 즉 정보를 전달하는 과정은 유한(有限)의 가능한 선택중에서 하나씩 선택하는 과정이다. 그러니까 어휘가 오십만 혹은 백만이라면 그것으로 한정되는 것이고, 그 한정된 어휘에서 하나씩 하나씩 뽑아내서 어떤 것올 구성하는 그런 계통이라는 전제 조건이다. 둘째, 모든 통신과정중의 선택의 운용에 있어선 필연적으로 확률(probability) 의 개념이 근본적인 역할을 한다.