선택 모델의 개발과 엔트로피 최고화

Abstract

情報理論(information theory)은 無形의 개념인 정보를 數量化할 수 있는 가능성을 제시하여, 과거 50년 동안 통계학자를 중심으로 여러 분야의 학자들의 관심을 집중시켰다. 다음 장에서 보다 상세히 설명을 하겠지만 정보 이론의 핵심개념인 엔트로피(entropy)는 어떤 주어진 確率實驗에 어느 정도의 不確實性이 내제되어 있는가를 측정하는 척도라 정의할 수 있다. 즉, 이 불확실성을 줄이기 위해 우리는 정보를 필요로 한다.