snu 샤논의 정보이론 강의

이전부터 정보이론을 공부해야지 알기는 했지만

 

제대로 해볼 엄두가 잘 나지를 않았다.

 

답답한건 어쩔수 없지만 

 

가장 자주나오는 샤논의 정보이론 내용만이라도 조금 정리해보려고 한다.

 

 

 

 

이 내용에 대해서

 

이광근 교수님 강의가 유튜브에 올라와 있더라

 

 

www.youtube.com/watch?v=UwUR7vl4VgQ

 

 

 

 

메시지의 정보량

- 메시지 겉모습에 대한 양

- 자주 나오는 것은 정보량이 적고, 많지않은것은 정보량이 많다.

- 엔트로피 : 정보의 예측 불허한 정도

- 불필요한 내용이 들어가면 정보량이 줄어듬

 

 

 

샤논이 정의한 메시지의 정보량

- x : 메시지에 나오는 단어

- p(x) : x가 메시지에서 나올 확률

- 확률에 로그를 취하면 음수가 되므로 앞에 -를 붙임

=> 셔넌 엔트로피 : 모든 사건 정보에 대한 기대값

 

 

 

정보량의 예시

- 메시지에 "가", "나"가 절반을 차지하는 경우

=> 두 단어가 차지하는 메시지의 정보량 = 1

- 불규칙성이 줄어들수록 정보량이 줄어든다.