프로그래머스 AI 데브코스 5기/Math
기계학습과 수학 III
정보이론 정보이론과 확률통계는 많은 교차점을 가짐 확률통계는 기계학습의 기초적인 근간 제공 해당 확률 분포 추정 확률 분포 간의 유사성 정량화 정보이론 관점에서도 기계학습을 접근 가능 불확실성을 정량화 하여 정보이론 방법을 기계학습에 활용한 예 인트로피, 교차 엔트로피, KL 발산(Kullback-Leibler divergence 상대 엔트로피 relative entropy) 정보이론: 사건(event)이 지닌 정보를 정량화 할 수 있나? 정보이론의 기본 원리: 확률이 작을수록 많은 정보 자주 발생하는 사건보다 잘 일어나지 않는 사건 unlikely event의 정보량(informative)이 많음 자기 정보(self information) 사건(메시지) $e_{i}$의 정보량(단위: 로그의 밑이 2인 ..
