정보이론 정보이론과 확률통계는 많은 교차점을 가짐 확률통계는 기계학습의 기초적인 근간 제공 해당 확률 분포 추정 확률 분포 간의 유사성 정량화 정보이론 관점에서도 기계학습을 접근 가능 불확실성을 정량화 하여 정보이론 방법을 기계학습에 활용한 예 인트로피, 교차 엔트로피, KL 발산(Kullback-Leibler divergence 상대 엔트로피 relative entropy) 정보이론: 사건(event)이 지닌 정보를 정량화 할 수 있나? 정보이론의 기본 원리: 확률이 작을수록 많은 정보 자주 발생하는 사건보다 잘 일어나지 않는 사건 unlikely event의 정보량(informative)이 많음 자기 정보(self information) 사건(메시지) $e_{i}$의 정보량(단위: 로그의 밑이 2인 ..
기계 학습이 처리할 데이터는 불확실한 세상에서 발생하므로, 불확실성(uncertainty)를 다루는 확률과 통계를 잘 활용해야 함. 확률 기초 확률변수(random variable): 임의적으로 변할수 있는 확률적 요소 확률분포(probability distribution) 확률 질량 함수(probability mass function), 이산(discrete) 확률 변수 확률 밀도 함수(probability dense function), 연속(continuous) 확률 변수 확률 벡터(random vector) 확률변수를 요소로 가짐 곱(AND)의 규칙(product rule)과 합(OR)의 규칙(sum rule) 조건부 확률(conditionaly productbility)에 의한 결합확률 계산 곱 ..
기계 학습에서 수학의 역할 수학은 목적함수를 정의하고, 목점함수의 최저점을 찾아주는 최적화 이론을 제공 최적화(optimization)이론에 학습률(learning rate), 멈춤조건과 같은 제어를 추가하여 알고리즘 구축 사람은 알고리즘을 설계하고 데이터를 수집 기계 학습을 이해하기 위한 관련된 기본 선형대수(linear algebra)를 확인 벡터(vector) 샘플을 특징 벡터(feature vector)로 표현 요소의 종류와 크기를 표현할 수 있다. 데이터 집합의 여러 개 특징 벡터를 첨자로 구분($x_{i}$) 행렬(matrix) 여러 개의 벡터를 담음 요소 $x_{ij}$: i번째 행 j번째 열의 값 훈련집합을 담은 행렬을 설계 행렬(design matrix)이라 부름 각 열값은 feature..
행렬분해(matrix decomposition)의 의미 행렬을 행렬분해 한 상태로 가지고 있으면 여러모로 계산이 편리한 경우가 많다. LU분해(LU decomposition) QR분해(QR decomposition) 특이값 분해(SVD, Singular Value Decomposition) LU분해 주어진 행렬을 아래의 형태처럼 분할하는 방법이다. L: lower triangular matrix(하삼각 행렬) U: upper triangular matrix(상삼각 행렬) LU분해를 하게 되면 Ax = b 의 계산을 다음과 같이 수행할 수 있다. LU분해의 의미 LU분해는 가우스 소거법의 forward elimination을 행렬로 코드화 한 것이다. L: 행렬 A를 전방소거하는데 쓰인 replacemen..
Solutions of a Linear System 해가 하나인 경우(unique solution) 해가 없는 경우(no solution) 0 * x = 6 해가 여러개인 경우(infinitely many solutions) 0 * x = 0 ax = b에서 a = 0이면 특이하다. ax = b의 해가 곧장 나오지 않는다. 왜? a의 역수(inverse)가 존재하지 않는 경우, a가 특이(singular)하다고 한다. 해가 있으면 선형시스템이 consistent하다고 한다. 해가 없으면 선형시스템이 inconsistent하다고 한다. Gauss elimination(가우스 소거법) Forward elimination(전방소거법) : 주어진 선형시스템을 아래로 갈수록 더 단순한 형태의 선형방정식을 가지도록..
가우스 소거법(Gauss 소거법) 선형대수(linear algebra)의 목표는 어떤 연립일차방정식, 즉, linear system(선형시스템) 문제라도 정형적인 방법으로 표현하고 해결하는 방법을 배우는 것이다. $Ax = b$ linear란 선의 형태라는 뜻. 평면이거나 왜곡되지 않은 공간. 올곧은 공간(?) 아래와 같은 식이 있을때, 이 방정식들을 각각 선형방정식(linear equation)이라고 한다. 또 여기서 각각의 미지수 x,y,z를 unknown, 혹인 variable이라고 한다. 위 처럼 3개의 linear equation과 3개의 unknown으로 구성된 연립일차방정식을 3 x 3 linear system이라고 한다. 비선형이란 말은 곡선이라 생각하면됨. 미지수의 승수가 1로만 구성 되..
