기계학습과 수학 I

• 기계 학습에서 수학의 역할
  • 수학은 목적함수를 정의하고, 목점함수의 최저점을 찾아주는 최적화 이론을 제공
  • 최적화(optimization)이론에 학습률(learning rate), 멈춤조건과 같은 제어를 추가하여 알고리즘 구축
  • 사람은 알고리즘을 설계하고 데이터를 수집

• 기계 학습을 이해하기 위한 관련된 기본 선형대수(linear algebra)를 확인

• 벡터(vector)
  • 샘플을 특징 벡터(feature vector)로 표현
  • 요소의 종류와 크기를 표현할 수 있다.
  • 데이터 집합의 여러 개 특징 벡터를 첨자로 구분($x_{i}$)
• 행렬(matrix)
  • 여러 개의 벡터를 담음
  • 요소 $x_{ij}$: i번째 행 j번째 열의 값
  • 훈련집합을 담은 행렬을 설계 행렬(design matrix)이라 부름
  • 각 열값은 feature를 나타낸다.
• 벡터는 보통 소문자로 나타내고, 행렬은 대문자로 쓰거나 대문자의 볼드체로 표현한다.
• 행렬의 전치행렬(transpose matrix) $A^{T}$
• 전치 행렬의 특성

• 행렬을 이용하면 방정식(방정식계 system of equations)을 간결하게 표현 가능
• 행렬 연산
  • 행렬 곱셈(matrix dot product) C = AB, 이때

• 특성
  • 교환법칙이 성립하지 않는다.
  • 분배 법칙과 결합법칙은 성립한다.
• 벡터의 내적(inner product)

• 행렬의 곱셈은 공간의 변형이다.
• 벡터의 내적은 방향이 얼마나 유사한지를 중점적으로 보는 관점이다.(벡터는 크기와 방향을 갖는다.)

• 여기서 말하는 변환은 대부분 선형적 변환을 의미한다.
• 텐서(tensor)
  • 3차원 이상의 구조를 가진 숫자 배열(array)
  • 0차 = 수(scalar)
  • 1차 = 벡터
  • 2차 = 행렬
• 놈과 유사도
  • 유사도와 거리(similarity & distance)
  • 벡터를 기하학적으로 해석
  • 코사인 유사도

• 벡터와 행렬의 크기(거리)를 놈(norm)으로 측정
  • 벡터의 p차 놈

 

 

퍼셉트론의 해석

• 1985년 고안한 분류기(classifier) 모델
• 퍼셉트론 동작을 수식으로 표현하면

• 활성함수(activation function)로는 계단 함수 (Heaviside) step function 사용
• 퍼셉트론의 물리적 의미

• 학습의 정의
  • 추론(inference): 학습을 마친 알고리즘을 현장의 새로운 데이터에 적용하는 작업
  • 훈련(training): 훈련은 훈련집합의 샘플에 대해 식을 가장 잘 만족하는 w를 찾아내는 작업
  • 현대 기계 학습에서 심층학습은 퍼셉트론을 여러 층으로 확장하여 만듦
• 선형 결합과 벡터 공간
  • 벡터: 공간상의 한 점으로 화살표 끝이 벡터의 좌표에 해당
  • 선형 결합이 만드는 벡터 공간
    • 기저 벡터 a와 b의 선형 결합(linear combination)
    • 선형결합으로 만들어지는 공간을 벡터공간(vector space)라 부름

 

행렬분해

• 분해란?(decomposition)
  • 행렬을 분해하게 되면 여러모로 유용하다.
• 고윳값(eigenvalue)과 고유벡터(eigen vector)

 

• 고유분해(eigen-decomposition)

• Q는 A의 고유 벡터를 열에 배치한 행렬이고 우변의 $\Lambda$는 고윳값을 대각선에 배치한 대각행렬
• 고유분해는 고유값과 해당 고유 벡터가 존재하는 정사각행렬에만 적용 가능
• 하지만 기계 학습에서는 정사각행렬이 아닌 경우의 분해도 필요하므로 고유분해는 한계점이 있다.

 

 

• n*m 행렬 A의 특잇값 분해(SVD, singular value decomposition)

• 왼쪽 특이행렬 U: AA^T의 고유벡터를 열에 배치한 n*n 행렬
• 오른쪽 특이행렬 V: A^TA의 고유벡터를 열에 배치한 m*m 행렬
• $\Sigma$: AA^T의 고윳값의 제곱근을 대각선에 배치한 n*m의 대각행렬