- 기계 학습에서 수학의 역할
- 수학은 목적함수를 정의하고, 목점함수의 최저점을 찾아주는 최적화 이론을 제공
- 최적화(optimization)이론에 학습률(learning rate), 멈춤조건과 같은 제어를 추가하여 알고리즘 구축
- 사람은 알고리즘을 설계하고 데이터를 수집
- 기계 학습을 이해하기 위한 관련된 기본 선형대수(linear algebra)를 확인
- 벡터(vector)
- 샘플을 특징 벡터(feature vector)로 표현
- 요소의 종류와 크기를 표현할 수 있다.
- 데이터 집합의 여러 개 특징 벡터를 첨자로 구분($x_{i}$)
- 행렬(matrix)
- 여러 개의 벡터를 담음
- 요소 $x_{ij}$: i번째 행 j번째 열의 값
- 훈련집합을 담은 행렬을 설계 행렬(design matrix)이라 부름
- 각 열값은 feature를 나타낸다.
- 벡터는 보통 소문자로 나타내고, 행렬은 대문자로 쓰거나 대문자의 볼드체로 표현한다.
- 행렬의 전치행렬(transpose matrix) $A^{T}$
- 전치 행렬의 특성
- 행렬을 이용하면 방정식(방정식계 system of equations)을 간결하게 표현 가능
- 행렬 연산
- 행렬 곱셈(matrix dot product) C = AB, 이때
- 특성
- 교환법칙이 성립하지 않는다.
- 분배 법칙과 결합법칙은 성립한다.
- 벡터의 내적(inner product)
- 행렬의 곱셈은 공간의 변형이다.
- 벡터의 내적은 방향이 얼마나 유사한지를 중점적으로 보는 관점이다.(벡터는 크기와 방향을 갖는다.)
- 여기서 말하는 변환은 대부분 선형적 변환을 의미한다.
- 텐서(tensor)
- 3차원 이상의 구조를 가진 숫자 배열(array)
- 0차 = 수(scalar)
- 1차 = 벡터
- 2차 = 행렬
- 놈과 유사도
- 유사도와 거리(similarity & distance)
- 벡터를 기하학적으로 해석
- 코사인 유사도
- 벡터와 행렬의 크기(거리)를 놈(norm)으로 측정
- 벡터의 p차 놈
퍼셉트론의 해석
- 1985년 고안한 분류기(classifier) 모델
- 퍼셉트론 동작을 수식으로 표현하면
- 활성함수(activation function)로는 계단 함수 (Heaviside) step function 사용
- 퍼셉트론의 물리적 의미
- 학습의 정의
- 추론(inference): 학습을 마친 알고리즘을 현장의 새로운 데이터에 적용하는 작업
- 훈련(training): 훈련은 훈련집합의 샘플에 대해 식을 가장 잘 만족하는 w를 찾아내는 작업
- 현대 기계 학습에서 심층학습은 퍼셉트론을 여러 층으로 확장하여 만듦
- 선형 결합과 벡터 공간
- 벡터: 공간상의 한 점으로 화살표 끝이 벡터의 좌표에 해당
- 선형 결합이 만드는 벡터 공간
- 기저 벡터 a와 b의 선형 결합(linear combination)
- 선형결합으로 만들어지는 공간을 벡터공간(vector space)라 부름
행렬분해
- 분해란?(decomposition)
- 행렬을 분해하게 되면 여러모로 유용하다.
- 고윳값(eigenvalue)과 고유벡터(eigen vector)
- 고유분해(eigen-decomposition)
- Q는 A의 고유 벡터를 열에 배치한 행렬이고 우변의 $\Lambda$는 고윳값을 대각선에 배치한 대각행렬
- 고유분해는 고유값과 해당 고유 벡터가 존재하는 정사각행렬에만 적용 가능
- 하지만 기계 학습에서는 정사각행렬이 아닌 경우의 분해도 필요하므로 고유분해는 한계점이 있다.
- n*m 행렬 A의 특잇값 분해(SVD, singular value decomposition)
- 왼쪽 특이행렬 U: AA^T의 고유벡터를 열에 배치한 n*n 행렬
- 오른쪽 특이행렬 V: A^TA의 고유벡터를 열에 배치한 m*m 행렬
- $\Sigma$: AA^T의 고윳값의 제곱근을 대각선에 배치한 n*m의 대각행렬
'프로그래머스 AI 데브코스 5기 > Math' 카테고리의 다른 글
기계학습과 수학 III (0) | 2023.04.17 |
---|---|
기계학습과 수학 II (2) | 2023.04.17 |
LU분해 (0) | 2023.03.24 |
[인공지능 데브코스 TIL]가우스 소거법 (0) | 2023.03.24 |
[인공지능 데브코스 TIL]선형시스템(linear system) (0) | 2023.03.24 |