이차형식(Quadratic Forms) 안에 (1/2A + 1/2A^T) 행렬은 sysmetric matrix다. gram matrix 고윳값(Eigenvalues)와 고유벡터(Eigenvectors) 고윳값 고유벡터의 성질들 고윳값, 고유벡터와 대칭행렬 행렬 미분(Matrix Calculas) 적용 예제들 최소제곱법(Least Squares) 고윳값과 최적화문제(Eigenvalues as Optimization) AutoEncoder와 Principal Components Analysis(PCA)
선형독립과 Rank(Linear Independent and Rank) 역행렬(The Inverse) 직교 행렬(Orthogonal Matrices) 치역(Range), 영공간(Nullspace) -???? 행렬식(Determinant)
왜 선형대수를 알아야 하는가? Deep learning을 이해하기 위해서 반드시 선형대수 + 행렬미분 + 확률의 탄탄한 기초가 필요하다. 이렇게 핵심 아이디어가 행렬에 관한 식으로 표현되는 경우가 많다. 목표: 선형대수와 행렬미분의 기초를 배우고 간단한 머신러닝 알고리즘(PCA)을 유도해보자 기본 표기법 m개의 행과 n개의 열을 가진 행렬을 의미한다. $x \in \mathbb{R}^{n}$ 는 n개의 원소를 가진 벡터를 의미한다. n차원 벡터는 n개의 행과 1개의 열을 가진 행렬로 생각할수도 있다. 이것을 열벡터(column vector)로 부르기도 한다. 만약 명시적으로 행벡터(row vector)를 표현하고자 한다면, $x^{T}$ (T는 transpose)로 쓴다. numpy로 dimension ..
부동산 회사에 막 고용된 데이터 과학자라고 가정. 주요 단계는 다음과 같다. 1. 큰 그림을 본다. 2. 데이터를 구한다. 3. 데이터로부터 통찰을 얻기 위해 탐색하고 시각화한다. 4. 머신러닝 알고리즘을 위해 데이터를 준비한다. 5. 모델을 선택하고 훈련시킨다. 6. 모델을 상세하게 조정한다. 7. 솔루션을 제시한다. 8. 시스템을 론칭하고 모니터링하고 유지 보수한다. 켈리포니아 주택 가격 데이터셋 사용. 1. 큰 그림 보기 풀어야 할 문제: 캘리포니아 인구조사 데이터를 사용해 캘리포니아 주택 가격 모델을 만드는 것 모델이 전체 시스템에서 어떻게 사용되는지 이해하는게 중요하다. 문제 정의 지도학습, 비지도학습, 강화학습 중에 어떤 경우에 해당하는가? 분류문제인가 회귀문제인가? 배치학습, 온라인학습 중 ..
기계 학습이 처리할 데이터는 불확실한 세상에서 발생하므로, 불확실성(uncertainty)를 다루는 확률과 통계를 잘 활용해야 함. 확률 기초 확률변수(random variable): 임의적으로 변할수 있는 확률적 요소 확률분포(probability distribution) 확률 질량 함수(probability mass function), 이산(discrete) 확률 변수 확률 밀도 함수(probability dense function), 연속(continuous) 확률 변수 확률 벡터(random vector) 확률변수를 요소로 가짐 곱(AND)의 규칙(product rule)과 합(OR)의 규칙(sum rule) 조건부 확률(conditionaly productbility)에 의한 결합확률 계산 곱 ..
기계 학습에서 수학의 역할 수학은 목적함수를 정의하고, 목점함수의 최저점을 찾아주는 최적화 이론을 제공 최적화(optimization)이론에 학습률(learning rate), 멈춤조건과 같은 제어를 추가하여 알고리즘 구축 사람은 알고리즘을 설계하고 데이터를 수집 기계 학습을 이해하기 위한 관련된 기본 선형대수(linear algebra)를 확인 벡터(vector) 샘플을 특징 벡터(feature vector)로 표현 요소의 종류와 크기를 표현할 수 있다. 데이터 집합의 여러 개 특징 벡터를 첨자로 구분($x_{i}$) 행렬(matrix) 여러 개의 벡터를 담음 요소 $x_{ij}$: i번째 행 j번째 열의 값 훈련집합을 담은 행렬을 설계 행렬(design matrix)이라 부름 각 열값은 feature..
데이터에 대한 이해 과학 기술의 정립 과정 데이터 수집 -> 모델 정립(가설 hypothesis) -> 예측 -> 피드백 위 전체의 순환 과정 기계 학습 기계 학습은 복잡한 문제/과업을 다룸 지능적 범주의 행위들을 규칙의 다양한 변화 양상을 가짐 단순한 수학 공식으로 표현 불가능함 데이터를 설명할 수 있는 학습 모델을 찾아가는 과정 데이터를 만드는 규칙을 모델을 통해 역추적하는 과정 이것이 데이터 사이언스 latent하다? 실제 현실에서는 데이터 생성 과정을 알 수 없다 단지 주어진 훈련집합 X, Y로 가설모델을 통해 근사 추정만 가능하다. 데이터의 양과 질 주어진 과업에 적합한 다양한 데이터를 충분한 양만큼 수집하면 과업의 성능을 향상 시킬수 있다. 예를 들어 정면 얼굴만 가진 데이터로 인식 학습을 하..
