Machin Learning이란? 기계 학습 경험을 통해 자동으로 개선하는 컴퓨터 알고리즘 연구 학습데이터: 입력벡터들 $x_{1} ...., x_{n}$ 목표값들 $t_{1}, .... , t_{n}$ 머신러닝 알고리즘의 결과는 목표값을 예측하는 함수 y(x)를 구하는 것 핵심개념들 학습단계(training or learning phase): 함수 y(x)를 학습데이터에 기반해 결정하는 단계 시험셋(test set): 모델을 평가하기 위해서 사용하는 새로운 데이터 일반화(generalization): 모델에서 학습에 사용된 데이터가 아닌 이전에 접하지 못한 새로운 데이터에 대해 올바른 예측을 수행하는 역량 => 학습 단계에서 train_set을 자꾸 보는 행위는 일반화된 모델의 성능을 떨어트린다. =>..
이차형식(Quadratic Forms) 안에 (1/2A + 1/2A^T) 행렬은 sysmetric matrix다. gram matrix 고윳값(Eigenvalues)와 고유벡터(Eigenvectors) 고윳값 고유벡터의 성질들 고윳값, 고유벡터와 대칭행렬 행렬 미분(Matrix Calculas) 적용 예제들 최소제곱법(Least Squares) 고윳값과 최적화문제(Eigenvalues as Optimization) AutoEncoder와 Principal Components Analysis(PCA)
선형독립과 Rank(Linear Independent and Rank) 역행렬(The Inverse) 직교 행렬(Orthogonal Matrices) 치역(Range), 영공간(Nullspace) -???? 행렬식(Determinant)
왜 선형대수를 알아야 하는가? Deep learning을 이해하기 위해서 반드시 선형대수 + 행렬미분 + 확률의 탄탄한 기초가 필요하다. 이렇게 핵심 아이디어가 행렬에 관한 식으로 표현되는 경우가 많다. 목표: 선형대수와 행렬미분의 기초를 배우고 간단한 머신러닝 알고리즘(PCA)을 유도해보자 기본 표기법 m개의 행과 n개의 열을 가진 행렬을 의미한다. $x \in \mathbb{R}^{n}$ 는 n개의 원소를 가진 벡터를 의미한다. n차원 벡터는 n개의 행과 1개의 열을 가진 행렬로 생각할수도 있다. 이것을 열벡터(column vector)로 부르기도 한다. 만약 명시적으로 행벡터(row vector)를 표현하고자 한다면, $x^{T}$ (T는 transpose)로 쓴다. numpy로 dimension ..
Estimator, Transformer, Predictor 추정기(estimator): 데이터셋을 기반으로 모델 파라미터들을 추정하는 객체를 추정기라고 한다.(예를 들자면 imputer), 추정 자체는 fit() method에 의해서 수행되고 하나의 데이터셋을 매개변수로 전달받는다.(지도 학습의 경우 label을 담고 있는 데이터셋을 추가적인 매개변수로 전달). 변환기(transformer): (imputer 같이)데이터셋을 변환하는 추정기를 변환기라고 한다. 변환은 transform() method가 수행한다. 그리고 변환된 데이터셋을 반환한다. 예측기(predictor): 일부 추정기는 주어진 새로운 데이터셋에 대해 예측값을 생성할 수 있다. 앞에서 사용했던 LinearRegression도 예측기이..
부동산 회사에 막 고용된 데이터 과학자라고 가정. 주요 단계는 다음과 같다. 1. 큰 그림을 본다. 2. 데이터를 구한다. 3. 데이터로부터 통찰을 얻기 위해 탐색하고 시각화한다. 4. 머신러닝 알고리즘을 위해 데이터를 준비한다. 5. 모델을 선택하고 훈련시킨다. 6. 모델을 상세하게 조정한다. 7. 솔루션을 제시한다. 8. 시스템을 론칭하고 모니터링하고 유지 보수한다. 켈리포니아 주택 가격 데이터셋 사용. 1. 큰 그림 보기 풀어야 할 문제: 캘리포니아 인구조사 데이터를 사용해 캘리포니아 주택 가격 모델을 만드는 것 모델이 전체 시스템에서 어떻게 사용되는지 이해하는게 중요하다. 문제 정의 지도학습, 비지도학습, 강화학습 중에 어떤 경우에 해당하는가? 분류문제인가 회귀문제인가? 배치학습, 온라인학습 중 ..
간단한 기계 학습의 예 카드 승인 지도 학습의 예제 주요한 x(feature)를 뽑는다 -> feature selection 2차원 특징공간에 발현된 age와 salary 데이터를 결정하는 결정 경계를 찾는 문제 데이터 목적함수 가설의 최적화 위의 세단계를 통해 지도학습을 수행한다. 과소적합과 과잉적합 과소적합(underfitting) 모델의 용량이 작아 오차가 클수밖에 없는 현상 대안: 비선형 모델을 사용 과잉적합(overfitting) 12차 다항식 곡선을 채택한다면 훈련집합에 대해 거의 완벽하게 근사화함 하지만 '새로운' 데이터를 예측한다면 큰 문제 발생 이유는 '모델의 용량(capacity)이 크기' 때문에 학습 과정에서 잡음까지 수용 -> 과잉적합 현상 훈련에 과몰입해서 단순 암기했기 때문 적절..
데이터에 대한 이해 과학 기술의 정립 과정 데이터 수집 -> 모델 정립(가설 hypothesis) -> 예측 -> 피드백 위 전체의 순환 과정 기계 학습 기계 학습은 복잡한 문제/과업을 다룸 지능적 범주의 행위들을 규칙의 다양한 변화 양상을 가짐 단순한 수학 공식으로 표현 불가능함 데이터를 설명할 수 있는 학습 모델을 찾아가는 과정 데이터를 만드는 규칙을 모델을 통해 역추적하는 과정 이것이 데이터 사이언스 latent하다? 실제 현실에서는 데이터 생성 과정을 알 수 없다 단지 주어진 훈련집합 X, Y로 가설모델을 통해 근사 추정만 가능하다. 데이터의 양과 질 주어진 과업에 적합한 다양한 데이터를 충분한 양만큼 수집하면 과업의 성능을 향상 시킬수 있다. 예를 들어 정면 얼굴만 가진 데이터로 인식 학습을 하..
사람과 동물은 학습을 한다. 그렇다면 기계도 학습이 가능한가? 경험을 통해 점진적으로 성능이 향상되는 기계를 만들 수 있을까? 인공지능(artificial inteligence)란? 인간의 학습, 추론, 지각, 자연언어 이해 등의 지능적 능력을 기기로 실현하는 기술 학습이란? 경험의 결과로 나타나는 비교적 지속적인 행동의 변화나 그 잠재력의 변화 또는 지식을 습득하는 과정 기계학습이란?(machine learning) 초창기 정의 Programming computers to learn from experience should eventually eliminate the need for much of this detailed programming effort. 컴퓨터가 경험을 통해 학습할 수 있도록 프로그..
인공지능이란? 사전적 의미 인간의 학습능력과 추론능력, 지각능력, 자연언어의 이해능력 등을 컴퓨터 프로그램으로 실현한 기술 무엇을 하고 싶은가? 인간처럼 생각하고 행동하는 기기의 탄생 학습 능력에 중점을 둬서 다뤄보자 인간의 학습? -> 인간은 경험을 통해서 새로운 규칙이나 방법을 찾는다(여러 학습 방법중 하나라고 생각) 인공지능하면 생각나는 것들? 알파고(2016년) GPU, TPU가 정확하게 뭘까? 일상 속 인공지능 음성인식(Siri) 추천시스템(eBay, Netflix) 자율주행(Waymo) 실시간 객체 인식(Face ID) 로봇(HUBO) 번역(papago) 인공지능을 하려면, Python과 Open Source로 많이 소통하자!! 파이썬은 중급레벨 정도까지 하자(적어도!!) 위처럼 뼈대 역할을 ..
