Machine Learning 기초

 

Machin Learning이란?

• 기계 학습
• 경험을 통해 자동으로 개선하는 컴퓨터 알고리즘 연구
• 학습데이터: 입력벡터들 $x_{1} ...., x_{n}$ 목표값들 $t_{1}, .... , t_{n}$
• 머신러닝 알고리즘의 결과는 목표값을 예측하는 함수 y(x)를 구하는 것

핵심개념들

• 학습단계(training or learning phase): 함수 y(x)를 학습데이터에 기반해 결정하는 단계
• 시험셋(test set): 모델을 평가하기 위해서 사용하는 새로운 데이터
• 일반화(generalization): 모델에서 학습에 사용된 데이터가 아닌 이전에 접하지 못한 새로운 데이터에 대해 올바른 예측을 수행하는 역량 => 학습 단계에서 train_set을 자꾸 보는 행위는 일반화된 모델의 성능을 떨어트린다. => 새로운 feature에 대한 대응을 하는 능력이 떨어질 것이기 때문?
• 지도학습(supervised learning): target이 주어진 경우
  • 분류(classification)
  • 회귀(regression)
• 비지도학습(unsupervised learning): target이 없는 경우
  • 군집(clustering)

다항식의 곡선 근사(Polynominal Curve Fitting)

• 학습 데이터

• 목표: 새로운 입력벡터 $\hat{x}$가 주어졌을 떄 목표값 $\hat{t}$를 예측하는 것
• 확률이론(probability theory): 예측값의 불확실성을 정량화시켜 표현할 수 있는 수학적인 프레임워크를 제공한다.
• 결정이론(decision theory): 확률적 표현을 바탕으로 최적의 예측을 수행할 수 있는 방법론을 제공한다.

 

오차 함수(Error Function)

과소적합(Under-fitting)과 과대적합(Over-fitting)

• traing-error와 test-error에 대해 분석해보기
  
  • 에러 차가 작은 3구간으로 M을 정할지, 아님 6-8구간에서 정할지

 

• 데이터가 많아지면 많이질수록 복잡한 모델을 사용할 수 있다.

 

규제화(Regularization)

• M값이 커질수록 계수값이 커진다. => 데이터 노이즈를 맞추기 위해서