Hands-On Machine Learning 공부 1장. 한 눈에 보는 머신러닝 (3)

3.2. 배치 학습(Batch Learning)과 온라인 학습(Online Learning)

1. 배치 학습
   • 가능한 모든 데이터들로 학습한다.
     • 고성능 컴퓨터 자원과 많은 시간이 필요하다.
   • 시스템을 새로운 모델로 대체시킨다.
2. 온라인 학습
   • 시스템에게 데이터를 순서대로 주면서 점차 학습시켜 나가는 것
     • 개별적으로 또는 작은 그룹으로 나눠서(ex. mini-batches)
   • 사용하는 상황
     • 시스템이 계속적으로 데이터를 받는 경우
     • 변화에 재빠르게, 또는 자동으로 적응해야 하는 경우
     • 컴퓨터 자원이 제한적일 경우
   • Learning Rate
     • 얼마나 빠르게 변화 데이터를 받아들일 것인가(High: 빠르게, Low: 느리게)
     • 온라인 학습의 가장 중요한 parameter 중 하나이다.

3.3 사례기반 학습(Instance-Based Learning) v.s. 모델 기반 학습(Model--Based Learning)

• 머신러닝 시스템을 구분하는 방법중 하나는 어떻게 _일반화(generalize)_하는가 이다.
• 대부분의 머신러닝 작업들은 예측(prediction)을 만드는 것이다.
• 많은 트레이닝 예제가 주어지면 시스템은 이전에는 볼 수 없었던 예제로 일반화 할 수 있어야한다는 것을 의미한다.
• 트레이닝 데이터에서 좋은 퍼포먼스를 내는 것도 좋다. 하지만 진짜 목표는 새 데이터에서 좋은 퍼포먼스를 내는 것이다.

1. Instance-Based Learning
   • 모든 새로운 데이터와 이미 있던 데이터들과 비교한 후 유사성 측정(similarity measure)이라는 것을 사용하여 새로운 케이스를 일반화 한다.
2. Model-Based Learning
   • 트레이닝 데이터의 모델을 만들고 모델을 예측(prediction)하는데 사용한다.
   • 전형적인 프로세스
     • 트레이닝 데이터를 공부한다.
     • 모델을 선택한다.
     • 트레이닝 데이터를 모델에 학습시킨다.
       • 모델의 parameter 값들을 최소화시키는 학습 알고리즘을 찾는다
     • 모델을 새로운 케이스(데이터)들의 예측을 만드는데 적용한다.

3.4. 머신러닝 도전 과제들

• 트레이닝 데이터의 불필요한 퀄리티(Insufficient Quality of Training Data)
  • 대표적인 값을 갖지 못하는 트레이닝 데이터
• 저품질 데이터(Poor-Quality Data)
  • 에러, outlier, 노이즈를 삭제한다.
• 관련 없는 피쳐(Irrelevant Features)
  • 피처공학(Feature Engineering)을 사용하여 좋은 피처들을 준비한다.
    • Feature Selection
    • Feature Extraction
    • Combining exiting features to produce a more useful feature
  • 새로운 데이터들을 모아 새로운 피처를 만든다.
• 트레이닝 데이터를 오버피팅(Overfitting the Training Data)
  • 모델이 트레이닝 데이터에서만 잘 동작하고 일반화(generalize)되지 않는다.
    • 복잡한 모델은 트레이닝 데이터에 오버피팅 되는 경향이 있다.
  • 해결책
    • 모델을 단순화한다.
      • 적은 파라메터르 선택
      • 트레이닝 데이터의 어트리뷰트 개수를 줄임
      • 모델을 제한함(ex. 정규화)
    • 더 많은 트레이닝 데이터를 모은다.
    • 트레이닝 데이터에서 노이즈를 제거한다.

Reference: Aurelien Geron. (2017) Hnands-On Machine Learning with Scikit-Learn & Tensorflow 1판, O'RIELLY