[비디오이미지프로세싱] 08~10. Support Vector Machine

Lecture 8

• Traditional Classification Methods
• K-Nearest Neighbors (KNN) continued
• Validation sets: hyperparameter tuning

Lecture 9

• Traditional Classification Methods
• Support Vector Machine (SVM)

Lecture 10

• Tutorials of 
  k-nearest neighbors (kNN)
• Image Classification
• Cross Validation

 

 

---

Support Vector Machine (SVM) 서포트 벡터 머신

나의첫 4.3장 p.57~74
https://skyil.tistory.com/m/150

ex) 서울 어딘가에 데려다 놓고, '이곳이 강남일까요, 강북일까요?'라고 물어보면 어떻게 현재의 위치를 알 수 있을까?
kNN처럼 주변 사람들에게 물어봤는데 주변 이웃 5명중 3명이 거짓말(noise)를 한다면 예측은 틀리게 됨.
내게 예측을 요구한 사람에게 이렇게 질문해보자. '지금 현재 이곳이 한강의 북쪽인가요, 남쪽인가요?'
-> 한강은 도시가 강북인지, 강남인지를 구분하는 결정 경계선(decision boundary)

결정 경계

서로 다른 분류값을 결정하는 경계 (ex. 경계 위는 강북, 아래는 강남)

서포트 벡터

결정 경계선과 가장 가까이 맞닿은 데이터 포인트(벡터)를 의미함.

support vector만 care about하고 나머지 샘플은 ignore

 

마진

서포트 벡터와 결정 경계 사이의 거리

SVM의 목표는 마진을 최대로 하는 결정 경계를 찾는 것임.
마진이 클수록 우리가 현재 알지 못하는 새로운 데이터에 대해 안정적으로 분류할 가능성이 높기 때문.
즉, 결정 경계선이 데이터 포인트에 가까이 위치할수록 조금의 속성 차이에도
분류값이 달라질 수 있기 때문에 예측의 정확도가 불안정해짐.

Goal: find w and b!!

 

 

---

 

SVM Summary

Support Vector Machine (SVM) is a classification algorithm that belongs to "supervised learning,"
in which all the labels exist.

The SVM algorithm finds the linear function (classifier) that provides
the maximum margin between support vectors

Samples on the margin are called the support vectors.

• Efficient: Use support vectors only (ignore other samples)
                 Reduced computation – good for high dimensional data

• Powerful: good classification performance when combined with
                  sophisticated hand-crafted features (pre-processing) and
                  kernel methods (nonlinear classification)

Used in almost all the state-of-the-art (SOTA) classification tasks
before Deep Learning becomes popular (until ~2011).
2011년까지는 SVM많이 사용했었음. 지금은 별로 안씀. real application에 적용 복잡.