[비디오이미지프로세싱] 03~04. Linear Regression, Gradient Descent

Lecture 3

• Linear Regression 선형 회귀
• Gradient Descent 경사 하강

Lecture 4

• Tutorials of
  Python and necessary libraries

 

 

---

 

지도학습과 비지도학습

- 학습
 : 데이터를 특별한 알고리즘에 적용해 머신러닝 모델을 정의된 문제에 최적화하는 과정


- 지도학습 (Supervised Learning)
 : 정답을 알려주면서 진행되는 학습.
   학습시 데이터와 함께 레이블(=정답, 실제값, 타깃, 클래스, y값)이 항상 제공됨.
   주로 주어진 데이터와 레이블을 이용해 새로운 데이터의 레이블을 예측해야 할 때 사용됨.
   예측값은 분류값, y hat 등으로도 표현함.

   장점 : 손쉽게 모델의 성능을 평가할 수 있음.
   단점 : 데이터마다 레이블을 달기 위해 많은 시간을 투자해야 함.
   대표적인 예 : 회귀(연속된 값으로 예측) - Linear Regression
                         분류(분리된 값으로 예측) - kNN, SVM

- 비지도학습 (Unsupervised Learning)
 : 레이블(정답)이 없이 진행되는 학습.
   학습시 레이블 없이 데이터만 필요함.
   주로 데이터 자체에서 패턴을 찾아내야 할 때 사용됨.

   장점 : 따로 레이블을 제공할 필요가 없음.
   단점 : 모델 성능을 평가하는 데에 다소 어려움이 있음.
   대표적인 예 : 군집화 - k-means
                         차원축소 - PCA

 

cf) Weakly/Semi-supervised Learning, Reinforcement Learning(강화 학습)

 

 

---

Linear Regression 선형 회귀

1차과제
나의첫 3.2장 p.15~16.
나의첫 4.8장 p.150~161.
모두딥 3장 p.54~73.
https://dad-rock.tistory.com/m/962
https://skyil.tistory.com/m/137

 

선형회귀 분석이란?

가장 훌륭한 예측선 긋기! 

Linear regression is a problem of finding the slope(𝑤) and bias(𝑏) values that best describe the input data

관찰된 데이터들을 기반으로 하나의 함수를 구해서 
관찰되지 않은 데이터의 값을 예측하는 것.

선형회귀는 회귀 계수들이 선형 결합된 함수를 뜻하며,
이 함수를 통해 알려지지 않은 데이터의 값을 예측하는 것을 선형회귀 분석이라고 함.
또한, x값이 변함에 따라 y값도 변한다는 정의 안에서 x를 독립 변수, y를 종속 변수라고 하는데
독립 변수 x를 사용해 종속 변수 y의 움직임을 예측하고 설명하는 작업을 선형 회귀라고 함.

어느 회귀 함수가 더 적합한지 알아내기위해 평균 제곱 오차 함수를 활용함.
데이터포인트(실제값)과 회귀 직선(예측값)까지의 거리를 회귀 함수의 에러로 표시하며,
이 에러값을 제곱한 값을 평균낸 값을 평균 제곱 오차라고 함.

Loss function 최소화하는 W와 b를 찾자!

 

선형회귀 모델이란?

회귀 계수를 선형적으로 결합할 수 있는 모델

ex) 데이터가 (1,1), (3,3), (5,5)로 주어졌다면 y = ax + b에서 회귀 계수 a=1, b=1임.
      x=4라면 y=4일 것이라고 예측 가능.

 

선형회귀의 목적함수

목적함수란 보통 어떤 함수의 최댓값 또는 최솟값을 구하는 함수임.
회귀의 목적 함수는 평균 제곱 오차를 최소화하는 것임.

 

 

---

 

Gradient Descent 경사 하강

나의첫 4.8장 p.156~158.
밑시딥 4.4장 p.129~132
모두딥 4장 p.74~87.

 

회귀 모델을 구현할 때 최초 회귀 계수를 임의값으로 설정한 후,
경사하강법을 반복적으로 실행해 최소의 평균 제곱 오차를 가지는 회귀 계수(θ)를 구함.

- (미분값 *α)만큼 θ값을 변경해서 변곡점에 더 가까운 값으로 이동함.
즉, 미분 기울기를 이용해서 오차를 비교하여 가장 작은 방향으로 이동.

α는 학습률(learning rate)을 의미, α값(갱신하는 양)이 클수록 θ값(이동 거리)이 크게 변경됨.

 

 

---

Summary

Supervised learning includes regression and classification.
The former predicts consecutive values and the latter predicts the input into one of a category.

Linear regression is the problem of finding the slope and bias values of a straight line
that best describes the data.
A loss function is the squared difference between the actual data and a straight line.

Specifically, Linear regression is the calculation of the slope (𝒘) and bias (𝒃) value
of a straight line where the loss function becomes the minimum.

To determine the direction in which the loss function decreases,
a method such as the gradient descent is commonly used.

---

Python and necessary libraries

밑시딥 1.5장 p.36~44
나의첫 7장 p.319~321