Hypothesis, Cost, Loss Function

가설 함수 : H(x) = W * X + b 

-> H(x) = Y Predict

손실함수 :  W * X + b - Y

-> 손실 = Y Predict - Y

손실의 총합은 3개씩 짤라서 

ex1) W=0.5 ,b =0.5 -> -2+(-3.5)+(-5)=-10.5

ex2) W=1,b=1 -> -1+-2+-3 = -6

ex3) W=2,b=1 -> 0+0+0 =0   

-> 최고의 알고리즘을 구하기 위해서는 손실의 총합이 0에 가깝게 만드는 W 와 B를 구할 수 있었음

손실함수 (W=2,b=1) 
= W * X + b – Y
= (2X + 1 – Y)2

But ,  손실의 총합이 0이 되게끔 만드는 것이 최적의 해이지만 -1+0+1 = 0 과 같은 오류가 나올 때가 있음

그래서 나온 해법이 아래와 같이 손실 함수에 제곱을 취해서 더해준다

데이터의 개수가 많아지면 손실이 커지므로 전체 손실의 평균을 구합니다
= Σ(W * X + b – Y) 2 / N(데이터 개수)= Mean Squared Error (평균제곱오차)

평균제곱오차

 

* 머신러닝이 해야 될일 -> 손실을  0에 가깝게 만드는 것 = 최적의 W,B를 찾는 것

Gradient Decsent

* 랜덤 초기점을 주고 손실이 최소가 되는 지점(동그라미가 최적의점으로)을 찾게 되는 알고리즘을 만드는 것