오차함수 vs 최적화함수 vs 활성화 함수.

1. 오차함수(error function) =손실함수(loss function)=비용함수(cost function)

➢ 학습을 통해 나온 예측값과, 실제값(ground truth)값의 차.

➢예시) MAE,MSE, Cross Entropy 등등..

 

참고할 만한 블로그(오차 함수 정리 해둠.):https://heekangpark.github.io/SKKU_swe3050/04-error-functions

2.최적화 함수  

➢ loss(오차) 값을 줄여나가는 방법으로  가중치(weight)를 업데이트 해가며 학습함.

➢예시) Adam, RMSProp 등등..

(=오차 역전파, 역전파)

참고할 만한 블로그(최적화 함수 정리 해둠.): https://east-rain.github.io/docs/Deep%20Learning/basic%20deeplearning/optimization.html

3.활성화 함수. 

➢ 기울기 소실문제를 해결하기 위한 함수들.

(layer를 쌓을 때마다 도함수 값을 곱하다 보니 점점 0 에 가까워 져서 경사 하강법(최적의 값으로 향해 가는방법) 을 이용할수 없게 됨.)

➢예시) tanh, relu, sigmoid등등.

 

(=순전파)

참고할 만한 블로그(활성화  함수 정리 해둠.) : https://happy-obok.tistory.com/55

 

사용 예시.

사용 예시