본문 바로가기

공부/프로그래밍

딥러닝 Tensorflow | 최적화 이론

728x90

회귀 (관계 예측)

 

함수의 극소/극대값 찾기

  • 경사하강[상승]법
  • 모멘텀(momentum) 방법

미분

  • 편미분
  • 기울기벡터
  • 연쇄법칙

 

미분 적용하기

  • 경사하강법
  • 모멘텀 방법
  • AdaGrad(Adaptive Gradient Method)
  • RMSProp(Root Mean Square Propagation)
  • Adam(Adaptive Moment Estimation)
  •  
반응형