본문 바로가기
Python/Machine Learning
[머신러닝] 경사하강법이란? with Python For Loop
Python/Machine Learning 2023. 2. 7. [머신러닝] 경사하강법이란? with Python For Loop 1. 경사하강법이란? 경사하강법(Gradient Descent)란 손실함수(Loss Function) 값을 최소화하는 파라미터(Weights, Bias)를 구하는 기초적인 최적화 알고리즘이다. 보편적으로 실제값과 임의의 가중치(Weights)와 편차(Bias)를 사용한 예측값의 차이를 Mean Squared Error(MSE)를 손실함수로 두고 가중치와 편차에 대해 편미분을 한 뒤, 학습률(Learning Rate)를 곱한 뒤 기존의 파라미터에서 뺀다. 옵티마이저(Optimizer)란 최소의 Cost 결과를 나타내주는 최적화를 의미한다. 최초의 Gradient Descent를 시작으로 현재는 지역 최소(Local Minimum)이 아닌 전역 최소(Global Minimum)을 찾기 위한 Momentum,..

티스토리툴바