딥러닝에서 Loss Function의 최솟값을 찾는 과정을 Optimization 이라고 합니다. GD, SGD, mini-Batch GD 가 뭐에요?$$ W_{t+1} = W_{t} - \eta g_t $$ 더보기함수의 기울기를 계산하여, 기울기의 반대방향으로 조금씩 이동하면서 최솟값을 찾아나가는 최적화 기법 입니다.전체 학습 데이터를 대상으로 경사 (Gradient)를 계산하면 GD,하나의 데이터를 골라, 경사를 계산하는 방법을 SGD,GD와 SGD의 절충안으로, minibatch로 학습 데이터로 나누어 진행하는 방법을 mini-Batch GD 라고 합니다.일반적으로 SGD 최적화를 수행했다고 하면, mini-Batch를 말한다고 보면 될 것 같습니다.p.s.SGD를 수행하다보면, Iterate에..
