[Deep Learning-딥러닝] Optimize Funtion - 경사 하강 학습법(Gradient Descent)

최적화 이론 (Optimization Theory)

최적화 이론은 목적 함수 f(x)의 출력 값을 최소 or 최대로 하는 입력 값을 찾아내는 연구입니다. 딥러닝 네트워크의 학습은 손실 함수가 최소가 되는 파라미터를 구하는 최적화 문제로 볼 수 있습니다.

분석적 방법 (Analytical method)

함수의 모든 구간을 수식으로 알 때 사용하는 방법입니다.

1차 미분이 0이면 기울기가 0인것을 나타냄

2차 미분이 0보다 크면 아래로 볼록을 나타냄

수치적 방법 (Numerical method)

함수의 형태와 수식을 알지 못할 때 사용하는 방법입니다. - Gradient Descent

손실 함수(Loss Function)

학습 매개변수(Trainable Parameters): 학습 과정에서 값이 변화하는 매개 변수, 이 값이 변화하면 알고리즘 출력이 변화됩니다.

손실 함수(Loss Function): 알고리즘이 얼마나 잘못 하고 있는지를 표현하는 지표로, 정답과 알고리즘 출력을 비교하여 정합니다. 손실 함수값이 낮을수록 잘 학습된 모델입니다.

경사 하강법

손실 함수 f(x)를 최소로 하는 입력 값(매개변수)을 찾아내는 연구 입니다. 편 미분을 이용해 손실 함수 그래프의 기울기를 구하여 최적점으로 다가 갑니다. f(x)의 미분 결과가 0일 때 가지 반복합니다.

경사 하강법 수식

기울기는 스칼라를 각 요소의 벡터로 미분합니다.

학습률이 영향

작을 경우 최적점까지 오는 시간이 오래 걸림. 즉 학습 시간이 오래 걸림
클 경우 진동이 발생하여 최적점을 지나칠 수 있음

Stochastic Gradient Descent(SGD) – Stochastic(무작위) 경사하강법

Stochastic 경사하강법은 데이터를 학습할 때마다 오차를 계산해서 가중치를 조정하는 방법입니다. 예를 들어 100개의 데이터를 학습한다면, SGD는 가중치를 100번 갱신합니다.

Batch

Batch는 모든 학습 데이터를 학습하고 오차의 평균을 구해서 가중치를 갱신하는 방법입니다. 갱신은 모든 데이터를 학습하고 한번 수행합니다. Batch 방법은 다른 방법에 비해 학습 시간이 오래 걸리는 단점이 있습니다.

Mini Batch

SGD는 가중치가 너무 무작위로 변하고 Batch는 학습 속도가 느리다는 단점이 있습니다.

Mini Batch는 전체 학습 데이터 중 일부를 학습하고 가중치를 갱신합니다. Mini Batch 방법은 Batch 방법보다 빠르게 학습하고 SGD보다 안정적으로 학습되어 딥러닝에서 많이 사용됩니다.

여러 차원에서 경사 하강법

매개 변수가 4개일 때 가중치를 조정하는 방법입니다.

Global vs Local Minimum

Global minimum은 정의역(domain)에서 하나만 존재합니다. Local minimum은 여러개 일 수 있습니다.

지역 최솟값(Local Minimum) 안장점(Saddle Point)

초기값에 따라 Local minimum에 빠질 수 있음.
Saddle point는 기울기는 0이지만 극값이 아닌 지점입니다.

관성 (Momentum)

Gradient Descent 수식에 이전 이동 벡터를 추가합니다. 관성을 이용하여 Local minimum에서 빠져 나올 수 있습니다. 이동 벡터를 저장하기 위한 추가 메모리가 필요합니다.

Source

SGC, Batch 방식 경사하강법 소스는 아래 git에서 확인 가능합니다.
https://github.com/ynebula/First-Contact-with-Books/blob/master/Deep_Learning/Gradinetdescent.ipynb

감사합니다.

Reference

Fast Campus
딥러닝 첫걸음

Sungwoony

이 블로그 검색