정리

 

 

 

1. (Traditional) ML 과 DL의 차이점

 

딥러닝에서는 backpropagation으로 Cost를 최소화한다. (층을 겹쳐서 쌓으니 scale이 커짐)

DL 에서는 Feature 추출도 기계가 함. (인간의 개입을 최소화)

위의 이유 때문에 DL의 모델이 ML보다 복잡해지고 결정할 parameter수도 많아짐. 학습 데이터가 많이 필요함.

 

2. backpropagation, chain rule

 

여러 층으로 구성된 Neural Network. 즉 Deep Neural Network 에서 가중치를 갱신할 때 사용.

forward(Loss 값 계산) -> backward(편미분 chain rule) -> gradient descent(가중치 업데이트)

MLP에서 XOR을 처리하기 위해 backpropagation 사용.

 

3. MLP에서의 학습 Parameter

 

parameter. 매개변수. 모델이 새로운 예측을 수행할 때 요구하는 값.

MLP는 feed-forward-deep neural network라고도 함. DNN의 일종이고, DNN은 loop가 가능 MLP는 forward만 가능.

노드 = 요소. Layer의 파라미터 수는 (input차원 * 노드수) + 노드수

 

4. 활성함수 

 

한 노드에 대해 입력값을 다음 노드에 보낼지 말지에 대해 결정하는 함수.

층을 deep 하게 다루기 위해 nonlinear한 특성을 지님.해당 함수들은 증가함수여야함 / 미분값이 깔끔하게 나와야함

sigmoid : 치역 (0,1) Vanishing Gradient 문제때문에 잘 쓰이지 않음

tanh : 쌍곡선함수임. (하이퍼블릭) 치역 (-1,1) Vanishing Gradient 발생함

ReLU : 구간별로 정의된함수. x>0 이면 y=x x<=0 이면 y=0 대표적으로 쓰임 빠르고 간편

 

5. Normalizing

 

입력값의 scale을 맞춰주는 과정. Training set에 적용됨.(x - mean) / 분산(variance) 학습을 빠르게 함. 

 

6. Batch

 

한 번에 다루는 크기를 batch라고 함.

batch 단위로 오류를 계산하고 매개변수를 업데이트함

epoch는 batch계산을 몇 번 하는지 정하는거.

속도 빨라지고 Regularization 효과를 얻을 수 있음.

 

7. Hyperparameter

 

사람이 수동으로 셜정하는 parameter.

training : validation : test = 6 : 2 : 2 

데이터 별로없으면 cross validation. 데이터 쪼개서 n번 돌려먹기

cv로 hyperparameter를 결정함.

 

8. Training은 잘나오는데 Testing이 안될때

 

bias : underfit / variance : overfit

error 둘다 높으면 bias

cv error만 높으면 variance

hyperparameter를 결정해서 해결함.

람다 크면 underfit

람다 작으면 overfit

bias 문제는 데이터 박아도 도움안됨

variance 문제는 데이터 박으면 도움됨

 

curve로 생각해보자.

 

x축이 degree of polynomial d / lambda / training set size  (learning curve)

일때의 그래프 개형 파악하기

 

딥러닝에서는 Early Stopping / Dropout 사용

Dropout은 한놈 독주를 막는 개념 overfitting을 방지하기도 함.