Deep Learning (2)

 

 

 

Neuron 은 신경계를 구성하는 세포이다.

지난 시간에 Deep Neural Network를 배웠는데, 여기서 Neural 단어는 딥러닝이 인간의 두뇌와 유사한 과정으로 동작하기 때문이다.

 

 

사진이 뇌 속의 뉴런인데, 뉴런 그 자체는 간단하다.

전기적 자극을 받아들이고 활성화할지, 비활성화할지 결정하는 간단한 동작을 수행한다.

하지만 뉴런들이 붙고, 그루핑하고, Network를 형성하게 되면 훨씬 복잡한 생각을 할 수 있게 된다.

 

 

뉴런의 기본적인 동작 방식이다. 한 뉴런의 출력을 다른 뉴런이 입력으로 받아들이고, 위의 과정을 반복한다.

 

뉴런들의 동작 방식을 연구한 결과 인공신경망(Perceptron)이 발명됐다.

 

 

입력값들을 받아들이고, (x0 ~ xn) 각각의 입력에 weight를 붙여준다 (w0~wn) (파라미터로 작용함. H = Wx+b 느낌)

그 다음 임계치와 비교하고 특정 함수를 통과한 다음, 활성화시킬지 말지를 결정한다.

간단한 인공신경망의 예시로 Sigmoid function이 있다. 

 

입력값 ~ 순입력함수 까지의 과정은 Linear Algebra 이고 선형대수만으로는 복잡한 계산이 불가능하지만

활성함수부분은 비선형적 개념이 도입되고 복잡한 연산이 가능하게 됐다.

 

 

잠시 인공지능의 역사에 대해 생각해보자.

 

위의 순서대로 공부해보자.

 

 

인공신경망에 대해 알아보자. 실제값과 예측값이 다를 경우 가중치를 업데이트하는데, 이 과정과 전통적인 머신러닝에서 Cost를 최소로 하는 과정이 유사하다. 즉, w를 변화시키면서 학습을 진행하는 모델이다.

수능을 준비했던 수험생이라면 이 부분이 익숙할 수 있다. 2017학년도 6월 모의평가 국어과목에서 비문학으로 관련 내용이 나온 적이 있다. 그 지문에서 설명하는 내용과 지금 다루는 내용이 같다.

 

AND / OR / XOR 에 대해 알아보자.

간단하게 설명하면 AND는 싹 다 true 이면 true / OR는 하나만 true 이면 true / XOR는 다르면 true 같으면 false

 

퍼셉트론에서 w값을 튜닝해 AND와 OR는 구현할 수 있다. (OR 증명은 생략)

 

 

 

하지만 XOR을 구현하는 건 불가능하다....?

 

 

사실 AND와 OR을 조합하면 XOR을 만들 수 있다... 그런데 조합하는 과정에서 가중치를 의미하는 w가 점점 더 많아지게 된다. 즉, layer가 깊어지면서 w가 늘어났지만 이를 해결할 수 있는 방법이 없었다.

 

즉, XOR은 AND 와 OR 보다 더 advance한 Logic이다. 

이제 여러 계층으로 쌓게 되면 더 깊은 차원의 사고가 가능하다는 건 입증됐다.

 

인공신경망의 Weight를 결정하는 과정에서, XOR처럼 여러 층이 쌓이게 되면 Weight를 조정하기가 힘들고, Weight를 주먹구구식으로 결정하게 되면 문제가 발생하는데... 구체적이고 명확한 방법이 없을까?

Gradient Descent 알고리즘으로는 한 가지 층을 가질 때 적용할 수 있는데.. 여러 층에서는 어떻게 적용해야 할까?

 

 

이런 상황을 기반으로 해서 해결책인 BACKPROPAGATION이 도입됐다.