밑바닥부터 시작하는 딥러닝1 - 2장 : 퍼셉트론

2-1 퍼셉트론이란

 

신경망(딥러닝)의 기원이 되는 알고리즘

다수의 신호를 입력으로 받아 하나의 신호를 출력

 

단층 퍼셉트론

 

x1 ,x2 : 입력신호

y : 출력신호

​ w1x1 + w2x2 <= θ  » 비활성화

​ w1x1 + w2x2 > θ  » 활성화

w1, w2 : 가중치 » 각 입력신호가 결과에 주는 영향력(중요도)를 조절하는 매개변수

θ : 임계값

b = -θ : 편향  >> 뉴런이 얼마나 쉽게 활성화 하는지를 조정하는 매개변수

 

2-2. 단순한 논리회로

 

(단층)퍼셉트론은 직선으로 나뉜 두 영역을 만든다.

 

                   <AND게이트>                             <NAND게이트>                               <OR게이트>

 

학습 : 적절한 매개변수 값을 정하는 작업

퍼셉트론의 구조는 AND, NAND, OR게이트 모두에서 똑같다. 매개변수(가중치, 임계값) 의 값만 다르다.

 

<AND함수>

def AND(x1,x2):
  w1, w2 ,theta = 0.5,0.5,0.7
  tmp = x1*w1 + x2 * w2
  if tmp <= theta:
    return 0
  elif tmp > theta:
    return 1
print(AND(0,0))
print(AND(1,0))
print(AND(1,1))

 

 

2-3.퍼셉트론 구현하기

퍼셉트론은 입력신호에 가중치를 곲한 값과 편향을 통해 그 값이 0을 넘으면 1을 출력, 그렇지 않으면 0을 출력

 

 

 

2-4. 퍼셉트론의 한계

 

<XOR게이트>

 

단층 퍼셉트론의 한계

퍼셉트론은 직선 하나로 나눈 영역만 표현할 수 있다. 따라서 단층 퍼셉트론은 비선형 영역을 분리할 수 없다.

 

곡선의 영역 - 비선형 영역

직선의 영역 - 선형 영역

 

2-5. 다층 퍼셉트론 = 신경망

 

층이 여러개인 퍼셉트론. 단층 퍼셉트론으로는 구현하지 못한 것을 층을 하나 늘려 구현

퍼셉트론은 층을 쌓아 즉 깊게 하여 비 선형적인 표현 및 컴퓨터 수행처리가 가능하다.

 

<XOR게이트>

 

 

다층 퍼셉트론의 한계

가중치를 설정하는 작업은 여전히 사람이 수동적으로 해주어야 한다.