[AI] 퍼셉트론과 퍼셉트론의 구현 / 퍼셉트론의 한계 (밑바닥부터 시작하는 딥러닝)

🔗 퍼셉트론

• 다수의 신호를 입력으로 받아 하나의 신호를 출력
• 퍼셉트론의 신호는 '흐른다/안흐른다(1/0)'의 두 가지 값을 가질 수 있다.

입력이 2개인 퍼셉트론

• 그림의 원을 뉴런 혹은 노드라고 부른다.
• 입력 신호가 뉴런에 보내질 때, 각각 고유한 가중치가 곱해진다.
• 뉴런에서 보내온 신호의 총합이 한계를 넘어설 때만 1을 출력 -> 이를 '뉴런이 활성화한다'라고도 표현
• 그 한계를 임계값이라고 하며 기호로 세타라고도 표현한다.

퍼셉트론의 수식 표현

🔗 퍼셉트론의 논리 회로

📍 AND 게이트

• 입력이 두개이고 출력이 하나
• 아래와 같은 입력 신호와 출력 신호의 대응표를 진리표라고 한다. 

AND 게이트의 진리표

• 두 입력이 모두 1일 때만 1을 출력하고, 그 이외는 0을 출력

✨ AND 게이트의 구현

def AND(x1, x2):
	w1, w2, theta = 0.5, 0.5, 0.7
    tmp = x1*w1 + x2*w2
    if tmp <= theta:
    	return 0
    elif tmp > theta:
    	return 1

📍 NAND 게이트

• AND 게이트의 출력을 뒤집은 것과 같다.
• 입력이 모두 1일 때만 0을 출력하고, 그 이외에는 1을 출력

NAND 게이트의 진리표

📍 OR 게이트

• 입력 신호 중 하나 이상이 1이면 1을 출력

OR 게이트의 진리표

---

🔗 가중치와 편향 도입

• 위의 퍼셉트론의 수식 표현 식에서 세타를 -b로 치환한 것과 같다.

가중치와 편향을 이용한 퍼셉트론의 수식

• 퍼셉트론은 입력 신호에 가중치를 곱한 값과 편향을 합하여, 그 값이 0을 넘으면 1을 출력하고 그렇지 않으면 0을 출력한다. 

✨ 가중치와 편향을 이용한 AND 게이트의 구현

def AND(x1, x2):
	x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
    	return 0
    else:
    	return 1

• 가중치와 편향의 기능이 다르다는 사실에 주의해야한다. 
• 가중치는 각 입력 신호가 결과에 주는 영향력을 조절하는 매개변수
• 편향은 뉴런이 얼마나 쉽게 활성화(결과로 1을 출력)하느냐를 조정하는 매개변수

✨ 가중치와 편향을 이용한 NAND 게이트와 OR 게이트의 구현

def NAND(x1, x2):
	x = np.array([x1, x2])
    w = np.array([-0.5, -0.5])
    b = 0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
    	return 0
    else:
    	return 1
        
def OR(x1, x2):
	x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.2
    tmp = np.sum(w*x) + b
    if tmp <= 0:
    	return 0
    else:
    	return 1

---

 

🔗 퍼셉트론의 한계 

• XOR 게이트는 배타적 논리합이라는 논리 회로로 입력 신호 두 개 중 한쪽이 1일 떄만 1을 출력. 
• 지금까지의 퍼셉트론으로는 XOR게이트를 구현 불가능

OR 게이트의 시각화

• 직선으로 동그라미와 세모를 나눌 수 있다.

XOR 게이트의 시각화

• 직선으로는 동그라미와 세모를 나누는 것이 불가능하다. 곡선이라면 가능하다. 

✨ 퍼셉트론의 한계

• 직선 하나로 나눈 영역만 표현할 수 있다는 한계가 존재한다. XOR 게이트와 같은 곡선 영역은 표현할 수 없다.
• (또한 곡선의 영역을 비선형 영역, 직선의 영역을 선형 영역이라고 한다.) 
• 이 퍼셉트론의 한계를 해결하기 위해 다층 퍼셉트론이 등장하였다. 

---

🔗 다층 퍼셉트론

• 단층 퍼셉트론의 층을 여러개 쌓아서 구현
• 기존 게이트들을 조합하여 XOR 게이트를 구현 가능.

AND, NAND, OR 게이트의 기호

AND, NAND, OR 게이트를 조합해 구현한 XOR 게이트

XOR 게이트의 진리표

def XOR(x1, x2):
	s1 = NAND(x1, x2)
    s2 = OR(x1, x2)
    y = AND(s1, s2)
    return y

XOR의 퍼셉트론

• 이처럼 층이 여러개인 퍼셉트론을 다층 퍼셉트론이라고 한다. 

✨ XOR 다층 퍼셉트론의 동작 과정

1. 0층의 두 뉴런이 입력 신호를 받아서 1층의 뉴런으로 신호를 보낸다.

2. 1층의 뉴런이 2층의 뉴런으로 신호를 보내고, 2층의 뉴런은 y를 출력한다.

---

🔗 정리

• 퍼셉트론은 입출력을 갖춘 알고리즘으로 입력을 주면 정해진 규칙에 따른 값을 출력
• 퍼셉트론은 가중치와 편향을 매개변수로 설정
• 퍼셉트론으로 AND, OR 게이트 등의 논리 회로를 표현 가능
• XOR 게이트는 단층 퍼셉트론으로 표현이 불가능
• 2층 퍼셉트론을 이용하면 XOR 게이트 표현 가능
• 단층 퍼셉트론은 직선형 영역만 표현 가능하고, 다층 퍼셉트론은 비선형 영역도 표현 가능