[AI] 퍼셉트론과 활성화 함수

🔗 퍼셉트론

• 인공 신경망(Artificial Neural Network, ANN)의 구성요소로 다수의 값을 입력 받아 하나의 값으로 출력하는 알고리즘.
• 이진 분류(Binary Classification) 모델을 학습하기 위한 지도학습(Supervised Learning) 기반의 알고리즘.
  • 이진 분류: 고양이와 강아지 사진을 무작위로 보여주었을 때 고양이 사진인지 강아지 사진인지 분류하는 것. ← 고양이, 강아지와 같은 선택지를 클래스라고 부르고 선택지가 2개인 경우를 이진 분류라고 함.
  • 지도학습: 데이터(=feature)와 정답(=label)을 모두 활용하여 학습하는 방식. 예를들어 강아지와 고양이 사진을 분류하는 모델을 학습할 때 동물 이름까지 함께 알려주는 경우.

이진 분류

📍 퍼셉트론의 동작과정

• 다수의 값 x를 입력받고, 입력된 값마다 가중치(weight)를 곱한다.
• 가중치가 클수록 입력값이 중요하다는 것을 의미. 입력값으로써 x외에도 편향(bias)은 딥러닝 모델 최적화의 중요 변수 중 하나.
• 입력값과 가중치의 곱, 편향은 퍼셉트론으로 전달. 퍼셉트론은 전달된 값을 모두 합산. → 합산된 결과값: 가중합

---

🔗 퍼셉트론의 종류

• 입력층과 출력층 사이에 은닉층의 존재 여부에 따라 단층 퍼셉트론과 다층 퍼셉트론으로 분류

📍 단층 퍼셉트론

• 은닉층이 없이 입력층과 출력층만 있는 경우. 디지털 논리 회로 개념에서 AND, NAND, OR 게이트를 구현 가능하지만, XOR 게이트는 구현 불가능 → 단층 퍼셉트론은 입력값에 따른 출력값을 구분짓는 직선을 1개밖에 그릴 수 없기 때문
• XOR게이트와 같이 조금만 로직이 복잡해지면 이를 구현할 수 없다는 점이 단층 퍼셉트론의 한계

XOR 게이트

📍 다층 퍼셉트론

• 입력층과 출력층 사이에 1개 이상의 은닉층이 있는 퍼셉트론(Multi-Layer Perceptron, MLP)
• 단일 퍼셉트론이 XOR 게이트를 구현하지 못한다는 한계를 보완하기 위해 등장
• AND, NAND, OR 게이트를 조합하여 XOR 게이트 구현. XOR 게이트는 은닉층 1개를 추가하여 구현 가능하지만 더욱 복잡한 문제를 해결하기 위해 일반적으로 2개 이상의 은닉층 추가. → 2개 이상의 은닉층을 가진 다층 퍼셉트론을 “심층 신경망(Deep Neural Network, DNN)이라 부른다.
• 딥러닝은 이러한 심층 신경망을 학습(Learning)하는 것을 의미

---

🔗 활성화 함수

• 퍼셉트론의 출력값을 결정하는 비선형(non-linear) 함수. 입력값의 총합을 출력할지 말지 결정하고, 출력한다면 어떤 값으로 변환하여 출력할지 결정하는 함수.
• 활성화 함수의 종류에는 여러가지가 있다.

📍 1. Sign 함수

Sign 함수

• 퍼셉트론 내 입력값의 총합이 0보다 작을 경우 -1을 출력하고, 0보다 클경우 1을 출력하는 역할 → 비선형 함수

한계: 데이터와 결정경계(Decision Boundary) 간 거리 정보를 고려하지 않는 한계 존재 → 아래의 자료처럼 우측 그림처럼 더 좋은 결정 결계가 있을수도 있는데 고려 안함.

• 결정 결계: 클래스별로 가장 가까운 데이터간 거리를 마진(margin)이라고 부르는데, 마진의 크기가 클수록 좋은 결정경계

마진과 결정경계

📍 2. 계단 함수(step function)

계단 함수

• 퍼셉트론 내 입력값의 합이 0보다 작거나 같으면 0, 크면 1을 출력하는 역할. → 비선형 함수

📍 3. 시그모이드 함수(Sigmoid 함수)

• 특징
  • 모든 입력값에 대해 출력값이 실수값으로 정의(=Soft Decision)
  • 값이 작아질수록 0, 커질수록 1에 수렴
  • 출력이 0~1사이로 확률 표현 가능(=Binary Classification)
  • Vanishing Gradinet(기울기 손실) 문제 존재

📍 4. ReLU 함수(Rectified Linear Unit, ReLU)

• y = x인 선형함수가 입력값 0 이하에서부터 rectified(정류)된 함수 → 퍼셉트론 내 입력값의 총합이 0보다 작을 경우 0, 크면 그 값 그대로 출력하는 함수.
• 특징
  • 딥러닝 분야에서 가장 많이 사용되는 활성화 함수
  • 입력값이 음수일 경우 출력값과 미분값을 모두 0으로 강제하므로 죽은 뉴런을 회생하는데 어려움 존재
  • 구현이 단순하고 연산이 필요 없이 임계값(양수/음수 여부)만 활용하므로 연산속도 빠름

📍 5. Softmax 함수

• N가지 출력값을 갖는 함수로써 입력값을 N가지 클래스 중 하나로 분류하는 Multi-class Classification에 주로 사용

Softmax 함수

• 특징
  • 출력값 N개
  • 입력값을 각각 지수함수로 취하고, 이를 정규화(=총합을 1로 만듦)
  • 모든 출력값의 합은 반드시 1
  • N가지 중 한 가지에 속할 확률 표현 가능 → Multi-class Classification

📍 활성화 함수의 적절한 이용

• 회귀 문제: 항등 함수
• 이진 분류: Sigmoid 함수
• 다중 분류: Softmax 함수

---

🔗 활성화 함수: 선형함수 vs 비선형함수

• 다층 퍼셉트론에서 활성화 함수는 “비선형 함수”여야 한다.
• 선형함수의 의미: 입력값의 출력이 입력에 상수를 곱한 것인 함수.
• 선형 함수를 사용하게 되면 신경망의 층을 깊게 쌓는 것의 의미가 사라지기 때문.
• 예를 들어, 활성화 함수를 h(x) = cx라 할 때, y(x) = h(h(x)) = c * c * c * x = c^3x → y=ax에서 a =c^3과 같다. 즉 위의 말한 선형함수의 의미에 딱 들어맞는다. → 3층이나 쌓았는데 1층만 쌓은 것과 같은 효과 → 비선형함수 사용하자^^

---

🔗 정리

1. 퍼셉트론은 입출력을 갖춘 알고리즘으로 입력을 주면 정해진 값에 따른 값을 출력한다.

2. 퍼셉트론에서는 가중치와 편향을 매개변수로 설정한다. 

3. 퍼셉트론으로 AND, OR 게이트 등의 논리회로를 표현할 수 있다.

4. XOR 게이트는 단층 퍼셉트론으로는 표현할 수 없다.

5. 2층 퍼셉트론을 이용하면 XOR 게이트를 표현할 수 있다. 

6. 단층 퍼셉트론은 직선형 영역만 표현할 수 있고, 다층 퍼셉트론은 비선형 영역도 표현할 수 있다.

---

📚 References

[Deep Learning] Activation Function 개념 및 종류: sign, tanh, sigmoid, softmax, ReLU, Leaky ReLU

https://heytech.tistory.com/332