[AI] 신경망과 활성화함수 / 행렬의 곱 / 신경망의 구현(밑바닥부터 시작하는 딥러닝)

🔗 신경망

신경망의 예

• 신경망을 그림으로 나타내면 위와 같다. 은닉층의 뉴런은 입력층이나 출력층과 달리 사람의 눈에는 보이지 않기 때문에 은닉층이라고 한다.

[AI] 퍼셉트론과 퍼셉트론의 구현 / 퍼셉트론의 한계 (밑바닥부터 시작하는 딥러닝)

•  퍼셉트론은 복잡한 함수도 표현할 수 있다. 하지만 원하는 결과를 출력하도로 가중치 값을 적절히 정하는 작업은 여전히 사람이 수동으로한다. 신경망은 이 부분을 해결해준다. -> 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습하는 능력이 신경망의 중요한 성질이다.

✨ 퍼셉트론

편향을 명시한 퍼셉트론의 수식

편향을 명시한 퍼셉트론

• 위의 수식을 더 간결한 형태로 정리하면

• 이런 수식이다. 0을 넘으면 1을 출력하고 그렇지 않으면 0을 출력하는 동작을 하나의 함수로 나타낸다. 위의 수식을 보면 입력 신호의 총합이 h(x)라는 함수를 거쳐 변환되어, 그 변환된 값이 y의 출력이 됨을 보여준다. 정리하면 h(x) 함수는 입력이 0을 넘으면 1을 돌려주고 그렇지 않으면 0을 돌려준다. 

✨ 활성화 함수의 등장

• 위에서 h(x)가 등장했는데, 이처럼 입력 신호의 총합을 출력 신호로 변환하는 함수를 일반적으로 활성화 함수라고 한다. 
• 활성화 함수라는 이름과 같이 활성화함수는 입력 신호의 총합이 활성화를 일으키는지를 정하는 역할을 한다. 
• 위의 식은 가중치가 곱해진 입력 신호의 총합을 계산하고, 그 합을 활성화 함수에 입력해 결과를 내는 2단계로 처리된다. 
• 그래서 아래와 같은 2개의 식으로 나눌 수 있다. 

활성화 함수

활성화 함수의 처리 과정

---

🔗 활성화 함수

• 퍼셉트론의 활성화 함수는 임계값을 경계로 출력이 바뀌는데, 이런 함수를 계단 함수(step function)이라고 한다. 즉, "퍼셉트론은 활성화 함수로 계단 함수를 사용한다"라고 할 수 있다. 또한, 퍼셉트론과 신경망의 가장 주된 차이는 활성화 함수이다. 활성화 함수에는 다양한 종류가 있다. 

📍 1. 계단 함수(step function)

계단 함수

• 퍼셉트론 내 입력값의 합이 0보다 작거나 같으면 0, 크면 1을 출력하는 역할. → 비선형 함수

✨ 계단 함수의 구현

def step_function(x):
	y = x > 0
    return y.astype(np.int)

📍 2. 시그모이드 함수(Sigmoid 함수)

비선형 함수로 부드러운 곡선이며 입력에 따라 출력이 연속적으로 변화한다. 

• 특징
  • 모든 입력값에 대해 출력값이 실수값으로 정의(=Soft Decision)
  • 값이 작아질수록 0, 커질수록 1에 수렴
  • 출력이 0~1사이로 확률 표현 가능(=Binary Classification)
  • Vanishing Gradinet(기울기 손실) 문제 존재

✨ 시그모이드 함수의 구현

def sigmoid(x):
	return 1 / (1 + np.exp(-x))

✨ 시그모이드 함수와 계단 함수의 비교

• 가장 큰 차이: 매끄러움
• 시그모이드 함수는 부드러운 곡선이며 입력에 따라 출력이 연속적으로 변화
• 계단 함수는 0을 경계로 출력이 갑자기 바뀌어버림. 
• 시그모이드 함수의 이 매끈함이 신경망 학습에서 아주 중요한 역할
• 공통점: 입력이 작을 때의 출력은 0에 가깝고, 클 때의 출력은 1에 가까워지는 구조 / 값이 아무리 작거나 커도 출력은 0과 1 사이

✨ 비선형 함수

• 선형 함수: 출력이 입력값의 상수배만큼 변하는 함수
• 비선형 함수: 선형이 아닌 함수로 직선 1개로는 그릴 수 없는 함수
• 다층 퍼셉트론에서 활성화 함수는 “비선형 함수”여야 한다.
• 선형 함수를 사용하게 되면 신경망의 층을 깊게 쌓는 것의 의미가 사라지기 때문.
• 예를 들어, 활성화 함수를 h(x) = cx라 할 때, y(x) = h(h(x)) = c * c * c * x = c^3x → y=ax에서 a =c^3과 같다. 즉 위의 말한 선형함수의 의미에 딱 들어맞는다. → 3층이나 쌓았는데 1층만 쌓은 것과 같은 효과 → 비선형함수 사용하자^^

📍 3. ReLU 함수(Rectified Linear Unit, ReLU)

• y = x인 선형함수가 입력값 0 이하에서부터 rectified(정류)된 함수 → 퍼셉트론 내 입력값의 총합이 0보다 작을 경우 0, 크면 그 값 그대로 출력하는 함수.
• 특징
  • 딥러닝 분야에서 가장 많이 사용되는 활성화 함수
  • 입력값이 음수일 경우 출력값과 미분값을 모두 0으로 강제하므로 죽은 뉴런을 회생하는데 어려움 존재
  • 구현이 단순하고 연산이 필요 없이 임계값(양수/음수 여부)만 활용하므로 연산속도 빠름

📍 4. Sign 함수

Sign 함수

• 퍼셉트론 내 입력값의 총합이 0보다 작을 경우 -1을 출력하고, 0보다 클경우 1을 출력하는 역할 → 비선형 함수

한계: 데이터와 결정경계(Decision Boundary) 간 거리 정보를 고려하지 않는 한계 존재 → 아래의 자료처럼 우측 그림처럼 더 좋은 결정 결계가 있을수도 있는데 고려 안함.

• 결정 결계: 클래스별로 가장 가까운 데이터간 거리를 마진(margin)이라고 부르는데, 마진의 크기가 클수록 좋은 결정경계

마진과 결정경계

---

🔗 다차원 배열의 계산

• 다차원 배열: 숫자의 집합으로 숫자가 한 줄로 늘어선 것이나 직사각형으로 늘어놓은 것. 일반화하면 N차원으로 나열하는 것
• 2차원 배열은 행렬이라고 부르고 가로를 행, 세로를 열이라고 한다. 

행렬의 곱

✨ 행렬의 곱의 구현

A = np.array([1, 2], [3, 4])
B = np.array([5, 6], [7, 8])
np.dot(A, B)

• np.dot(A, B)은 입력이 1차원이면 벡터를, 2차원 배열이면 행렬 곱을 계산. 또한, 행렬의 곱은 피연산자의 순서가 다르면 결과가 다르기 때문에 np.dot(A, B)와 np.dot(B, A)는 결과가 다를 수 있다.

✨ 행렬의 형상(shape)

• 행렬의 곱을 할 때는 행렬의 형상에 주의해야 한다.
• 행렬 A의 1번째 차원의 원소 수(열 수)와 행렬 B의 0번째 차원의 원소 수(행 수)가 같아야 한다. 만약 다르다면 오류가 발생한다. 

행렬의 형상

• 두 행렬 중 하나의 행렬이 1차원 배열일 때도 대응하는 차원의 원소 수를 일치시켜라 라는 원칙이 똑같이 적용된다.

---

🔗 3층 신경망 구현

3층 신경망

입력층은 2개, 첫 번째 은닉층은 3개, 두 번째 은닉층은 2개, 출력층은 2개의 뉴런으로 구성

✨ 신경망의 표기

신경망의 표기

📍 각 층의 신호 전달 구현

✨ 입력층에서 1층으로 신호 전달

입력층에서 1층으로 신호 전달

x = np.array([1.0, 0.5])
w1 = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])
B1 = np.array([0.1, 0.2, 0.3])

A1 = np.dot(X, W1) + B1

입력층에서 1층으로의 신호 전달

은닉층에서의 가중치 합을 a로 표기하고 활성화 함수 h()로 변환된 신호를 z로 표기. 여기에선 활성화 함수를 시그모이드 함수를 사용.

Z1 = sigmoid(A1)

✨ 1층에서 2층으로 신호 전달

1층에서 2층으로 신호 전달

W2 = np.array([[0.1, 0.4], [0.2, 0.5], [0.3, 0,6]])
B2 = np.array([0.1, 0.2])

A2 = np.dot(Z1, W2) + B2
Z2 = sigmoid(A2)

1층의 출력 Z1이 2층의 입력이 된다는 점을 제외하면 조금 전의 구현과 같다. 

✨ 2층에서 출력층으로의 신호 전달

2층에서 출력층으로의 신호 전달

def identity_function(x):
	return x

W3 = np.array([[0.1, 0.3], [0.2, 0.4]])
B3 = np.array([0.1, 0.2])

A3 = np.dot(Z2, W3) + B3
Y = identity_function(A3)

출력층의 활성화 함수로 "항등 함수"를 사용하였다. 항등 함수는 입력을 그대로 출력하는 함수이다. 또한 출력층의 활성화 함수를 시그마를 이용해 표현하여 은닉층의 활성화 함수인 h()와는 다름을 명시

(출력층의 활성화 함수는 풀고자 하는 문제의 성질에 맞게 정한다. 예를 들어 회귀에는 항등 함수, 2클래스 분류에서는 시그모이드 함수, 다중 클래스 분류에서는 소프트맥스 함수를 사용하는 것이 일반적)

✨ 구현 정리

def init_network():
	network = {}
	network['W1'] = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])
	network['b1'] = np.array([0.1, 0.2, 0.3])
    network['W2'] = np.array([[0.1, 0.4], [0.2, 0.5], [0.3, 0,6]])
	network['b2'] = np.array([0.1, 0.2])
    network['W2'] = np.array([[0.1, 0.3], [0.2, 0.4]])
	network['b3'] = np.array([0.1, 0.2])
    
    return network

def forward(network, x):
	W1, W2, W3 = network['W1'], network['W2'], network['W3']
    b1, b2, b3 = network['b1'], network['b2'], network['b3']
    
    a1 = np.dot(x, W1) + b1
    z1 = sigmoid(a1)
    a2 = np.dot(z1, W2) + b2
    z2 = sigmoid(a2)
    a3 = np.dot(z2, W3) + b3
    y = identity_function(a3) 
    
    return y
    
network = init_network()
x = np.array([1.0, 0.5])
y = forward(network, x)

print(y)

init_network(): 가중치와 편향을 초기화하고 이들을 딕셔너리 변수인  network에 저장

forward(): 입력 신호를 출력으로 변환하는 처리과정을 모두 구현(순방향)

---

🔗 출력층 설계하기

신경망은 분류와 회귀 모두에 이용할 수 있다. 하지만 어떤 문제냐에 따라 출력층에서 사용하는 활성화 함수가 달라진다. 일반적으로 회귀에는 항등 함수를, 분류에는 소프트맥스 함수를 사용한다. 

기계학습 문제는 분류와 회귀로 나뉜다. 분류는 데이터가 어느 클래스에 속하느냐는 문제이다. (예를 들어 사진 속 인물의 성별을 분류하는 문제) 회귀는 입력 데이터에서 연속적인 수치를 예측하는 문제이다. (예를 들어 사진속 인물의 몸무게를 예측하는 문제)

📍 항등 함수와 소프트맥스 함수

✨ 항등 함수

입력을 그대로 출력

✨ 소프트맥스 함수

• N가지 출력값을 갖는 함수로써 입력값을 N가지 클래스 중 하나로 분류하는 Multi-class Classification에 주로 사용
• 출력값 N개
• 입력값을 각각 지수함수로 취하고, 이를 정규화(=총합을 1로 만듦)
• 모든 출력값의 합은 반드시 1
• N가지 중 한 가지에 속할 확률 표현 가능 → Multi-class Classification

소프트맥스 함수의 식

exp는 자연 상수를 의미하고, n은 출력층의 뉴런 수, yk는 그 중 k번째 출력임을 의미. 

소프트맥스 함수

그림과 같이 소프트맥스 함수의 모든 출력은 모든 입력 신호로부터 화살표를 받는다. 식의 분모에서 볼 수 있듯이, 출력층의 각 뉴런이 모든 입력 신호에서 영향을 받기 때문이다. 

✨ 소프트맥스 함수의 구현

def softmax(a):
	c = np.max(a)
    exp_a = np.exp(a-c) # 오버플로 대책
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    
    return y

📍 출력층의 뉴런 수 정하기

출력층의 뉴런 수는 풀려는 문제에 맞게 적절히 정해야 한다. 분류에서는 분류하고 싶은 클래스 수로 설정하는 것이 일반적.

예를 들어 입력 이미지를 숫자 0부터 9중 하나로 분류하는 문제라면 아래와 같이 출력층의 뉴런을 10개로 설정한다.

출력층의 뉴런은 각 숫자에 대응

이 예에서는 색이 가장 짙은 y2 뉴런이 가장 큰 값을 출력한다. 그래서 이 신경망이 선택한 클래스는 y2로 입력 이미지를 숫자 2로 판단했음을 의미한다.

---

🔗 정리

• 신경망에서는 활성화 함수로 시그모이드 함수와 ReLU 함수 같은 매끄럽게 변화하는 함수를 이용
• 출력층의 활성화 함수로는 회귀(regression)에서는 주로 항등 함수를, 분류(classification)에서는 주로 소프트맥스 함수를 이용
• 분류에서는 출력층의 뉴런 수를 분류하려는 클래스 수와 같게 설정