[AI] 오차역전파법(밑바닥부터 시작하는 딥러닝)

✨ Backpropagation(오차역전파법)

오차를 역으로 전파하는 방법으로 가중치 매개변수의 기울기를 효율적으로 계산할 수 있는 방법이다. 

✨ Computational Grap(계산 그래프)

계산 과정을 그래프로 나타낸 것으로 복수의 Node와 Edge로 표현

✨ 문제1: 현빈은 슈퍼에서 1개에 100원인 사과를 2개 샀고, 소비세가 10% 부과될 때 지불 금액을 구하세요.

사과의 개수와 소비세를 변수로 취급해 원 밖에 표기

✨ 문제2: 현빈은 슈퍼에서 사과를 2개, 귤을 3개 샀다. 사과는 1개에 100원, 귤은 1개 150원이다. 소비세가 10%일 때 지불 금액을 구해라.

✨ 이 두 문제의 흐름

1. 계산 그래프를 구성한다. 

2. 그래프에서 계산을 왼쪽에서 오른쪽으로 진행 -> 계산을 왼쪽에서 오른쪽으로 진행하는 것을 순전파(forward propagation)라고 한다

---

🔗 국소적 계산

계산 그래프의 특징은 '국소적 계산'을 전파함으로서 최종 결과를 얻는다는 점에 있다. 

✨ 국소적 계산

전체에서 어떤 일이 벌어지든 상관 없이 자신과 관계된 정보만으로 결과를 출력할 수 있도록 하는 것.

이 그래프에서 각 노드의 계산은 국소적 계산이다. 사과와 그 외의 물품 값을 더하는 계산이 어떻게 계산되었느냐와는 상관 없이, 단지 두 숫자를 더하면 된다. 각 노드는 자신과 관련한 계산 외에는 아무것도 신경 쓸 필요가 없다. 

✨ 계산 그래프의 장점

1. 국소적 계산: 전체가 아무리 복잡해도 각 노드에서의 단순한 계산에 집중하여 문제를 단순화 가능

2. 중간 계산 결과를 모두 보관 가능

3. 역전파를 통해 '미분'을 효율적으로 계산 가능

계산 그래프를 통한 역전파 미분값=국소적 미분을 전달

---

🔗 연쇄법칙(Chain Rule)

역전파는 '국소적인 미분'을 순방향과는 반대인 오른쪽에서 왼쪽으로 전달. 또한 이 '국소적 미분'을 전달하는 원리는 "연쇄법칙"에 따른 것.

✨ 계산 그래프의 역전파

  순방향과는 반대 방향으로 국소적 미분을 곱한다

위의 그림과 같이 역전파의 계산 절차는 신호 E에 국소적 미분을 곱한 후 다음 노드로 전달하는 것

✨ 합성함수

여러 함수로 구성된 함수

주어진 z와 t를 이용하여 국소적 미분 계산 후, 합성함수 미분하기

✨ 연쇄 법칙과 계산 그래프

 

✨ 덧셈 노드의 역전파

위의 임의의 계산으로 가는 노드는 x 기준으로 편미분 하면 y가 사라지면서 1이 남게된다. 밑의 임의의 계산으로 가는 노드는 y를 기준으로 편미분을 하므로 x가 사라지면서 1이 남게된다. 따라서 + 노드를 대상으로 하는 역전파는 결과적으로 입력받은 데이터를 그대로 흘려주게 된다.

✨ 곱셈 노드의 역전파

  z = x*y일 경우

x로 편미분: y

y로 편미분: x

✨ 사과와 귤 쇼핑의 예

---

🔗 활성화 함수 계층 구현하기

📍 ReLU 계층

0이하의 값은 0으로 출력하고, 0 이상은 입력값 그대로의 값을 출력

📍 Affine/Softmax 계층

✨ Affine 계층

Affine Transformation: 신경망의 순전파 때 수행하는 행렬 내적

Affine Layer: 어파인 변환을 수행하는 계층

Affine 계층 그래프

✨ Softmax 함수

입력값을 정규화하여 출력

---

🔗 신경망 학습 절차

✨ 1단계: 미니배치

훈련 데이터 중 일부를 무작위로 가져와 선별한 데이터(미니배치)의 손실함수 값을 줄이는 것이 목표임

✨ 2단계: 기울기 산출

미니배치의 손실 함수 값을 줄이기 위해 각 가중치 매개변수의 기울기를 구함

기울기는 손실함수의 값을 가장 작게 하는 방향으로 제시

✨ 3단계: 매개변수 갱신

가중치 매개변수를 기울기 방향으로 조금씩 갱신

✨ 4단계: 반복

1~3단계를 반복함

---

🔗 정리

1. 계산 그래프를 이용하면 계산 과정을 시각적으로 파악할 수 있다

2. 계산 그래프의 노드는 국소적 계산으로 구성된다. 국소적 게산을 조합하여 전체 계산을 구성한다.

3. 계산 그래프의 순전파는 통상의 계산을 수행한다. 한편, 계산 그래프의 역전파는 각 노드의 미분을 구할 수 있다. 

4. 신경망의 구성 요소를 계층으로 구현하여 기울기를 효율적으로 계산할 수 있다.