[AI] 경사하강법(feat: 최적화, 손실 함수) - 선형 회귀 분석(2) with Python(밑바닥부터 시작하는 딥러닝)

🔗 파이토치

• 2017년 초에 공개된 딥러닝 프레임워크
• 개발자들과 연구자들이 쉽게 GPU를 활용하여 인공 신경망 모델을 만들고 학습시킬 수 있게 도와줌
• 페이스북의 인공지능 연구팀(AI Research) 멤버들이 주로 관리
• 파이토치 포럼: 독자적으로 운영, 사람들이 질문을 올리면 프레임워크 개발자를 비롯한 많은 사람이 답을 해주는 활발한 교류가 일어나고 있음
• 기울기 계산을 위한 연산 그래프를 쭉 따라서 미분할 때, 파이토치에서는 backward() 함수 호출을 통해 자동으로 계산할 수 있다. 
• 내부적으로 CUDA, cuDNN이라는 API를 통해 GPU를 통한 연산이 가능하게 함 -> 연산 속도가 CPU에 비해 15배 이상 빠름
  • CUDA: 엔비디아가 GPU를 통한 연산을 가능하게 만든 API 모델
  • cuDNN: CUDA를 이용해 딥러닝 연산을 가속해주는 라이브러리

---

🔗 파이토치에서의 경사하강법

📍 텐서(Tensor) 

• 텐서 = 다차원 배열(multidimensional array)
• 파이토치에서 사용되는 데이터의 기본 단위

📍 텐서 생성

• Shape이 2x3인 tensor생성, tensor 안 원소에는 임의의 난수가 들어감

import torch
X = torch.Tensor(2,3)

• Tensor를 생성하면서 원하는 값으로 초기화하는 경우

X = torch.tensor([[1,2,3], [4,5,6]])

📍 backward()

• 파이토치에서 자동 미분을 수행하기 위한 메서드로, 역전파 알고리즘을 사용하여 기울기를 계산하는 데 사용. 이 메서드를 호출하면 파이토치는 연산 그래프를 따라가며 각 leaf node에 대한 기울기를 계산

📍 단순한 기울기 계산

# 먼저 파이토치를 불러온다.
import torch

# x를 [2.0, 3.0]의 값을 가진 텐서로 초기화해주고 기울기 계산을 True로 켜놓는다. 
# z = 2x^2+3
x = torch.tensor(data=[2.0, 3.0], requires_grad=True)
y = x**2 
z = 2*y + 3

# 목표값을 지정
target = torch.tensor([3.0, 4.0])

# z와 목표값의 절대값 차이를 계산
# backward는 스칼라 값에 대해서 동작하기 떄문에 길이 2짜리 텐서인 loss를 torch.sum을 통해 하나의 숫자로 바꿔준다. 
loss = torch.sum(torch.abs(z - target))

# 스칼라 값이 된 loss에 대해 backward를 적용
loss.backward()

# 여기서 y와 z는 기울기가 None으로 나오는데 이는 x, y, z중에 x만이 leaf node이기 때문
print(x.grad, y.grad, z.grad)

• leaf node는 계산 그래프에서의 끝 지점, 즉 기울기를 계산하는 기준이 되는 텐서를 의미. 기울기를 계산할 때 파이토치는 leaf node에 대해서만 기울기를 계산. backward()를 호출한 후에는 leaf node인 x에 대해서만 .grad속성에 기울기가 저장되어 있다. 

📍 선형회귀분석 모델 만들기

1️⃣ 필요한 라이브러리 호출

# 넘파이와 파이토치를 불러온다
import numpy as np
import torch

# Neural Network의 약자로 인공신경망 연산들이 들어가있는 라이브러리 (ex. Linear, Convolution, RNN 등등)
import torch.nn as nn

# 모델을 최적화 하는데 필요한 최적화 함수들이 들어가있는 라이브러리 (ex. SGD, ADAM, LBFGS 등등)
import torch.optim as optim

# 텐서를 초기화하는 함수들이 들어가있는 라이브러리 (ex. uniform, normal, xavier 등등)
import torch.nn.init as init

# 데이터나 학습 결과를 출력하기 위해 사용
import matplotlib.pyplot as plt

2️⃣ 데이터 생성

# 데이터의 개수는 1000개, 학습 횟수는 500회로 지정
# 이는 임의로 지정한 수치
num_data = 1000
num_epoch = 500

# 데이터에 추가할 노이즈를 정규분포를 따르게 만들어준다.
# 이때 평균은 디폴트로 0, 편차는 0.2로 임의로 지정
noise = init.normal_(torch.FloatTensor(num_data, 1), std=0.2)

# x는 -10에서 10으로 uniform 하게 생성
# 이렇게 되면 x는 1000x1형태를 가지고 -10에서 10 사이의 값들을 uniform 하게 갖게 된다
x = init.uniform_(torch.Tensor(num_data, 1), -10, 10)

# 연산 그래프를 정의
y = 2*x+3

# y에 노이즈를 더해 y_noise 값을 만들어준다
# 학습때 y_noise를 목표값으로 사용
# 이유: 실제 데이터를 사용할 때 여러 측정 과정에서 노이즈가 추가되는 경우가 많기 때문
y_noise = y+noise

3️⃣ 데이터 시각화

# figure의 크기를 지정
plt.figure(figsize=(10,10))

# x축에는 x를 사용하고 y축에는 y_noise를 사용해 scatter plot 해줌
# 이 때 점의 크기는 7, 점의 색상은 회색
plt.scatter(x.numpy(), y_noise.numpy(), s=7, c="gray")

# figure의 x,y축 범위를 지정
plt.axis([-12, 12, -25, 25])

# figure 출력
plt.show()

4️⃣ 모델, 손실함수, 최적화함수 설정

# 선형 모델 생성
# 입력으로 들어오는 x가 1000x1의 형태를 가지고 있고, 여기서 특성의 개수는 1이기 때문에 앞에 1이 들어가게 된다. Linear(1, ?)
# 출력으로 기대하는 값 또한 1000x1의 형태이기 때문에 특성의 개수가 1개. 그렇기 때문에 뒤에 1이 들어가게 된다. Linear(?, 1)
model = nn.Linear(1, 1)

# 손실 함수 지정
# 임의로 L1 손실을 지정(Mean Absolute Error Loss)
loss_func = nn.L1Loss()

# 최적화 함수 저징
# 이때 인수로 학습의 대상이 되는 모델의 변수(model.parameters())를 전달한다.
# 학습률은 0.01로 임의로 지정
optimizer = optim.SGD(model.parameters(),lr=0.01)

5️⃣ 모델 학습 및 중간 확인

# 손실이 어떻게 변하는지 확인하기 위해 loss_arr를 만들어 기록
loss_arr = []

# 목표값은 y_noise로 지정
label = y_noise

# 500으로 지정했던 학습 횟수만큼 반복
for i in range(num_epoch):
  # 이전 학습의 기울기를 지우고, 최적화 함수 초기화
  # 기울기를 지우지 않으면 기존의 업데이트 때문에 학습이 잘 이루어지지 않음.
  optimizer.zero_grad()

  # 입력값 x를 모델에 넣어 결과값을 얻는다.
  output = model(x)

  # 결과값과 목표값의 차이를 L1 손실 함수로 구해준다.
  loss = loss_func(output, label)

  # 손실에 대한 기울기를 구한다.
  loss.backward()

  # 구한 기울기를 이용해 모델의 변수를 업데이트
  optimizer.step()

  # 10번 마다 모델의 변수가 어떻게 변하고 있는지 출력.
  if i % 10 == 0:
    # 현재 연산 그래프에 속해있는 x, output 값을 detach를 통해 분리하고, 텐서를 넘파이 배열로 바꿔서 plt.scatter에 전달
    plt.scatter(x.detach().numpy(), output.detach().numpy())
    plt.axis([-10, -10, -30, -30])
    plt.show()
    print(loss.data)

  # 손실을 loss_arr에 추가
  loss_arr.append(loss.detach().numpy())

6️⃣ 학습 후 데이터와 모델 결과값 확인

# 학습 후 데이터와 모델 결과값 확인
plt.figure(figsize=(15, 15))
plt.scatter(x.numpy(), y_noise.numpy(), s = 5, c = "gray")
plt.scatter(x.detach().numpy(), output.detach().numpy(), s = 5, c = "red")
plt.axis([-10, 10, -30, 30])
plt.show()

• 손실그래프 확인

# 손실 그래프
# matplotlib의 plot 함수를 이용해 손실이 어떻게 줄어가는지 확인
plt.plot(loss_arr)
plt.show()

7️⃣ 학습 후 모델 변수 값 확인

# 학습 후 모델 변수 값 확인
# 현재 모델은 weight 와 bias를 변수로 가지고 있는데 그 값들이 학습 후 실제 몇인지 수치적으로 확인해본다.
param_list = list(model.parameters())
print("Weight: ", param_list[0].item(), "\nBias: ", param_list[1].item())