Sujin's Log Sujin's Log

✨ Backpropagation(오차역전파법) 오차를 역으로 전파하는 방법으로 가중치 매개변수의 기울기를 효율적으로 계산할 수 있는 방법이다. ✨ Computational Grap(계산 그래프) 계산 과정을 그래프로 나타낸 것으로 복수의 Node와 Edge로 표현 ✨ 문제1: 현빈은 슈퍼에서 1개에 100원인 사과를 2개 샀고, 소비세가 10% 부과될 때 지불 금액을 구하세요. 사과의 개수와 소비세를 변수로 취급해 원 밖에 표기 ✨ 문제2: 현빈은 슈퍼에서 사과를 2개, 귤을 3개 샀다. 사과는 1개에 100원, 귤은 1개 150원이다. 소비세가 10%일 때 지불 금액을 구해라. ✨ 이 두 문제의 흐름 1. 계산 그래프를 구성한다. 2. 그래프에서 계산을 왼쪽에서 오른쪽으로 진행 -> 계산을 왼쪽에서 오..

신경망의 가중치 매개변수의 값을 데이터를 보고 자동으로 결정한다. 아주 큰 장점이다. 🔗 데이터 주도 학습 학습: 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 기계학습 1. 데이터에서 답을 찾고 데이터에서 패턴을 발견하고 데이터로 이야기를 만듦 2. 사람의 개입을 최소화하고 수집한 데이터로부터 패턴을 찾으려 시도 📍 종단간 기계학습(end-to-end machine learning) 기계학습: 데이터의 특징을 벡터로 변환하는 것은 '사람이' 설계 딥러닝: 데이터 입력에서 목표한 결과를 사람의 개입 없이 얻음. 두 번째 접근 방식에서는 사람이 특징을 사람이 설계했지만, 신경망은 이미지에 포함된 중요한 특징까지도 '기계'가 스스로 학습할 것이다. 이렇게 딥러닝은 처음부터 끝까지 데이터(..

🔗 신경망 신경망을 그림으로 나타내면 위와 같다. 은닉층의 뉴런은 입력층이나 출력층과 달리 사람의 눈에는 보이지 않기 때문에 은닉층이라고 한다. [AI] 퍼셉트론과 퍼셉트론의 구현 / 퍼셉트론의 한계 (밑바닥부터 시작하는 딥러닝) 🔗 퍼셉트론 다수의 신호를 입력으로 받아 하나의 신호를 출력 퍼셉트론의 신호는 '흐른다/안흐른다(1/0)'의 두 가지 값을 가질 수 있다. 그림의 원을 뉴런 혹은 노드라고 부른다. 입력 신호가 뉴 suucong.tistory.com 퍼셉트론은 복잡한 함수도 표현할 수 있다. 하지만 원하는 결과를 출력하도로 가중치 값을 적절히 정하는 작업은 여전히 사람이 수동으로한다. 신경망은 이 부분을 해결해준다. -> 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습하는 능력이 신경망..

🔗 퍼셉트론 다수의 신호를 입력으로 받아 하나의 신호를 출력 퍼셉트론의 신호는 '흐른다/안흐른다(1/0)'의 두 가지 값을 가질 수 있다. 그림의 원을 뉴런 혹은 노드라고 부른다. 입력 신호가 뉴런에 보내질 때, 각각 고유한 가중치가 곱해진다. 뉴런에서 보내온 신호의 총합이 한계를 넘어설 때만 1을 출력 -> 이를 '뉴런이 활성화한다'라고도 표현 그 한계를 임계값이라고 하며 기호로 세타라고도 표현한다. 🔗 퍼셉트론의 논리 회로 📍 AND 게이트 입력이 두개이고 출력이 하나 아래와 같은 입력 신호와 출력 신호의 대응표를 진리표라고 한다. 두 입력이 모두 1일 때만 1을 출력하고, 그 이외는 0을 출력 ✨ AND 게이트의 구현 def AND(x1, x2): w1, w2, theta = 0.5, 0.5, 0...

🔗 파이토치 2017년 초에 공개된 딥러닝 프레임워크 개발자들과 연구자들이 쉽게 GPU를 활용하여 인공 신경망 모델을 만들고 학습시킬 수 있게 도와줌 페이스북의 인공지능 연구팀(AI Research) 멤버들이 주로 관리 파이토치 포럼: 독자적으로 운영, 사람들이 질문을 올리면 프레임워크 개발자를 비롯한 많은 사람이 답을 해주는 활발한 교류가 일어나고 있음 기울기 계산을 위한 연산 그래프를 쭉 따라서 미분할 때, 파이토치에서는 backward() 함수 호출을 통해 자동으로 계산할 수 있다. 내부적으로 CUDA, cuDNN이라는 API를 통해 GPU를 통한 연산이 가능하게 함 -> 연산 속도가 CPU에 비해 15배 이상 빠름 CUDA: 엔비디아가 GPU를 통한 연산을 가능하게 만든 API 모델 cuDNN: ..

🔗 퍼셉트론 인공 신경망(Artificial Neural Network, ANN)의 구성요소로 다수의 값을 입력 받아 하나의 값으로 출력하는 알고리즘. 이진 분류(Binary Classification) 모델을 학습하기 위한 지도학습(Supervised Learning) 기반의 알고리즘. 이진 분류: 고양이와 강아지 사진을 무작위로 보여주었을 때 고양이 사진인지 강아지 사진인지 분류하는 것. ← 고양이, 강아지와 같은 선택지를 클래스라고 부르고 선택지가 2개인 경우를 이진 분류라고 함. 지도학습: 데이터(=feature)와 정답(=label)을 모두 활용하여 학습하는 방식. 예를들어 강아지와 고양이 사진을 분류하는 모델을 학습할 때 동물 이름까지 함께 알려주는 경우. 📍 퍼셉트론의 동작과정 다수의 값 x..

🔗 선형 회귀 분석이란? 딥러닝 알고리즘 학습 시 사용 되는 “최적화 방법” 중 하나로 , 주어진 데이터들을 가장 잘 설명하는 “직선” 하나를 찾는 것. = 딥러닝 알고리즘 학습 시 목표는 예측값과 정답값 간의 차이인 손실함수의 크기를 최소화시키는 파라미터를 찾는 것 단순 선형 회귀: 하나의 독립변수에 대해 선형회귀분석을 하는 것. 예: y=wx+b. 키에 따라 몸무게가 달라짐(키-독립변수, 몸무게-종속변수) -> 이 식을 구한다면, 일반적인 사람의 키에 따른 몸무게를 예측할 수 있다. 위의 식에서 w와 b는 Weight와 Bias로 가중치와 편향을 의미한다. 다중 선형 회귀: 독립변수가 여러 개인 경우에 대해 선형 회귀 분석을 하는 것. 선형 회귀를 통해서 “변수간의 상관관계”를 알 수 있다. 선형 회..