"음 그걸 이해하려면 먼저 퍼셉트론이 어떻게 학습하는지 알아야 해"
-"퍼셉트론? 그게 뭐야?"
"퍼셉트론(Perceptron)은 쉽게 말하면 여러 뉴런이 한줄로 세워진 거라고 보면 돼"
"기본적으로 딥러닝에서 말하는 뉴런은 생물학적 발상에서 차용한 부분이 있긴 하지만 근본적인 작동 원리는 완전히 달라"
"수식으로 퍼셉트론은 하나의 선형적인 함수가 되고, f(x) = wx+b 라고 표현할 수 있어."
"여기서 b(bias)는 일단 지금 무시하고, 사실상 우리가 배우려는 것은 w(weight), 즉 가중치야."
-"가중치를 배워야 한다는 건 알겠어. 그러면 이걸 어떻게 배운다는 거야?"
"배우려면 일단 예측한게 맞는지 틀린지부터 알아야겠지?"
"그래서 예측된 값과 참값 간의 차이를 측정하는 손실 함수(loss function)를 계산하게 돼."
"여기서부터 중요한 부분인데, 우리는 이 손실 함수를 가중치 w에 대해 미분할 거야."
-"미분? 왜 갑자기 어려운 용어를 쓰는거야?"
"자자, 걱정하지 말고."
"함수를 특정한 변수에 대해 미분하면 변수의 변화에 따라 어떻게 함수값이 바뀌는지 알 수 있어"
"간단하게 f(x)=x^2 라는 함수를 생각해 보자구."
"이 함수를 x에 대해 미분하면 f'(x)=2x라는 식으로 바뀌는 것까진 알겠지?"
"그리고 이 미분값은 원래 함수의 접선의 기울기를 나타내기도 해."
"이 미분식을 보면 x가 양수일땐 미분값이 양수, x가 음수일땐 미분값이 음수라는 사실을 알 수 있어."
"따라서, x가 양수일 때의 함수 접선들은 모두 양의 기울기를 가지고, x가 음수일 때의 함수 접선들은 모두 음의 기울기를 가진다고 말할 수 있지."
"그리고 우리는 이런 기울기 정보를 이용해서 f(x)가 최소값으로 수렴하도록 할 수도 있어."
"방법은 간단해. x에 미분값 만큼 빼면 되는 거야."
"이렇게 하면 x가 음수일 땐 x에 양수가 더해지고, x가 양수일 땐 x에 음수를 더해서 결국 0에 수렴하도록 할 수 있지."
"참고로 수식적으로 표현하면 x - μf'(x) 가 된다구."
"μ는 학습율이라고 하는 상수인데, 함수가 수렴할 수 있도록 적당히 작은 값을 넣어주면 돼."
-"아, 그러면 w에 대한 손실함수의 미분값을 이용해서 w를 바꾸는 방향을 알 수 있는 거구나!"
"바로 그거야!"
"이런 식으로 w값을 계속 반복적으로 변화시키다 보면 손실함수 값이 최소화 되는 지점으로 수렴할 수 있어."
"딥러닝도 기본적으로는 이와 같은 방법으로 모델을 학습해."
"다만 퍼셉트론의 경우에는 층이 하나밖에 없는 단순한 구조고, 딥러닝 모델은 이런 퍼셉트론이 겹겹이 쌓여있는 구조야."
"문제는 깊숙한 층에 있는 뉴런들을 학습시키려면 또다른 방법이 필요해."
"그게 바로 연쇄 법칙(chain rule)이야."
-"연쇄법칙? 그건 또 뭐야?"
"연쇄법칙은 미적분학을 배웠다면 알 수 있는 개념이야."
"y를 x에 대해 미분하려고 할 때, 우리가 바로 미분할 수 없는 경우가 간혹 생겨."
"그러데 만약 y를 u에 대해 미분한 식과 u를 x에 대해 미분한 식을 이미 알고 있다면, u를 중간에 엮으면서 결과적으로 y를 x에 대해 미분할 수 있거든."
"딥러닝 모델의 각각의 층을 하나의 변수라고 생각한다면, 마지막 층의 변수에서 첫번째 층까지 연쇄적으로 이 법칙을 이용해 미분할 수 있게 돼."
-"아~ 완벽히 이해했어."
"이 방법을 사람들은 역전파(backpropagation)라고 불러. 가장 마지막 층부터 첫번째 층까지 연쇄적으로 손실함수의 기울기를 전파하는 방법이라고 볼 수 있어."
"딥러닝 분야가 발전하면서 일반적인 퍼셉트론에서 변형된 버전인 컨벌루션 신경망(CNN)이나 순환 신경망(RNN) 같은 것들이 나왔지만, 기본적인 학습 방법은 역전파 방법에서 벗어나지 않아."
-"그렇구나! 노아쨩은 정말 대단해!"
"훗! 이쯤은 문제 없다구!"
[25]
루리웹-28749131 | 09:01 | 조회 0 |루리웹
[16]
5324 | 09:00 | 조회 0 |루리웹
[8]
루리웹-3599185920 | 08:59 | 조회 0 |루리웹
[22]
예스교미 | 08:55 | 조회 0 |루리웹
[3]
루리웹-1099037706 | 08:57 | 조회 0 |루리웹
[12]
빵을만들어봐요 | 08:53 | 조회 0 |루리웹
[28]
루리웹-0083570067 | 08:53 | 조회 0 |루리웹
[39]
잭 그릴리쉬 | 08:50 | 조회 0 |루리웹
[17]
제리봉봉 | 08:44 | 조회 2382 |보배드림
[7]
Joon7954 | 08:30 | 조회 2575 |보배드림
[2]
wonder2569 | 08:22 | 조회 440 |보배드림
[6]
난니들이두렵다 | 08:47 | 조회 0 |루리웹
[8]
5324 | 08:45 | 조회 0 |루리웹
[15]
감동브레이커 | 08:36 | 조회 0 |루리웹
[16]
도룡뇽알 | 08:51 | 조회 332 |SLR클럽
음 그렇군
아 완벽하게 이해했어
대충 극한 개념하고 비슷하다고 생각하면 되는건가
시벌 중간에 눈 돌아가는 개구리가 내 지금 심정이다 ㅋㅋㅋㅋ
아니..
차수가 엄청 낮은 함수들은 이미 공식화 다 되어서 쉽게 가져다 쓸 수 있다구!!
아.. 학부생때 뭣도 모르고 삼각함수로 만든 측정함수 만든다 했다가 개고생하고 결과도 비참했던거 생각나네 ㅠㅠㅠㅠ
나는 무슨 말인지 전혀 모르겠지만, 혹시 누군가는 알아들을지도 모르니 일단 추천.
노아쟝이 학부생에서 이제 석박사로 넘어가는거 같아.....
이글에 추천주는 사람들은 글 다읽어는 봤음?
뭔데 한달간 피똥싸면서 배운게 한눈에 바로들어오냐...