패스트캠퍼스 챌린지 - 30일차

강의 내용 Review

---

📍배운내용📍

• 전체개념
• Backpropagation

👉강의내용👈

Ch.02 Jacobian Matrix와 Backpropagation

Lecture 1. Why Backpropagation and Jacobians?

전체 개념

• 어떤 뉴럴 네트워크 안에 많은 가중치와, 바이어스들이 존재하고 그것을 로스에 대해 편미분 해야 함 
• 합성함수와 체인 룰의 개념이 필요함 
• 함성함수 y = f4(f3(f2(f1(x))))
• 인터널 베리어블을 사용하여 연산가능 
•  u1=f1(x) , u2=f2(u1), u3=f3(u2), y=f4(u3)
• 각각에 대해 출력 값에 대한 미분이 가능함 , 각 함수마다 미분 값을 구할 수 있음
• 함숫값을 구하는 과정과 체인룰을 구하는 과정이 반대방향 forward방향, backward방향 

Backpropagation

• 함수 4개가 있었을 때  편미분들이 가능하고 , 체인 룰을 이용해서 각각의 단계마다의 미분 값을 구할 수 있음 
• 뉴럴네트워크에서 입력이 y^이고 출력이 로스
• 이 이전 뉴런에서는 입력이 z[O-1]이고 출력이 y^
• 즉 스스로 편미분값을 가지고 있음 
• 뉴럴네트워크의 z는 텐서이지만 체인룰의 원리랑 동일함 
• 편미분은 각각의 원소에 대해서 미분을 함 
• Z[5] = A[4]* W[5] + b[5] 입력, 가중치, 바이어스에 대해 각각 미분 
• 수식 전개해보기 
• 덴스레이어는 앞에 레이어가 전달해주는 값에다가 W, B에 대한 편미분을 구해주면 됨
• 입력값은 backpropagation이 일어나지 않음 
• 뉴럴네트워크는 W, B가 고차원의 값이나 텐서로 이루어져 있음 
• 미분 값이 필요한 이유! : 로스율을 줄이기 위해 파라미터가 어떻게 가야 하는가? 

공부사진 

---

강의듣기

강의 필기 

 

30일차 후기

---

backpropagation의 개념과 Jacobian의 연산에 대해 전체적으로 배웠다.
벌써부터 어렵다. 하하 ㅠㅠ 얼른얼른 듣자!!

 

 

 

https://bit.ly/37BpXiC

패스트캠퍼스 [직장인 실무교육]

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.