패스트캠퍼스 챌린지 - 29일차

강의 내용 Review

---

📍배운내용📍

• Trainable Models and Params
• 이차함수의 미분

👉강의내용👈

Ch.02 Jacobian Matrix와 Backpropagation

Lecture 1. Why Backpropagation and Jacobians?

Trainable Models and Params

• 입력값이 한개의 스칼라 일때 -> 가중치 : 스칼라값 , 바이어스 : 스칼라값
• 입력값이 벡터일때 (n, ) ->  가중치 : 벡터 , 바이어스 : 스칼라값
• 아티피션 뉴런에 활성화 함수를 적용 ->  가중치 : 벡터 , 바이어스 : 스칼라값
• => 학습 파라미터의 모양
• 뉴런이 모여 덴스레이어가 만들어지면 ->  가중치 : 메트릭스, 바이어스 : 벡터
• 덴스레이어가 모여 덴스레이어들이 만들어지면 ->  벡터와 행렬의 연산이 일어남
• 이미지 데이터가 들어와 Conv Layers를 만들면 -> 몇개의 필터가 있냐에 따라 가중치와 바이어스 값이 달라짐
• 피처 추출기와 분류기 로스율 계산기가 합쳐져 CNN을 이루면 우리가 학습해야할 파라미터가 벡터나 행렬형태나 더 고차원의 텐서형태로 이루어짐 

이차함수의 미분

• 이차함수 y = x^2을 할때 
• 미분하면 y` = 2x 
• x = +2 일때 -> 4
• x = -2 일때 -> -4
• 우리가 찾고 싶은것은 y 값을 최소로 하는 x값
• 미분계수가 +일때는 x축의 -방향으로
• 미분계수가 -일때는 x축의 +방향으로 각각 반대방향으로 움직여아함 
• 딥러닝에서 미분계수는 x값을 미분계수 부호의 반대 방향으로 움직여야 함수값의 최소값을 찾을수 있음 
• 미분계수는 x축으로 움직여야하는 양을 의미함 따라서 갈수록 적게 이동함 
• 처음 미분할 값을 잘못 정하면 계속해서 발산해버림 최대, 최소 값을 가지는 x값에 갈수 없음 
• a 라는 러닝 메이트를 사용해서 너무 빠르거나 느리지 않도록 사람이 설정 -> 하이퍼파라미터 
• 미분을 하는 이유! : 함수값을 최소로 만드는 함수값의 방향과 양을 구하기 위해, 업데이트를 반복적으로 진행 
• 실제 딥러닝에서는 함수의 개형을 모름!  함수값이랑 미분값만 가지고 최소값을 찾아야함 
• 왜 함수값을 최소로 만드냐면 로스를 최소로 만들기 위해서 
• 웨이트를 미분하면서 로스율을 감소시키는 방향으로 계속 해서 업데이트 

공부사진 

---

강의듣기

필기

 

29일차 후기

---

트레이너블 모델의 파라미터의 형태와, 이차함수의 미분과, 딥러닝에서 미분계수의 값에 대해 배웠다. 

 

 

 

https://bit.ly/37BpXiC

패스트캠퍼스 [직장인 실무교육]

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.