패스트캠퍼스 챌린지 - 50일차

강의 내용 Review

---

📍배운내용📍

• 피드포워드 네트워크
• 변환함수 
• 히든레이어 
• 활성화 함수 

👉강의내용👈

Part5. 딥러닝 기초 알고리즘 및 최신 트렌드 알고리즘

Ch 02. Feedforward Network

피드포워드 네트워크

• 피드포워드(feed-forward)
  • 정방향으로 정보를 전달하는것 
  • 다층 퍼셉트론, 합성곱 신경망, 셀프 어텐션

• 피드백
  • 반대 방향으로 가는것 
  • 디컨볼로션 신경망

• 양방향으로 가는것
  • 중첩 오토인코더 
  • 깊은 볼츠만 머신

변환함수

• 비선형적으로 표현하기 위한 함수 
• 데이터의 표현형 혹은 피처를 알기위한 변형함수의 선택방법
• 1. 직접 함수 디자인 -> hand-craft
• 2. 포괄적인 함수를 고름 -> 커널 : 어떤 차원으로 보내버림
• 3. 딥러닝이 변형 함수 자체를 학습하게 함, 이 경우 변형함수는 비선형이여야 함 
• 비선형이 필요한 이유는 선형으로 분류 불가한 데이터를 공간을 변형하여 분류함 
• VC차원 : H라는 분류기에 의해 최대로 부술수 있는 point수 
• 선형분류기 VC차원 : n+1차원

히든 레이어

• 앞단의 input unit, 전단의 hidden units으로 부터 선형으로 변형을 받은뒤, 활성화 함수등으로 비선형으로 만듦 
• output unit도 활성화 함수를 넣을수도 있고 안 넣을수도 있음 

활성화 함수

• 시그모이드나 tanh를 쓰게되면 점점 히든레이어가 쌓일 수록 기울기 손실 문제가 생김
• -> 점점 변화가 없어지게 됨
• ReLU를 가장 일반적으로 씀 -> 0보다 크면 자기 값, 아니면 0 
• 희박하게 활성화 시킬수 있음, 많은 연산이 줄어듦
• ReLU의 단점
• -> unbounded해서 무한대 값이 나오게 될때 현상을 막을수 없음
• -> 0이 중심이 아님
• -> Dying ReLU문제 : 끝까지 죽어있는 문제로 기울기 손실문제가 나타나기도함 

 

공부사진 

---

강의 듣기 

강의노트 작성 & 실습화면

50일차 후기

---

패스트캠퍼스 50일 챌린지의 마지막 날이다 
50일동안 좋은 경험했고, 자세한건 최종 후기때 자세히 써야겠다. 

 

 

https://bit.ly/37BpXiC

패스트캠퍼스 [직장인 실무교육]

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.