패스트캠퍼스 챌린지 - 49일차

강의 내용 Review

---

📍배운내용📍

• 편향 분산 트레이드오프
• bais-variance 트레이드오프
• 정보  

👉강의내용👈

Part5. 딥러닝 기초 알고리즘 및 최신 트렌드 알고리즘

Ch 01. ML 기초

편향 분산 트레이드 오프

• 점추정 : 표본으로 모수의 값에 가깝다고 예상되는 하나의 어떤 함수 cf) 평균
• 함수추정 : x와 y의 관계를 나타내는, 또 x와 y의 관계에 대한 추정
• x와 y를 투영하는 함수에 노이즈가 추가된 식 
• 노이즈는 추론 불가한 에러
• 추정값의 편향(bais)
  • 모델의 예측값들이 평균과 이상적인 모델의 예측 또는값
  • 편향은 이상적이지 않는 것의 평균값 - 이상적 평균값
• 추정값의 분산(Variance) 
  • 모델의 예측값과 모델의 예측 값들의 평균 차이 
  • 표준편차의 제곱
  • 값들이 퍼져있음 
• 노이즈(noise)
  • 실제값과 이상적인 모델간의 차이(줄일수 없는 에러)

Bias-variance 트레이드 오프

• 노이즈 = variance - bias^2
• 모델 수용성이 커질수록 variance가 커짐 
• 모델수용성이 작으면 Bias가 커짐 
• bais는 언더피텅과 관련있음
• variance는 오버피팅에 관련있음 
• 중간값을 잘 찾는것이 중요 

정보 

• 정보는 특정한 관찰에 의해 얼마만큼 획득했는지 수치로 정량화 한 값
• 정보량은 정보가 자주 일어나면 작아짐
• 엔트로피 : 이산 확률 변소의 평균 정보량을 의미함 -> 클수록 정보가 많다
• 콜백-라이블러 발산 : 두 확률 분포의 다른 정도를 나타내는 척도이고 relative entropy라고도 함 
• 크로스엔트로피 : 분류문제에서 많이 사용함 

공부사진 

---

강의듣기

강의노트 쓰기

 

49일차 후기

---

갈수록 어려워진다!ㅠㅠ 어뜩하나, 수식을 하나도 모르겠당ㅠㅠㅎㅎ
얼른 얼른 들어야하는데 진도가 안나간다. 하항! 

 

 

 

https://bit.ly/37BpXiC

패스트캠퍼스 [직장인 실무교육]

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.