2024년 패스트 캠퍼스 챌린지
패스트캠퍼스 환급챌린지 6일차 미션 (2월 6일) : 30개 프로젝트로 끝내는 추천시스템 구현 초격차 패키지 강의 후기
조이쓰
2024. 2. 6. 23:26
강의 내용 Review
📍배운내용📍
- 손실함수와 최적화
👉강의내용👈
손실한수와 최적화
- 모델이 학습할때 잘못한 판단을 내렸을때 패널티를 주고 학습을 진행
- 패널티를 주는 함수 -> 손실함수
- 정량화 된 값을 줄이는 방식으로 파라미터 업데이트
- 모수적 방식과 비모수적인 방식
- 모수적 방식: 모델이 처음 정했던 방식대로 개수를 정함
- 데이터 분포에 대한 가정이 있고, 학습 파라미터 수가 모델에 의해 정의, 대표 모델: 선형회귀, 신경망
- 비모수적인 방식: 데이터가 학습과정에서 데이터에 따라 달라짐
- 비모수적 방식: 데이터 분포에 대한 가정이 없고, 학습 파라미터 수가 데이터에 따라 달라짐, 대표 모델: 의사결정나무, GAM
- 손실함수 회귀: RMSE, 분류 Cross Entropy
- Cross Entropy: 예측모델과 실제 값의 확률 분포차이를 계산, 불확실성을 나타내는 척도, 특정 확률분포에서 발생하는 사건들을 확률에 맞게 인코딩을 할때 필요한 평균적인 정보량 bit의 수를 의미
- 실제 정답 레이블의 분포를 나타내기 위해서 필요한 정보량 즉 엔트로피 외에 추가적인 엔트로피를 더한 엔트로피값을 의미함, 추가적인 엔터로피: 렐러티브 엔트로피, 실제 라벨과 예측 라벨의 분포 차이
- 경사하강법으로 최적화함, 한 변수에 대해 편미분으로 기울기를 구하는 작업은 손실함수를 최적화 하는 과정, 기울기가 크면 업데이트 되는 양이 커지고 모델의 파라미터가 크게 바뀜 , 반대로 기울기가 작으면 업데이트 되는 양이 작고 모델의 파라미터가 작게 바뀜
- 기울기가 커질수록 업데이트 되는 양이 많아짐
- Gradient Descent 알고리즘 종류:
- Batch GD : 전체 데이터 셋을 사용해서 미분을 하고 기울기를 구함, 연산비용이 큼, 데이터가 클수록 사용할수 없음
- Stochastic GD: 1개로 랜덤하게 샘플링해서 미니배치로 계산하는 방법, 연산비용이작음, 노이즈에 민감함, 스케줄이나 모멘텀 같은 기술을 적용하기도함
- Mini-Batch GD: 두가지 방법을 절충함, N개의 랜덤 샘플로 학습함, 연산비용이 적절하고, 노이즈 민감도가 중간임
- 알파: 학습률, 너무 크면 발산하고, 너무작은면 수렴 하는데 너무 오래걸림
- 처음에는 크게 내려오다가 점점 늦게 내려오는 방식 : 모멘텀 , 스케쥴
공부사진
6일차 후기
실습을 따라 해봐야는데 강의만 봤다.
내일 꼭 따라 해봐야지..!
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.