-
패스트캠퍼스 환급챌린지 44일차 미션 (3월 15일) : 30개 프로젝트로 끝내는 추천시스템 구현 초격차 패키지 강의 후기2024년 패스트 캠퍼스 챌린지 2024. 3. 15. 18:18
강의 내용 Review
📍배운내용📍
- 메트릭
- BARS 소개
👉강의내용👈
메트릭
- 오프라인 메트릭과 비지니스 메트릭의 차이
- 오프라인 메트릭은 모델을 학습 할때 학습하는 과정에서 모델의 성능을 비교하기 위한 메트릭
- 실제 AB테스트와 연관된 메트릭을 사용해야함
- Ranking metric, Classification Metric 이 있음
- Classification 중요한 이유는 랭킹모델은 이진 모델로 많이 써서 Classification 메트릭이 중요함
- 정밀도와 재현률은 정밀도에 따라 트레이드 오프 관계임
- AUC: TPR과 FPR로 점을 찍어 계산 : 모든 Threshold에 상관이없고 순서만 확인함
- 모든 예측결과를 정렬하고 Threshold를 적용하며 그래프 그림
- AUC PR은 Positive를 찾는데 집중 되기 때문에 분균형 데이터에 유용, 왜냐하면 데이터가 불균형하면 긍정이 엄청 작음
- AUC - ROC: 클래스 분포와 관련없는 성능을 보임, 클래스 분포가 균일할때 사용함
- Expected calibration Error: 실제 모델이 측정한 확률이 정말 그 확률일까? , 예측확률과 실제 확률이 얼마나 일치하나? 광고 추천의 순위를 이익을 기반으로 메길때 예상되는 금액을 만들수있는데 실제 확률이 예상확률과 가 다르면 칼리브레이션이 필요함
- 온라인 메트릭: 실제 배포되어 사용중인 모델에 대해 동일 한 결과를 보이는지?
- 학습 데이터셋이 잘 구성됐는지, 모델의 재학습 필요여부 확인 하는 것, 데이터 분포가 다르면 재학습 필요함
- 온라인과 오프라인 결과가 차이나면 재학습을 해야함
- 단기 경우는 AB 테스트를 사용하고, 장기는 Holdout을 사용함
- Holdout : 장기적인 변화를 측정하기 위해서 아예 변화가 없는 기본 그룹을 만들어서 이것만 장기간 들고감
- 실제 비지니스에 도움이 되는지 확인하는 메트릭: 이루고자 하는 목표의 변경사항이 있을때 실제로 발생을 했는지 확인, 실제 가설에서 검증하고 하는것은 아웃풋 메트릭
- 도메인 별로 다른 메트릭 : 음악, 비디오 스트리밍, 이커머스, 여행 호텔 예약 서비스, 음식 배달, 소셜미디어 등 중요한 피처들을 뽑아야함, 모델이 직접적으로 최적화 할수없음, 모델은 GMV를 늘릴 액션을 최적화 함
- 추천 시스템의 목표: 노블티(참신함), 다양함, 커버리지(아이템을 얼마나 추천 하는지? 정당한 노출횟수) , 우연성(예상치 못한 추천으로 고객들을 놀라게 함) <- 추천 시스템의 신뢰를 주기 위함
BARS 소개
- 실무 추천 알고리즘 : BARS 추천 알고리즘, 추천 시스템 벤치 마킹
- 표준화된 벤치마킹, 파이프라인 등 매칭(리트라이벌)과 랭킹(스코어링)으로 구성됨
- CTR, 후보자 매칭으로 나눠져있음
- 오픈된 데이터셋과 어려 태스크, 오픈소스, 리더 보드 있음
- 데이터 셋에 따라 결과가 달라서 모델을 잘 찾는것이 중요함
- 실제 제품에서 사용되는 모델은 정확히 모델을 특정하기 어려움, 데이터와 디테일이 중요함
공부사진
44일차 후기
추천 시스템의 여러 메트릭에 배웠다.
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
'2024년 패스트 캠퍼스 챌린지' 카테고리의 다른 글