2024년 패스트 캠퍼스 챌린지
패스트캠퍼스 환급챌린지 12일차 미션 (2월 12일) : 30개 프로젝트로 끝내는 추천시스템 구현 초격차 패키지 강의 후기
조이쓰
2024. 2. 12. 22:42
강의 내용 Review
📍배운내용📍
- SHAP알고리즘
- EBM 알고리즘
👉강의내용👈
SHAP알고리즘
- 피처의 기여도를 기반으로 전체 모델, 개별 데이터 포인터에 대한 변수의 중요도를 설명하는 알고리즘
- 설명가능한 알고리즘의 한종류
- 쉐플리 value : 전체 결과에 대한 기여도를 각각 플레이어에 대해 공정하게 나눌수있도록 계산 한 값
- 예측에 대한 피처의 기여도를 계산
- 모델의 피처가 추가될때 예측이 얼마나 변하는지를 계산, 가능한 모든 피처 조합의 평균을 구함
- 피처간의 총 예측을 분배하는 방식으로 피처간의 공정성 보장
- 블랙 박스 모델의 경우 각 피처의 값이 있을때 0.4의 값이 나오는데 Shaplye value는 전체 예측에 대해 각 피처의 기여도를 계산
- ex) 대학교에서 팀플을 할때 서로에게 필요하지만 남이 해줬으면 좋겠는 경우
- 팀플을 진행할때 각 기여도에 따라 점수를 차등하게 준다고 할때 공정성을 기반으로 Shaply value를 계산
- SHAP 수식
- 1) 파이i : 모든 가능한 연합, 조합에서 만들어낸 유저의 shaply value, 유저가 평균으로 기여한 한계 기여도 의미, 한계 기여도: 유저 한명이 추가됐을때 변하는 평균적인 기여도 의미
- 플레이어의 기여도에 대해 영향가가 많은 정보를 제공하면 좀더 높은 가중치를 줌
- i번째 플레이어가 암시하는 i번째 플레이어를 포함한 전체 기여도에서 나머지가 기여한 정도를 의미
- 2) F: 전체 플레이어
EBM 알고리즘
- 블랙박스를 해석하는 모델 : Shap, Lime
- 블랙 박스 기반으로 XAI를 제공한 모델 : 설명가능한 부스팅 모델
- 부스팅 모델: LightGBM
- 모델과 설명가능성에 대해서는 떨어짐
- 본질적으로 블랙박스로써 설명이 가능한 장점이 있음
- EBM은 하나의 모델이 판단을 내렸을때 왜 내렸는지 알수 있음
- 실제 샘플 데이터에 써보면 더 좋은 성능을 보임
- 단순한 예측 모델을 여러게 더함으로 복잡한 모델을 표현한 동시에 설명가능한 가능성을 설명함
- 각각 피처에 대한 함수 F, J를 배깅하고 전에 못맞췄던 것을 좀더 개선해서 예측을 하는 방식으로 학습
- Xi와 Xj : 두 피처를 조합해 새로운 피처를 만들어서 사용함
- 페어와이즈 인터럭션
- 부스팅 모델 같이 하나의 위크러너로 시작
- 작은 학습률을 주면서 과적합을 막음
- 학습에 오랜 시간이 걸림
- 설명가능한 예측을 제공하는것이 장점
공부사진
12일차 후기
오늘도 많이 듣지는 못했다. ㅠㅠ 얼른 듣자
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.