2024년 패스트 캠퍼스 챌린지
패스트캠퍼스 환급챌린지 11일차 미션 (2월 11일) : 30개 프로젝트로 끝내는 추천시스템 구현 초격차 패키지 강의 후기
조이쓰
2024. 2. 11. 18:31
강의 내용 Review
📍배운내용📍
- 해석 가능한 AI
👉강의내용👈
해석가능한 AI
- 추천시스템의 특성과 장단점을 살펴봄 , 다양한 문제를 해결하는 방법 알아봄
- 도메인 종속성: 서비스 도메인에 따라 추천되는 아이템 족속성이 다르고 비지니스 종속성이 크다.
- 추천 시스템 특성상 협업과 붙어 커뮤니케이션이 됨
- 추천이 왜 되는지 이유 및 추천의 이유가 직관적인 이해가 필요함
- 단순한 모델을 쓰면 설명이 가능하지만 성능이 낮음
- 유저 입장에서 어떤 이유에서 이런 것이 측정되었는지 필요함
- XAI알고리즘이 개발되고 연구되고 있음
- 모델의 설명성과 신뢰성과 투명성을 확보함
- 모델판단이 생명이나 재산에 영향을 줄수있는 경우 사용할수있음
- GlassBox : 코이피션트를 통해 모델의 판단이 어떤 방향으로 이루어지는지 알수있음
어떤 유저의 추천의 이유를 알수있음 - BlackBox: 효율성과 성능을 위해 블랙박스 모델을 사용함
- XAI의 필요성:
- 머신러닝 모델의 디버깅에 중요함,
- 사용자의 신뢰성을 높일수있음(추천의 근거를 알고싶을때)
- 모델의 편향을 분석할수있음(추천 모델의 편향이 있을때 모델의 공정성에 대해 말할수있음)
- 모델의 판단을 분석함으로 나이 ,지역, 성별 추천에 편향이 있는지 판단해주는 방법론 제시
- Lime : 작은 선형 모델을 사용해 복잡한 모델의 판단을 대신해서 해석함
- 대리 분석: 설명하고자 하는 모델이 복잡한 경우 해석가능한 대리 모델을 사용함
- 글로벌 대리분서의 장점은모델 어그노스틱 함 (~에 상관없이)
- Global/Local 대리 분석
- Global : 전체 모델의 판단 방식을 새로운 블랙 박스 모델을 사용해 판단하는 방식
- Local: 개별 샘플에 대해 모델의 극소적인, 로컬적으로 분석함
- 라임알고리즘: 예측을 내림에 있어 어떤 피처가 어떤 중요도로 사용됐는지 해석가능한 설명제공
- 로컬: 판단중에서도 지역적인 판단을 함
- 라임에 경우 매우작은 샘플 하나의 특징, 샘플 그룹만 분석함
- 모델 어그노스틱: 어떤 모델에 대해 학습하고 판단을 내렸는지에 대해 무관하게 사용가능(~와 무관하게)
- Lime 학습 매커니즘: 모델의 판단을 로컬하게 집중해서 봄
- 결정경계 가운데 지엽적인 로컬한 선형회귀 선을 그어 회귀식의 계수를 사용해서 모델의 판단 매커니즘 분석
- 선형의 결정경계를 가짐
- 학습 매커니즘
1) 데이터를 뒤섞어 페이크 데이터를 생성함
2) 데이의 거리 잼
3) 블랙박스 모델을 이용해서 새로운 데이터를 대상으로 예측 수행
4) 결정경계
4) 뒤섞은 데어토로 복잡한 모델 출력 피처 선택
5) 이 피처들로 선형모델을 피팅함
공부사진
11일차 후기
XAI가 요즘 많은 연구에서 보이던데 나도 적용해보고 싶다.
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.