2024년 패스트 캠퍼스 챌린지
패스트캠퍼스 환급챌린지 41일차 미션 (3월 12일) : 30개 프로젝트로 끝내는 추천시스템 구현 초격차 패키지 강의 후기
조이쓰
2024. 3. 12. 00:40
강의 내용 Review
📍배운내용📍
- 멀티 스테이지 추천 아키텍처
- 멀티 스테이지 추천 예시
👉강의내용👈
멀티 스테이지 추천 아키텍처
- 추천 시스템은 추천이 여러 단계로 이루어짐
- 1) 리트라이벌, 2) 필터링, 3) 스코링, 4) 오더링
- 오프라인, 온라인 추론이 나눠져있음
- 1) 리트라이벌: 후보자 생성 part, 적은 피처를 사용해 서빙이빠름, 수백 만개에서 연관된 수백개를 뽑음 (임베딩 생성 가능 모델을 다 사용가능 -> ANN사용가능)
- 오프라인: 모델을 통해 임베딩 모델학습, 프로덕션에 배포, 아이템에 대해 미리 임베딩 계산, ANN에 만들어서 인덱스 배포
- 개념모델: 쿼리, 모델, 아이템(다큐먼트) ,
- 아이템은 오프라인에서 미리 인덱스를 해서 계산해놓음
- 쿼리 부분은 요청이 들어왔을때 인풋으로 아이템과 쿼리를 임베딩해서 ANN에서 뽑음 온라인에서 계산, 컨텍스트 정보를 같이 넣음
- 두 개는 벡터 차원이 같아야하고, 동일한 임베딩 스페이스에 맵핑이 되어야함
- ANN은 Input 벡터를 가장 가까운 아이를 찾음, 벡터를 넣어서 비슷한 벡터를 찾음
- 정확도와 속도 사이의 트레이드 오프 사이, 정확하지는 않지만 대략적으로 가까운 애들을 찾음
- 2) 필터링: 노출 시키고 싶지 않는 아이템을 추천에서 제외함
- 필터링은 가면 갈수록 적용되는 아이템이 줄어 들기때문에 추천 아이템이 부족 할 경우 때문에 조회다음에 함
- 3) 스코어링: 조회보다는 느리지만 더 많은 피처로 더 정확한 모델의 점수를 매기는데 사용함
- 이진 분류가능한 알고리즘을 사용가능, 유저와 후보 아이템 사이의 추론이라서 아이템 개수만큼 추론해야함
- 4) 오더링: 유저의 아이템 관심사를 나타냄, 비지니스를 고려해야함, 추천 시스템의 목표와 비지니스 목표를 달성하기 위해 사용함
멀티 스테이지 추천 예시
- 도메인 별 예시 와 실예
- 음악: 비슷한 음악 찾기, 쿼리는 음악, 벡터가 된 음악이 ANN에서 찾고, 필터링, 스코어링(유저가음악을 들을가능성 예측), 원래음악과의 유사성 예측
- SNS: 네트워크로 새로운 포스트 찾음, 차단 유저 필터잉, 인터렉션 가능성, 같은 유저의 정보를 고려해서 순서 변경 등(휴리스틱한 룰 적용)
- 도메인 특화 언어(DSL):도메인 특화 언어는 관련 특정 분야에 최적화된 프로그래밍 언어, DSL은 해당 분야 또는 도메인의 개념과 규칙을 사용함
- 인스타그램의 AI추천 : 자체적인 DSL를 사용해 정의함
- 모델 하나가 다양한 태스크를 할수있도록 함
- 임베딩과 인터렉션 피처, 파풀러리티 피처 등 활용해서 추천을 만듦
- 멀티 태스크 예측: 서로 다른 목절을 예측, 각각을 예측해서 특정 가중치를 줘서 최종 스코어를 줌
- 다양성을 높이기 위해 휴리스틱 한 방법을 써서 다양성을 높이려고함
- 오더링 과정의 최종 랭킹을 휴리스틱하게 바꿈
- spark에서 ALS를 쉽게 사용할수있도록 구현하고 있음, 다른 피처 사용못함
- 멀티 스테이지 추천 활용 : 다양한 추천 상품을 적은 리소스를 들여 구현 가능, 모델 재이용 가능, 확장가능성과 유지보수성이 좋아짐
공부사진
41일차 후기
추천 시스템의 다양한 적용사례를 알아볼수있었다.
멀티스테이지를 통한 유용성을 배웠다.
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.