패스트캠퍼스 환급챌린지 46일차 미션 (3월 17일) : 30개 프로젝트로 끝내는 추천시스템 구현 초격차 패키지 강의 후기

강의 내용 Review

---

📍배운내용📍

• Two tower Architecture
• 유튜브에서 적용

👉강의내용👈

Two tower Architecture

• 조회알고리즘 중 하나 
• 평가 시 좋은 확인 사항: 성능, ANN 사용 여부, 유저, 아이템 사이드 피처 사용여부, 콜드 스타트 유저 재학습 여부 등등 
• NeuralCF: 기존의 내적 방법이 뉴럴 네트워크 레이어로 변경함, ANN을 사용하지 못함, 실제 사용하기어려움
• Tow-tower: 내적은 유지하고, 유저와 아이템 피처를 뉴럴 네트워크로 계산 
• 자유도가 높고 유저와 아이템 타워의 추론이 분리 되어있음, 처음 학습을 할때는 전체적으로 하지만 추론시에는 각 모델을 사용함 
• 유저는 온라인 추론이 가능하고 아이템 타워는 미리 계산해야 하기 때문에 오프라인 추론임
• 컨텍스트는 시간과 공간, 위치에 따라 달라지는 다이나믹 한 피처이고 현재 지금 상황에서 현저하게 달라짐 
• 사이드 인포메이션는 컨텐츠 데이터와 메타다에터 같은 변하지 않는 데이터(가격, 감독 등등)
• Tow-tower ANN이 가능하고, 아이템, 유저의 사이드 정보 사용가능 함
• 피처로 넣을 수있는것: 아이템(아이디, 가격, 카테고리..) ID는 없지만 사이드 정보가 있으면 합리적인 임베딩 가능
• 성능 데이터를 넣을수있음, 재학습없이 사용가능 
• 유저 타워: 온라인 추론, 요청당 한번(컨텍스트를 포함)  유저 임베딩을 만듦, 상황에 알맞는 벡터를 만들기 위한 전략
• 아이템 타워: 오프라인 추론, 아이템당 한번씩 임베딩만들고 ANN에 넣음

소프트맥스 DNN

• 두개의 공통점은 아이템은 오프라인, 쿼리는 온라인에서 계산됨 
• 쿼리에는 컨텍스트 벡터 추가 가능, 쿼리와 아이템에 대한 동시 학습 
• 소프트맥스 DNN은 아이템에 대한 정보는 학습 안함, 유저가 최근에 본 아이템을 보기 위한 용도만 있음 
• 비디오 벡터는 미리 만들어 놓고, 만들어 놓은 얘를 유저 벡터가 비디오벡터와 유사해지도록 학습 함 
• 투타워 아키텍처: 카테고리컬 임베딩이 들어가면 유저, 시드,  후보자 피처 
•  L2 Norm을 쓰는데, 1이 되어서 코사인과 내적이 같은 값이됨 
• 쿼리: 소스비디오(현제 보고 있는 비디오), 컨텍스트: 유저이면 후보자 비디오가 나옴 
• 투타워의 레이블은 네거티브를 잘 정의하고 샘플링 하는 것이 중요함 
• in batch begative : 오로지 positive레이블만 사용하는 경우, 오직 positive 레이블만 사용함
• 배치 내에 존재하는 다른 임베딩과 내적을 함, 데이터셋이 매우 작아짐, 배치 사이즈에 따라서 결과가 달라짐, 실제 분포가 달라짐 

 

공부사진 

---

 

46일차 후기

---

추천 시스템의 다양한 모델의 구조를 봤다. 

 

 

 

 

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

https://bit.ly/48sS29N