-
패스트캠퍼스 환급챌린지 21일차 미션 (2월 21일) : 30개 프로젝트로 끝내는 추천시스템 구현 초격차 패키지 강의 후기2024년 패스트 캠퍼스 챌린지 2024. 2. 21. 20:13
강의 내용 Review
📍배운내용📍
- 시퀀스 기반 추천 모델
- 딥러닝을 위한 학습기법(1)
👉강의내용👈
시퀀스 기반 추천 모델
- 어떤 상품을 사고, 사고 할때 순차적인, 동적으로 변화하는 수요가 있을때 잘 잡아내는 것을 최적화 함
- RNN은 이전 정보를 다음 스테이트로 시퀀스마다 전달함으로써 반복적으로 전달하는 구성을 띔
- 시퀀스 데이터에서 맥락적인 정보를 일궈내고 이를 다음 스테이트로 전달하는 효율적인 모델
- GRU4REC : GRU를 추천에 적용 한 모델
- GRU: LSTM과 비슷하고 RNN의 변형, 단순한 구성을 띔
- 셀스테이트가 없고 히든 스테이트를 가져 감으로 기억을 가져갈건지 말건지 처리
- LSTM은 forget게이트가 있지만 GRU는 없음
- 경량화 된 구성과 파라미터로 조금 더 효율적임
- 추천 시스템에 순차적인 패턴과 토큰사이에 시간의 흐름에 따른 종속성을 파악을 하면 이를 잘 마출수 있지 않을까로 접근
- MF는 시간의 정보가 반영되지 않음 예측을 수행할때 과거의 정보를 동일한 가중치로 적용
- GRU4REC: 상품의 구매 순서 시퀀스가 GRU에 들어가게 되고 이후 소프트맥스를 통해 추천 상품이 나오는 구조
- 전개한 모양: 순차적인 출력을 시간의 흐름에 따라 표현하면 Many to Many
- 다음 상품을 예측하는 과정에 히든표현을 업데이트 하고 여러개의 토큰이 주어지면 다음에 어떤 아이템을 추천할지
- 예측 상품이 너무 많으면 샘플링을 하거나, 계층적 소프트맥스를 사용함
- 처음 보는 아이템이 나왔을때 UNK토큰으로 모르는 제품이라고 하고 임베딩 값을 구함
- 시퀀스: 고객이 제품을 본 순서? 길이? 클릭한 순서?
- 시퀀스가 너무 길면 최근 기준으로 100개 정도 자름
- 시퀀스가 너무 짧으면 : 유저가 들어와서 1개만 사고 바로 이탈시 : 제로 패딩
- 룩업 임베딩 메트릭스가 뭐더라?
- GRU레이어 쌓기 : 추천에 적합한 형태로 쌓는 커스터마이징이 있음
- one of and coding : 총 길이가 vocab의 사이즈 만큼 길이의 제품을 나타낸 spars한 벡터
- 인베딩 레이어에서 spars한 것들을 look up을 통해서 임베딩을 조회하는데 사용됨
- look up임베딩을 통과한 input 임베딩이 GRU레이이로 입력됨, GRU레이어에서 이전 히든 상태와 결합이 됨
- 시간에 흐름에 따라 차등적인 정보를 반영함 : 최근의 스테이트를 더 중요하게 봄
- autoRec에서 masked해서 실제 관측된 웨이팅에 대해서만 loss function계산
- 세션 병렬 미니배치: 자연어처리에서는 순차적인 미니배치를 구성
- 추천 시스템에서 세션의(구매내역, 조회내역) 길이의 분산이 큼
- 세션을 병렬적으로 미니 배치로 구성함
공부사진
21일차 후기
지루함을 방지하기 위해 강의 순서를 임의로 변경했더니 왔다 갔다 한다.
GRU4REC에 대해서 배웠다.
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
'2024년 패스트 캠퍼스 챌린지' 카테고리의 다른 글