-
패스트캠퍼스 환급챌린지 39일차 미션 (3월 10일) : 30개 프로젝트로 끝내는 추천시스템 구현 초격차 패키지 강의 후기2024년 패스트 캠퍼스 챌린지 2024. 3. 10. 23:44
강의 내용 Review
📍배운내용📍
- 추천모델 히스토리
- 유튜브 추천 아키텍처(1)
👉강의내용👈
추천모델 히스토리(딥러닝)
- 추천 시스템의 분류가 후보자 생성과 랭킹으로 구분 할수있음
- 유튜브는 수백만게 알고리즘에서 몇 백개 추천 하는것, 여기서 랭킹을 메김
- 후보자 추천: 오프라인 계산에서 적은 피처를 사용하는 경우 많음
- 랭킹 : 온라인 계산과 다양한 피처를 사용해서 모델을 만듦, 모델이 무겁고 시간같은 컨텍스트 정보가 들어감
- 현업 추천모델은 후보자 추천과 랭킹으로 나눌수 있음
- 선형회귀에서 딥러닝 모델만 바꿈, 어텐션, 강화학습, 지식기반
- 실제로 산업에서 쓰는 모델은 오프라인 메트릭에서 끝나는 것이 아닌 실 상황을 많이 반영함
- Deep Crossing : 임베딩(카테고리컬 피처를 사용하는 방법) , 스택킹(하나로 합침), 잔차 연결
- 유튜브 DNN: ANN을 이용해서 후보 생성함, 벡터가 주워졌을때 유사한 벡터를 찾음, 대락적인 몇개의 후보
- 아키텍처는 특별한 것이 없음, 내용이 베이스적임
- NeuralCF: 닷프로덕트 부분을 딥러닝으로 바꿈, 사이드 정보를 사용하지 못하는 단점이 있음
- Tow-tower: 닷 프로덕트는 두고 레이턴트 벡터를 만드는 부분을 바꿈, 다양한 피처를 넣어서 임베딩을 생성함
- 효율적이고 사이드 정보를 사용할수있음, 닷 프로덕트가 ANN의 핵심
- Wide&Deep : 앱추천에 사용됨, 크로스 피처를 어떻게 더 잘 배울수 있을까?
- 도메인 전문가가 직접 크로스 피처를 생성해야 했음
- AFM: 크로스 피처를 배우는 부분은 어텐션 메커니즘을 사용해서 배웠음
- DeepFM: wide부분이 FM으로 변경됨, 카테고리 피처를 먼저 임베딩하고 , 첫번쨰 순서 피처를 각각의 임베딩을 통해 크로스 피처의 가중치를 계산함. 크로스 피처를 위한 피처 엔지니어링이 불필요해졌음
- 같은 카테고리컬 피처라도 임베딩 차원이 다름, 어휘 사전이 작고, 큰 애들을 같은 임베딩 차원으로 하는 건 문제 있음
- DCN v2: 크로스 피처 선택 필요없고, 카테고리컬 피처가 같은 임베딩 값 안가져도 됨
- NLP inspired model : 어텐션을 적용한 모델
- Deep Interest Network: 실시간 유저 상호작용을 어텐션을 통해 집중함
- BERT4Rec: BERT를 추천에 적용, 준지도 학습, 사전 학습 임베딩을 하고 다운스트림에 적용
- Graph Neural Net: 소셜미디어추천에 많이 사용됨, 사이드 정보 사용못함, 지식 그래프를 사용함, 노드 엣지, 두 사이의 관계를 표현한 정보
- 산업계의 논문이 실사용을 고려해 실용도가 높음
공부사진
39일차 후기
추천 시스템의 실사용 논문을 잘 확인 해보는 것이 중요!
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
'2024년 패스트 캠퍼스 챌린지' 카테고리의 다른 글