-
패스트캠퍼스 환급챌린지 58일차 미션 (3월 29일) : 30개 프로젝트로 끝내는 추천시스템 구현 초격차 패키지 강의 후기2024년 패스트 캠퍼스 챌린지 2024. 3. 29. 23:56
강의 내용 Review
📍배운내용📍
- Doordash
👉강의내용👈
Doordash 머신러닝 기반
- 미국판 배달의 민족 3,200백만 사용자, 음식 배달 서비스
- 음식 배달 도메인의 도전과제 : 온라인 서비스지만 오프라인의 제약이 있음
- 데이터가 spars하고 로컬리티를 띰, 콜드 스타트 문제크고 다양성이 중요하고, 외부적인 요소도 중요함
- 유저가 구매한 것들이 지역기반으로 묶여 있음, 모델이 잘못 학습 할수도 있음
- 웹이나 모바일에서 요청이 오면 백엔트 서치 모듈이 고객 정보를 가져오고, 엘라스틱서치(가게 정보)에 요청을 해서 랭링 스크립트를 써서 돌려줌
- 조회는 지역성이 있기 때문에 Geohash를 사용함, 지역을 나눠서 해쉬로 나타낼수있음
- 비지니스 룰에 따라 가게를 조회함
- 랭킹은 LR를 사용해서 구매 유뮤에 따라서 포지티브, 네거티브 나눔
- 커스터머 정보를 가져와서 피처를 만듦
- 모든 ML모델이 최종 태스크에 쓰여야 하는 건 아님, 다운 스트림 태스크에 맞게 ML모델을 클러스터링 해서 피처를 개발 할수있고 지속적으로 프로파일 업데이트
- 랭킹스크립트를 사용해서 엘라스틱 서치에서 RL을 사용함
- 엘라스틱 서치를 기본으로 리트라이벌과 랭킹 사용함
- 스토어 피드를 개인화 되게 만들기위해 벡터 임베딩 사용, MF를 해도 안됨, Store2Vec을 사용함
- 젠심 라이브러의 Word2Vec을 사용함, 같은 세션에 대한 컨텍스트를 사용함
- ID기반으로 데이터가 들어가기 때문에 모델의 재학습이 필요함, 임베딩이 새로 생기기 때문에 다운 스트림 태스크에 재학습 필요함, 사이드 임포메이션 사용 불가능
- 2020 : 독립적인 피처 스토어를 사용함
- 온라인으로 오프라인 기반 추천을 해야함, 이때 GeoHash기반으로 간단한 조회 가능함
Doordash 딥러닝 기반
- 트리플렛 로스와 샴 네트워크를 사용함
- 카탈라고 아이템은 음식을 말함, 아이템과 쿼리를 임베딩 해서 사용함
- 하나의 엔티티를 임베딩하면 다른 아이템도 임베딩 가능함
- 선호하는 음식을 통해 고객과 식당이 임베딩이 됨
- word2vec은 세션기반이라서 매번 재학습을 해야함, sparse함
- 슈퍼바이즈 러닝은 레이블을 분류하도록 학습을 함, 그 전 레이어를 사용했음 , 임베딩이 메트릭을 특징을 가질거라는 보장이 없음, 쿼리 임베딩을 할때 샴 네트워크로 내적을 하도록 재학습 함
- 고퀄 레이블을 가지기 어려움
- BERT의 임베딩을 사용하지 않은이유? 무거워서
- 샴네트워크는 모델들이 같은 가중치를 공유함, 트리플렛 로스를 사용함
- 포지티브와 네거티브가 포함됨, 쿼리와 포지티브 한것은 가깝게, 아닌것은 멀게, 정확한 네거티브가 필요함
- 리트라이벌, 필터링, 스코어링, 보더링 까지 새로운 프로덕트를 생성가능함
공부사진
58일차 후기
추천 시스템에 대해 배웠다.
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
'2024년 패스트 캠퍼스 챌린지' 카테고리의 다른 글