패스트캠퍼스 환급챌린지 48일차 미션 (3월 19일) : 30개 프로젝트로 끝내는 추천시스템 구현 초격차 패키지 강의 후기

조이쓰 2024. 3. 19. 23:37

강의 내용 Review

메타에서 2019년도 공개한 딥러닝 랭킹 모델
구조는 간단함, 임베딩 모델, 뉴럴네트워크 레이어, 인터렉션 레이어, 예측 레이어가 있음
하이브리드 모델로 deep과 wide를 사용함, 대규모 데이터를 분산적으로 효율적으로 처리함, 개인화 된 추천 가능, 페이스북에서 현재 사용중
덴스피처와 희소 피처를 임베딩 룩업으로 처리하고 피처 상호작용으로 처리하고 마지막에 많은 레이어를 사용해서 처리함
덴스 피처 처리법: 일반 레이어를 쌓아서 처리함, 아웃풋이 임베딩 레이어랑 같아야함, 임베딩 간의 내적을하려면 임베딩의 사이즈가 같아야함
스파스 피차: 임베딩 룩업을 사용하고 상호작용 레이어를 사용하기 위해 같은 사이즈의 임베딩 크기를 가져야함
피처 인터렉션: 내적, 바텀 MLP결과와 합히고 마지막에 시그모이드로 결과예측
심플한 구조로도 좋은 성능을 낼수 있음, 모든 벡터 사이즈가 같아야하는데 이는 피처의 차이(카테고리컬 피처)에 따라 벡터값이 많이 달라지는데 각 피처를 같은 임베딩 크기로 표현하기 어려울수있음
사용자가 많아질수록 임베딩 테이블의 크기가 커짐, 이것을 분산으로 처리하는 것이 중요함

DCN v2 : 구글의 광고 추천에서 사용함
wide and deep을 결합한 구조이고 유연한 모델링이 가능
deep netowrk: 레이어를 쌓는 부분, 입력 데이터간의 연관성 고려함
cross network: 피처 인터렉션을 배우는 부분, 교차항을 고려해서 모델을 잘 학습하게 함
FM: 선형 + 두번쨰 오더를 계산하는 부분으로 나뉨
wide & deep: 딥러닝 네트워크와 FM에서 나오는 크로스 피처를 동시에 사용함
어떤 항을 사용할지 수동으로 선택해야함, 피처 엔지니어링이 증가함
어떤 피처 크로스가 중요한지 찾아주고, 효율적으로 계산가능함
카테고리컬 피처에 따라서 보카 사이즈에 맞에 적적한 임베딩 사이즈 선택 가능, 서로 다른 임베딩 사이즈 선택 가능
성능과 모델 사이즈 간에 트레이드 오프 할수있는 방법을 제시함
stacked와 parallel 구조가 있음, 데이터와 상황에 따라 선택 가능
임베딩 레이어는 비슷함, 크로스 네트워크에 레이어를 겹칠수록 더 계산이 많아지고 레지듀얼을 사용함
크로스 네트워크중 한 파트는 풀리 커넥트드 부분과 같음이후 엘리먼트 와이즈 곱을 x0(처음 들어온 값)와 곱하고 xi를 더함 : 간단하지만 효율적이고 성능이 좋음
Low-Rank 크로스 레이어: 트레이드 오프 구현 가능

얼른 얼른 듣자~!

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

https://bit.ly/48sS29N