2024년 패스트 캠퍼스 챌린지
패스트캠퍼스 환급챌린지 14일차 미션 (2월 14일) : 30개 프로젝트로 끝내는 추천시스템 구현 초격차 패키지 강의 후기
조이쓰
2024. 2. 14. 21:05
강의 내용 Review
📍배운내용📍
- RNN알고리즘
- 손실함수와 최적화 실습
👉강의내용👈
RNN알고리즘
- 텍스트, 음성, 시계열에 사용되고 있음
- 시퀀스 데이터 : 순서 정보를 담은 데이터
- 시간의 흐름의 정보를 담음, 시간의 흐름에 따른 증가, 순서적으로 구매한 제품 데이터
- 시간의 순서를 담는 정보를 NLP는 담을수없다는 단점을 고려해 RNN이 개발됨
- POS(Part of Speech) tagging : 주변 맥락에 따라서 동일한 단어라고 해도 다른 품사가 될수있음
- 단순한 MLP는 데이터 포인터간에 컨텍스트와 순서를 고려하지 않고 입력을 독립적으로 처리
- RNN:기존의 컨텍스트를 고려할수있도록 생성된 모델
- 시간의 흐름에 따라서 출력이 입력으로 들어가고 순환적으로 입력됨
- 이전 스테이트의 상태를 다음 스테이트로 전달함으로 컨텍스트 정보 활용
- 기억 정보를 통해 이전에 무엇을 봤는지 활용
- 히든 스테이트: 각각의 타임스텝이 다음 타임스템으로 넘너갈때 가운데 있는 요약된 정보가 히든 스테이트
- 타임스템에서 히든 스테이트를 가지고 이 히든 스테이트는 전 히든 스테이트와 현재 토큰의 결합된 정보를 가짐
- 히든 스테이트 는 계속 업데이트됨, 벡터의 정보가 섞임
- RNN아이디어 : 토큰의 표현, 이 스테이트의 표현을 히든 스테이트라고 함 -> 이것을 다음 타임으로 전달하면서 모델이 가지고 있던 기억을 다음 타임으로 전달
- 시퀀스로 할수있는 태스크로는 감성분석, 텍스트 생성등 많은 태스크 가능
- 다대다(기계번역, 객체명인식, 품사태깅), 다대일(문장분류)로 사용할수있음
- RNN의 한계: 가중치 소실, 역전파 중에 가중치가 너무 작아질때 생기는 현상
- 히든 스테이트에서 0에가까운 값이 나오면 파라미터가 업데이트가 안될수도 있고 기울기 폭발이 될수도있음
- LSTM: 오래 기억할 정보와 빨리 잊어버릴 정보 나눠서 접근
- 히든 스테이트: 단기 기억 저장소
- 셀 스테이트 : 장기 저장소 역할
- 게이트에 대해서 값이 얼마나 추가될지, 버려질지 정해짐
- 인풋데이터가( 텍스트에 따른 임베딩) 들어오면 이전 타임 스텝의 히든 스테이트가 같이 들어옴
- 과거의 값이 시스모이드를 통해서 과거의 정보를 얼마나 장기기억으로 저장될지 정함(포겟 게이트)
- 모든 정보를 저장하려면 1, 0이면 모두 버려라는 뜻
- 아웃풋 에서 셀스테이트를 얼마나 반영할지 결정함
- 추천시스템에 적용방법: 시퀀셜 추천 시스템에 적용가능 : 그거 샀으면 다음에는 이거 필요하지 않아?
- 협업 필터링, 컨텐츠 필터링 패러다임, 시퀀셜 추천
공부사진
14일차 후기
열심히 듣자~!
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.