2024년 패스트 캠퍼스 챌린지
패스트캠퍼스 환급챌린지 16일차 미션 (2월 16일) : 30개 프로젝트로 끝내는 추천시스템 구현 초격차 패키지 강의 후기
조이쓰
2024. 2. 16. 23:38
강의 내용 Review
📍배운내용📍
- Attention 매커니즘
- 행렬기반 분해 실습
👉강의내용👈
Attention 매커니즘
- 모델이 주목할 곳이 어딘지 알아서 찾게 해보자라는 딥러닝 접근법
- 사람의 판단처럼 사황에 맞게 중요도를 고려해서 판단하는것을 모방
- 어텐션: 모델이 문제를 해결할때 집중해야할 것을 찾는 과정
- 문장을 이해하는데 어떤 단어가 중요한지 중요도를 나타냄
- 문장의 모든 단어에 중요도를 고려하는 것이 아니라 중요한 부분을 찾음
- 정보의 효율성과 해석 가능성에 좋은 장점을 가짐
- 시각화가 가능해서 모델이 정보를 어떻게 처리하고 직관적으로 판단을 했는지 확인 가능
- seq2seq: 입력된 시퀀스로 부터 다른 시퀀스 생성
- 인코더와 디코더로 이루어짐, 인코더에서 컨텍스트 벡터를 생성해서 새로운 출력 벡터를 만듦
- 인코더는 입력 받은 코드를 특정 수치로 인코딩
- 이 수치를 복원하는 복호화 과정이 있음
- 입력이 들어오면 특정 출력을 만들수있음
- 컨텍스트 벡터 : 인코더의 모든 스텝이 진행된 후 축약된 정보로 만들어짐
- 입력 문장에서는 토큰화화는 과정이 일어남, 인코더를 통해 컨텍스트 벡터가 만들어지고, 디코더의 입력으로 들어감
- 이전 스텝에서 처리한 토큰의 정보로 부터 다음 토큰을 예측하는 방법으로 순차적으로 만듦
- 한계점: 문장이 길어진 경우 전체 문장의 정보를 담지 못하고 소실됨, 모든 문장을 동일한 중요도가 아니라 중요도를 줄 부분을 주목함
- 어텐션: 컨텍스트 벡터를 만들때 인코더의 토큰이 주어졌을 때 토큰은 query, 쿼리를 대상으로 다른 토큰들 key간의 유사도를 구해서 유사도와 벨류를 곱해서 최종 결과로 만들어짐
- 딕셔너리: 키와 벨류의 쌍의 자료구조
- 유닉크한 키값에 대해 벨류를 찾음 여기에 가중치열이 추가된 개념
- 딕셔너리의 가중치가 soft하게 소수점 값을 가지면 ? 쿼리에 해당하는 모든 키 값와 가중치의 곱 결과를 계산하고 값을 구함
- 어텐션 메커니즘 구조: 쿼리가 주어지면 키에 대해 가중치가 계산됨, 유사도 함수를 사용함
- 각 토큰에 누가 얼마만큼 집중해야하 하는지 계산
- 스케일 닷 프로덕트, 어뎁티브 어텐션 같은 알고리즘 등이 존재 함
- 추천에서 어텐션을 사용하는 방법: 어떤 상품을 사는 거이 유리한지 계산하는 용도로 사용가능
공부사진
16일차 후기
오랜만에 어텐션을 다시 보니 좋았다. 강사님께서 쉽게 설명해주셔서 잘 이해할수있었다.
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.