Attention1 Seq2Seq vs Attention vs Self Attention 글의 목적 : 한참 쓸때는 잘 알다가 잠깐 안쓰니깐 햇갈려서, 햇갈리는 차이(?)만 그림으로 정리했다. 1. Seq2Seq아래의 그림이 끝이다.1. 각각의 파랑색 cell(STM , RNN 등)들이 흘러흘러~~ 가서 마지막 셀에서 Context vector를 뽑아낸다. 2. 즉, Context vector 는 마지막 cell의 Hidden state이다. 단점 : 1. Context vector는 고정된 사이즈 임으로, 모든 정보를 압축하지 못하는 한계 존재2. RNN, LSTM의 근본적인 한계점인 '장기 의존성 문제' 문제 발생 2. Attention Mechanism아래와 같이 2개의 그림으로 보면 이해가 편하다. -> Seq2Seq 와는 다르게 각각의 셀에서 나온 모든 Hidden state를 활.. 2025. 4. 2. 이전 1 다음
