목록자연어처리 (1)
내맘대로 코딩
어텐션 메커니즘 (Attention Mechanism)
Attention 도입 이유 디코더가 참고하는 문맥은 입력문이 전부 압축된 하나의 벡터로, 이 벡터는 입력문을 모두 누적하고 있지만, 문장 앞부분의 내용은 너무 압축된 나머지 정보를 거의 잊어버리게 됩니다.인공신경망이 입력 데이터의 전체 또는 일부를 되짚어 살펴보면서 어떤 부분이 의사결정에 중요한지, 판단하고 중요한 부분에 "집중" 하는 방식인 어텐션 메커니즘을 도입하게 됩니다.그렇게 되면, 번역 시에 원문을 다시 재참조하여 현재 디코딩할 단어와 연관된 중요 부분에 집중하게 되고,입력 문장이 매우 길어진다 해도 전체 문맥을 골고루 참고할 수 있게 되므로 더 좋은 번역을 할 수 있습니다.Attention 아이디어 및 컨셉 토큰에 대해 관심 있는 문맥 정보를 끌어오는 알고리즘디코딩 타임스텝에서 필요한 정보를..
딥러닝 (자연어처리)
2024. 10. 29. 12:30