LongRoPE

딥러닝 공부 다시 시작 (2024.12)

딥러닝논문읽기모임 보면서 잘 모르는 부분이나 질문들을 적어본다.

오늘은 2백만 토큰 컨텍스트 달성! 초 장문 프롬프트 이해하기 LongRoPE : Extending LLM Context Window Beyond 2 Million Tokens 논문리뷰

Q

1. Positional embedding?
2. Positional Extra / interpolation
3. 선형 보강
4. Vector dimension 에 따라서 선형 보강을 다르게 적용
5. YaRN, Perplexity

• 비균일한 positional interpolation 을 적절하게 진행할 방법론
• Context window?