https://arxiv.org/html/2508.11116v1#bib.bib1 근래 Rag 에 관심이 생겼는데마침 재밌어 보이는 논문이 나와서 리뷰하게 되었습니다. 초록을 먼저 보고 어떤 내용인지 대략적으로 파악했고,Idea를 대략적으로 이해한 다음,Experiment를 보고 이게 실제 효과가 있는 Method인지 확인했고,이후 구현 부분을 보았습니다. 구현은 논문에서 나온 바와 마찬가지로 Formula 위주로 정리하였습니다.구체적인 방법이 안궁금하시면 Result 까지만 보고 슥 넘기면 되겠습니다. 앞으로 논문 읽을 때 이렇게 읽고 정리해보면 어떨까 싶은데.. 혹시 더 나은 방법이나 피드백 있으시면 조언 부탁드립니다. 초록AS-IS논문 초록 수집 및 인덱스 구성 - 디테일한 검색 어려움.BE-TO오..
Paper
MemTensor- 2025.07.08장기 문맥 추론, 지속적인 개인화, 지식 일관성 확보 기존 LLM은 모든 지식을 파라미터(모델 내부 값)으로 저장하거나, 잠깐 쓰고 마는 짧은 컨택스트 (Context Window)에 의존합니다.이를 보강하기 위해, 인터넷 또는 외부 DB에서 정보를 검색해 모델에 넣어주지만, 검색한 내용이 LLM 내 축적되지 않습니다. 최근 연구에 따르면, 파라미터 메모리와 외부 검색 사이에 "명시적 메모리 계층"을 추가하면 특정 지식을 따로 보관했다가 필요할 때만 꺼내 쓰므로 비용(메모리/계산량)을 줄일 수 있다고 합니다. 더보기Hongkang Yang, Zehao Lin, Wenjin Wang, Hao Wu, Zhiyu Li, Bo Tang, Wenqiang Wei, Jinb..
출처: https://arxiv.org/pdf/2405.17247 - meta 2024.05.27추천 받은 논문 리스트:1) https://turingpost.co.kr/p/vision-language-model2) https://github.com/jingyi0000/VLM_surveyFor complete and more technical surveys on VLMs, please refer to Zhang et al. [2024a], Ghosh et al. [2024], Zhou and Shimada [2023], Chen et al. [2023a], Du et al. [2022], Uppal et al. [2022], and Liang et al. [2024]. 메타에서 발표한 Introduct..
Chuang, Yung-Sung et al. ICLR 2024논문 링크, 공식 깃허브 참고 :1. https://heygeronimo.tistory.com/1152. https://www.youtube.com/watch?v=jeml0rMTIao3. Survey of Hallucination in Natural Language Generation (ACM 2023) BackgroundHallucination 문제Contrastive Decoding1) Small LM은 Large LM에 비해 짧거나, 반복되거나, 무관하거나, 흥미롭지 않은 텍스트를 생성하는 경우가 많습니다.2) Large LM은 Knowledge를 비롯한 바람직한 Output을 생성하는 것에 더 높은 확률을 가하는 경향이 있습니다.3) 1..
