3. Survey of Hallucination in Natural Language Generation (ACM 2023)
Background
Hallucination 문제
Contrastive Decoding
1) Small LM은 Large LM에 비해 짧거나, 반복되거나, 무관하거나, 흥미롭지 않은 텍스트를 생성하는 경우가 많습니다.
2) Large LM은 Knowledge를 비롯한 바람직한 Output을 생성하는 것에 더 높은 확률을 가하는 경향이 있습니다.
3) 1을 완화하고 2를 강화하겠다.
Contrastive Decoding을 Layer 단위로 하면, DoLa
Lower to Higher 로 갈수록 답안이 Seattle에서 Olympia 로 변하고 있다.
Seattle은 근거 없이 예측한 잘못된 추측이라고 볼 수 있겠고, Olympia는 Feature들을 이해하면서 얻어낸 합리적인 추론이라고 볼 수 있겠다. -> Seattle과 같은 Hallucinationd을 줄이겠다는게 위 논문의 아이디어. (별다른 Finetuning 없이도..!)
Next Token x_t를 생성할 때 Sequence = {x_1, x_2, ..., x_{t-1}} 가 1. Embedding Layer 를 통과해 Vector로 표현
2. Transformer Layer들을 통과
3. 마지막 Transformer Layer까지 통과
4. Vocab Head 통과
5. Vocab Distribution 산출
6. Decoding 방법에 따라 Next Token x_t 생성
Early Exit
N 개의 Layer가 있다면, 각각의 Layer에서 앞서 설명한 Next Token Prediction을 뽑아내는 것을 Early Exit이라 합니다. (Teerapittayanon et al., 2016; Elbayad et al., 2020; Schuster et al., 2022)
DoLa's Next Token Prediction
Next Token Probability 산출 시 후반 Layer과 초반 Layer의 Information 을 Contrast
M (Premature Layer) 를 정하는 정의
d : Jensen-Shannon Divergence (JSD) - KL Divergence 두 개를 평균낸 값
N : 마지막 레이어 (Mature Layer)
마지막 레이어와 Divergence가 가장 큰 레이어를 지정
사전 분석
LLaMa - 7B (32 layer)
보라색이 클 수록 JSD 값이 큰 것
Factual Knowledge 가 필요한 Named Entity 또는 Date를 예측할 때, JSD는 후반 Layer에서 매우 높음 ( "Wole Soyinka", "1986" ) => LM은 후반 레이어에서도 Prediction을 바꾸고, Prediction에 Factual Knowledge를 주입하는 구나.
기능어 또는 Input에서 복사해온 토큰 ("first Nigerian', "Nobel Prize")을 예측할 경우, 중반 Layer에서 JSD가 매우 작다. -> Model이 어떤 Token을 생성할지 미리 결정한 것으로 보임.
사전분석 결론 1. 후반 Layer에서와 같이 JSD 값이 급격히 변한 전/후 Layer를 Contrast 하면,Factual Internal Knowledge에 더 의존할 수 있을 것. 2. 동적으로 Premature Layer를 선택하는 방법이 필요.
Dynamic premature layer selection
허구적인 할루시네이션이 가득한 token을 버려야하는데 그게 항상 하나의 layer에 존재하지 않을 것이다.
