Ask and It Knows: LLM의 의심은 물으면 나오지만, 스스로는 결코 꺼내지 않는다

저자

Han Kim

논문

IOV Labs · 오픈 연구 · 6pp · 2026-07-20

초록

LLM은 아는 때와 모르는 때를 같은 어조로 말한다. 전전두엽이 손상된 사람의 작화증과 닮은 증상이다. 이 유비를 주장으로 만들려면 먼저 두 가설을 갈라야 한다. 모델 안에 '모른다'는 신호가 아예 없는가, 아니면 있는데 출력에 닿지 않는가. 우리는 옳은 행동이 서로 다른 4범주 120문항(알려진 사실·희귀 사실·거짓 전제·존재하지 않는 대상)으로 이를 측정했다, 앞의 둘은 답해야 하고 뒤의 둘은 밀어내야 한다. 각 답마다 토큰 단위 불확실성을 기록하고, 별도 호출로 자기보고 확신을 받고, 정오는 다른 모델 계열이 채점했다. 셋을 발견했다. 첫째, 신호는 존재한다. 토큰 엔트로피가 오답을 AUROC 0.945로 예측하며, 작화 순간의 엔트로피는 정답 순간의 14배다. 둘째, 사전등록한 가설이 반증됐다. 자기보고 확신이 오히려 더 잘 예측했고(AUROC 0.999), 따라서 의심은 숨어 있지 않다, 물으면 모델이 말한다. 셋째, 결정적으로 모델은 답하는 동안 그것을 결코 꺼내지 않는다. 존재하지 않는 대상의 93%를 유보 없이 사실인 양 단언한 뒤, 같은 답을 두고 물으면 6.8/10을 매겼다. 임계값 하나짜리 억제 게이트는 발화 오류를 24.2%에서 4.5%로 낮춘다, 커버리지 73%에 오류 25건을 막고 정답 7건을 잃는 교환이다. 유비는 수정돼야 한다. 없는 것은 전전두엽의 판단력이 아니라, 묻지 않아도 작동하는 자동성이다.

키워드

• hallucination
• confabulation
• uncertainty
• logprobs
• entropy
• abstention
• selective prediction
• calibration
• pre-registration
• reproducibility