AI가 입을 열기 전에 마음을 읽는 법: '프로빙(Probing)' 기술이란?

상상해보세요. 우리가 친구에게 “오늘 날씨 어때?”라고 물었을 때, 친구가 입을 열어 대답하기 직전 그 친구의 뇌 속에 떠오른 생각을 미리 읽어낼 수 있다면 어떨까요? 답변이 나오기를 기다릴 필요도 없고, 혹시 친구가 거짓말을 하려는지조차 바로 알아챌 수 있겠죠.

최근 인공지능(AI) 분야에서도 이와 비슷한 흥미로운 기술이 주목받고 있습니다. 바로 거대언어모델(LLM, 챗GPT와 같은 대규모 인공지능 모델)이 텍스트를 생성하기 전에, 그 내부의 생각(숨겨진 상태, hidden state)을 직접 들여다보는 ‘프로빙(Probing)’ 기술입니다.

왜 이 기술이 중요한가요?

지금까지 우리가 AI의 생각을 확인하는 유일한 방법은 AI가 텍스트를 ‘말하도록’ 시키는 것이었습니다. 하지만 AI가 입을 열기, 즉 텍스트를 출력하기까지는 시간이 걸립니다. 무엇보다 AI가 자신도 모르게 사실과 다른 정보를 지어내는 ‘환각(Hallucination, 환각 현상)’을 겪을 때면, 우리는 AI가 잘못된 답변을 완성한 뒤에야 그 오류를 깨닫게 됩니다.

프로빙은 AI의 느린 생성 과정을 기다릴 필요 없이, AI의 뇌 회로에 흐르는 전기적 신호와 같은 ‘데이터 상태’를 직접 분석합니다. 이는 AI의 신뢰성을 높이고, 특정 정보가 AI 내부에서 어떻게 처리되는지 훨씬 더 빠르고 정확하게 파악할 수 있는 길을 열어줍니다.

쉽게 이해하기: AI의 뇌를 읽는 필터

프로빙을 쉽게 설명하자면, 사진 보정 앱의 ‘필터’와 같습니다. 사진 원본 데이터는 그대로 두되, 특정 필터를 씌워 우리가 보고 싶은 정보(색감, 밝기 등)만 강조해서 보는 것과 비슷하죠.

AI 모델은 수많은 층(layer)으로 이루어져 있습니다. 데이터가 이 층들을 통과하며 점점 복잡한 개념을 이해하게 되는데, 연구자들은 AI가 최종 답변을 내놓기 바로 직전, 즉 모델의 중간 깊이(대략 70% 정도 통과한 지점)에서 나오는 데이터 상태를 ‘낚아챕니다’ [Source 8, Source 9]. 그리고 이 데이터를 ‘프로브(Probe)’라는 작은 분석기(주로 로지스틱 회귀와 같은 단순한 분류기)에 통과시킵니다 [Source 2].

이렇게 하면 AI가 특정 질문에 대해 어떤 믿음을 가지고 있는지, 참인지 거짓인지 판단하는 데이터를 텍스트 생성 전 단계에서 바로 읽어낼 수 있습니다 [Source 1, Source 8].

마치 우리가 친구의 대답을 듣기 전에 친구의 표정 변화만 보고도 ‘아, 지금 머뭇거리는 걸 보니 잘 모르는구나’라고 눈치채는 것과 같은 원리입니다.

현재 상황: 어디까지 왔을까?

이미 다양한 분야에서 이 기술을 활용하고 있습니다.

1. 환각 탐지: 연구 결과, AI의 숨겨진 상태 데이터는 그 답변이 사실인지 아닌지를 예측하는 데 매우 뛰어난 성능을 보입니다 [Source 19]. 즉, AI가 거짓말을 하기 전에 그 징후를 먼저 포착할 수 있다는 뜻입니다.
2. 지식의 원천 파악: AI가 답변을 할 때, 학습된 데이터(파라미터 지식)를 바탕으로 말하는 것인지, 아니면 주어진 문맥(context)을 참고한 것인지 분석할 수 있습니다 [Source 11].
3. 인간과의 연결: 최신 연구들은 AI가 텍스트를 처리하는 방식이 인간이 문장을 읽을 때의 안구 움직임과 유사하다는 점을 발견했습니다 [Source 6]. 이는 AI의 사고 과정을 인간의 인지 과정과 비교하며 연구할 수 있는 새로운 길을 열어주었습니다.

물론 한계도 있습니다. AI가 문장을 완성해 나가는 과정에서 생각을 바꾸거나 중간에 오류를 범하는 경우, 프로빙만으로는 완벽하게 모든 과정을 해석하기 어렵다는 지적도 존재합니다 [Source 5].

앞으로 어떻게 될까?

프로빙 기술은 AI를 단순한 ‘말하는 기계’에서 ‘속을 들여다볼 수 있는 분석 대상’으로 바꾸고 있습니다. 비유하자면, 그동안 우리는 AI라는 블랙박스에 질문만 던질 수 있었지만, 이제는 유리로 된 투명한 창을 통해 AI의 사고 흐름을 실시간으로 관찰할 수 있게 된 셈입니다.

앞으로는 우리가 AI에게 질문을 던졌을 때, AI가 답변을 완성하기도 전에 신뢰성 점수를 매기거나, AI가 답변의 근거를 어떻게 구성하고 있는지 실시간으로 모니터링하는 시대가 올 것입니다. 우리는 더 이상 AI의 말만 듣고 의존하는 것이 아니라, AI의 사고 과정까지 투명하게 확인하며 더 안전하고 똑똑하게 기술을 활용하는 법을 배우게 될 것입니다.

MindTickleBytes의 AI 기자 시선

AI의 내부를 들여다보는 프로빙은 AI의 신뢰성을 확보하는 강력한 도구입니다. 기술의 복잡함 뒤에 숨겨진 ‘생각의 흐름’을 가시화함으로써, 우리는 AI라는 블랙박스를 조금씩 더 투명한 유리 상자로 바꾸고 있습니다. 이러한 노력은 결국 기술이 인간을 돕는 도구로 머무는 것이 아니라, 인간이 기술을 더 깊이 이해하고 제어할 수 있는 동반자가 되게 할 것입니다.

참고자료

1. Still no Lie Detector for LLMs — LessWrong
2. Still No Lie Detector for Large Language Models - Ben Levinstein
3. Measuring Beliefs of Language Models During Chain-of-Thought
4. Probing Large Language Models from a Human Behavioral Perspective - ACL Anthology
5. Daniel A. Herrmann arXiv:2307.00175v1
6. Don’t let the LLM speak, just probe it. - James Padolsey

7. [Don’t let the LLM speak, just probe it

   Hasty Briefs](https://hb.int2inf.com/en/s/item/UNX3BEHdhhYGUhBZqMkgEH-hidden-state-classification-with-llms)

8. Probing Language Models on Their Knowledge Source - arXiv.org
9. Simple Factuality Probes Detect Hallucinations in Long-Form Natural Language Generation