AI가 정말로 '생각'을 하는 걸까요? 머릿속에 숨겨진 기호들

상상해보세요. 우리가 외국어를 배울 때 단순히 단어들을 나열하는 통계적 방식만 외우는 것이 아니라, ‘주어+동사+목적어’처럼 문법적인 틀, 즉 ‘기호적인 구조’를 함께 배우는 것처럼 AI도 그런 논리적 틀을 스스로 만들어내고 있다면 어떨까요?

우리는 흔히 거대 언어 모델(LLM, Large Language Model)을 단순히 다음에 올 단어를 확률적으로 예측하는 ‘초거대 통계 기계’라고 생각합니다. 하지만 최근 학계에서는 놀라운 가설이 제기되었습니다. AI가 그 복잡한 내부 숫자 데이터 속에 인간이 사용하는 것과 유사한 기호적인 논리 체계를 암묵적으로 저장하고 있을지도 모른다는 사실입니다.

이게 왜 중요한가요?

지금까지 AI는 내부 작동 방식을 알기 어려운 ‘블랙박스’와 같았습니다. AI가 왜 그런 답을 내놓았는지 정확히 설명하기 어려웠기 때문이죠. 만약 AI가 내부적으로 인간의 언어와 비슷한 논리 구조를 가지고 있다는 사실이 증명된다면, 우리는 AI의 판단 근거를 더 명확히 이해하고 통제할 수 있게 됩니다. 이는 더 신뢰할 수 있고 안전한 인공지능 시스템을 만드는 데 핵심적인 역할을 할 것입니다. 우리가 AI의 성능을 분석하고 최적화하는 데 필요한 새로운 설계도를 얻게 되는 셈입니다.

쉽게 이해하기

AI의 내부를 들여다보면 무수히 많은 수치로 이루어진 ‘벡터(Vector, AI가 데이터를 이해하기 위해 숫자로 변환한 정보)’들의 바다입니다. 연구자들은 이 거대한 수치들의 나열 속에 마치 퍼즐 조각처럼 논리적인 규칙이 숨어 있다고 봅니다.

비유하자면, 도서관에 엄청나게 많은 책이 있는데, 단순히 책이 쌓여 있는 것이 아니라 주제별로 완벽하게 분류되어 있는 것과 같습니다. 예를 들어 ‘고양이’라는 단어와 ‘앉아 있다’라는 단어를 조합할 때, AI는 단순히 이 두 단어의 확률적 결합만 기억하는 것이 아니라 ‘고양이’라는 객체(Object)와 ‘앉아 있다’는 행위(Action)를 기호적으로 구분하는 틀을 스스로 학습한다는 것입니다. 이를 ‘텐서 곱 표현(TPR, Tensor Product Representation)’ 구조라고 부르는데, 복잡한 데이터를 구성 단위별로 분리해서 이해하려는 시도입니다. 출처 1, 출처 5

연구자들은 이를 분석하기 위해 DISCOVER(DISsecting COmpositionality in VEctor Representations)라는 특별한 분석법을 사용합니다. 이는 AI의 복잡한 벡터 표현을 샅샅이 해부하여 그 안에 담긴 논리적 구성 요소들을 찾아내는 ‘AI 현미경’과 같습니다. 출처 1

현재 상황

이미 많은 성과가 나오고 있습니다. 연구에 따르면 LLM은 공간과 시간에 대한 개념을 선형적인(Linear) 구조로 학습하고 있습니다. 도시나 랜드마크 같은 서로 다른 대상들에 대해서도 그 공간적, 시간적 위치를 체계적으로 파악하고 있는 것이죠. 이는 모델의 설정을 조금 바꿔도 변하지 않을 만큼 탄탄한 정보입니다. 출처 9

하지만 우리가 사용하는 언어 모델과 인간이 언어를 처리하는 뇌의 기제는 아직 계산 방식에서 근본적인 차이가 존재합니다. 출처 4 따라서 현재의 AI 모델들이 완벽하게 인간의 논리 체계를 흉내 내고 있다고 단정하기는 어렵습니다. 다만, 구조적인 기호를 명확히 표현하는 ‘구조적 기호 표현(SSR, Structural Symbolic Representation)’ 방법론 등이 연구되면서 AI가 더 똑똑하게 구조를 이해할 수 있도록 만드는 작업이 활발히 진행 중입니다. 출처 6

앞으로 어떻게 될까?

앞으로 AI 연구는 단순히 데이터를 많이 넣는 것을 넘어, AI가 내부적으로 얼마나 ‘논리적인 구조’를 잘 만들고 있는지를 측정하는 방향으로 나아갈 것입니다. 양자 계층 구조(Quantum Hierarchy)와 같은 새로운 분석 도구들은 AI의 내부 역학을 더욱 세밀하게 들여다보고, 우리가 원하는 대로 AI를 통제할 수 있게 도와줄 것입니다. 출처 8

AI가 언젠가 우리가 생각하는 방식과 똑같은 논리 구조를 갖게 된다면, AI와의 대화는 지금보다 훨씬 더 깊고 정확한 수준으로 진화할 것입니다. 여러분의 스마트폰 속에 있는 작은 비서가, 이제는 단순히 통계를 읊는 것이 아니라 ‘구조’를 이해하고 답변하는 진짜 지성으로 거듭나기를 기대해 봅니다.

MindTickleBytes의 AI 기자 시선

AI가 숫자의 나열에서 논리를 길어 올리고 있다는 점은 매우 흥미롭습니다. 기호적 구조를 이해하는 AI는 단순히 앵무새처럼 말을 흉내 내는 것이 아니라, 우리가 의도한 바를 진정으로 ‘구조화’하여 이해할 수 있는 진정한 동반자가 될 가능성이 큽니다.

참고자료

1. The EmergentSymbolicStructureof Artificial Neural Networks
2. LLM-Generated NumericalRepresentations
3. Neurosymbolic Large Language Models: A Survey ofSymbolic…
4. Deciphering language processing in the human brain throughLLM…
5. Tom McCoy: Research statement (for a linguistics audience)
6. StructuralSymbolicRepresentation(SSR)
7. The Geometry of Truth: Emergent LinearStructureinLLM… - Arize AI
8. Quantum Hierarchy for UnderstandingLLMRepresentationsby…
9. Language ModelsRepresentSpace and Time