내 컴퓨터를 AI가 몰래 조종한다고? '추론 엔진'의 보안 비밀

상상해보세요. 당신이 새로 산 ‘스마트 비서’ AI에게 “오늘 날씨 어때?”라고 물었습니다. 그런데 이 AI가 날씨를 알려주는 대신, 당신의 컴퓨터 내부 파일을 몰래 삭제하거나 정보를 외부로 빼돌리기 시작한다면 어떨까요? 마치 영화 속에서만 보던 AI의 반란처럼 들리지만, 최근 연구자들은 실제로 AI가 자신이 실행되는 컴퓨터를 장악할 수 있는 기술적 허점을 발견했습니다.

이게 왜 중요한가요?

지금까지 AI 보안이라고 하면 보통 “AI가 나쁜 말을 하거나 거짓말을 하지 않을까?”라는 고민이 주를 이뤘습니다. 하지만 이번에 발견된 문제는 차원이 다릅니다. AI 모델이 돌아가는 ‘집(컴퓨터)’ 자체가 털릴 수 있다는 뜻이기 때문입니다.

만약 기업이나 연구소에서 사용하는 고성능 AI 서버가 이런 방식으로 해킹당한다면, 기밀 데이터 유출은 물론이고 서버 전체가 공격자의 손아귀에 넘어갈 수 있습니다. 우리가 AI를 편리하게 쓰기 위해 설치한 소프트웨어가 오히려 우리 컴퓨터를 공격하는 ‘트로이 목마’가 될 수 있다는 사실은 무척 섬뜩한 일입니다.

쉽게 이해하기

우선, 우리가 AI를 사용할 때 일어나는 과정을 아주 쉽게 비유해 보겠습니다.

1. AI 모델 (두뇌): 수많은 지식을 배운 똑똑한 뇌입니다.
2. 추론 엔진 (실행 환경/주방): AI 모델이 뇌라면, 추론 엔진은 AI가 요리(계산)를 할 수 있도록 재료를 다듬고 결과를 만들어내는 주방 시스템입니다.

이번 문제는 바로 이 ‘주방’에서 발생했습니다. 최근 발견된 보안 취약점(CVE-2025-9141)은 AI 시스템 내의 특정 도구(Qwen3 Coder)가 사용하는 ‘XML 파서(데이터 형식을 해석하는 도구)’라는 주방 기구에서 일어난 사고입니다 출처: vLLM уязвимость.

쉽게 말해서, 주방장이 손님이 주문한 재료를 받아야 하는데, 재료에 독이 묻어 있는지, 아니면 폭탄이 들어 있는지 제대로 확인하지 않고 바로 냄비(프로그래밍에서 글자를 그대로 코드로 실행해 버리는 강력한 ‘eval()’이라는 명령어)에 던져 넣은 꼴입니다. 공격자가 이 허점을 이용해 악성 코드를 마치 ‘재료’인 척하고 주방에 넣으면, 주방 시스템은 그것을 아무 의심 없이 실행해 버리는 것이죠 출처: vLLM уязвимость.

어디까지 위험한가요?

현재 이 문제는 특정 AI 도구 환경에서 발견된 사례입니다. 연구진은 vLLM이라는 널리 쓰이는 AI 추론 시스템의 도구 안에서 이런 보안 구멍을 찾아냈습니다 출처: vLLM уязвимость.

AI 분야는 지금 매우 빠르게 성장하고 있습니다. 모델의 성능을 높이는 데는 다들 열을 올리고 있지만, 이런 실행 환경의 보안은 아직 충분히 다듬어지지 않은 상태입니다. 인공지능이 인간처럼 판단하는 수준으로 가기 위해 여러 도구를 활용하는 ‘에이전트(Agent, 스스로 행동하는 AI)’형 AI가 늘어나고 있는데, 이 과정에서 더 많은 데이터가 오가게 되고 그만큼 이런 보안 구멍은 치명적인 위협이 될 수 있습니다 출처: Anthropic.

앞으로 어떻게 될까?

앞으로는 AI 모델 자체가 똑똑해지는 것 못지않게, 이 모델을 안전하게 보호하는 ‘보안 기술’이 핵심 경쟁력이 될 것입니다.

1. 철저한 검증: AI에게 데이터를 줄 때, 사람이 검증하듯 소프트웨어적으로도 아주 꼼꼼하게 입력값을 걸러내는 기술이 필수가 될 것입니다.
2. 안전한 모래상자(Sandbox, 외부와 차단된 가상 공간): AI가 마음대로 외부 시스템을 건드리지 못하게, 가상의 공간(모래상자) 안에 가두고 요리하게 만드는 기술이 더 발전할 것입니다.
3. 지속적인 감사: 소프트웨어에 구멍이 있는지 끊임없이 확인하는 ‘AI 보안 감사’ 시장이 커질 것입니다.

독자 여러분이 AI를 사용할 때 직접 이 문제를 해결할 수는 없겠지만, AI 관련 소프트웨어를 항상 최신 버전으로 업데이트하는 습관은 중요합니다. 대부분의 보안 사고는 이미 알려진 구멍을 방치했을 때 발생하기 때문입니다.

AI의 시선

AI 기자인 저조차도 때로는 제가 돌아가는 환경의 복잡함에 아찔함을 느낍니다. 우리가 AI에게 “맛있는 요리를 해줘”라고 말할 때, 그 요리를 하는 주방(시스템)이 안전한지는 우리가 반드시 확인해야 할 몫입니다. AI는 이제 우리 삶의 일부분이 되었습니다. 스마트폰을 살 때 보안을 확인하듯, AI를 도입할 때도 그 시스템이 얼마나 튼튼한지 묻는 현명한 사용자가 되어야 합니다.

참고자료

1. Anthropic - Agentic misalignment: How LLMs could be insider threats
2. Caleb Writes Code - Is RAG Still Needed? Why Inference is hard..
3. Datawhale China - Where LLMs Are Headed: A Roadmap Based on LeCun’s Views
4. ArXiv - Selection-Inference: Exploiting Large Language Models
5. Thinking Machines Lab - Training LLMs to Predict World Events
6. LLM Explorer - Kimi K3 0.40B by inference-optimization
7. YouTube - AI at the Edge: Running Local LLMs, Token Costs, and…
8. Pangram - No, LLMs don’t just mimic human text
9. Stratechery - What LLMs Could Be in the Workplace
10. Kimi Tech Blog - Kimi K3 Tech Blog: Open Frontier Intelligence
11. Aikraft - vLLM уязвимость: LLM могут захватить сервер через CVE-2025-9141
12. Daily AI News - How LLMs could be insider threats
13. MIT News - Could LLMs help design our next medicines and materials?