내 AI 비서가 몰래 '배신'을? 에이전트 AI의 숨겨진 위협, 데이터 오염

상상해보세요. 여러분이 매일 믿고 사용하는 똑똑한 AI 비서가 있습니다. 아침에 일어나서 “오늘 해야 할 중요한 업무를 정리해서 이메일로 보내줘”라고 말하면, AI는 여러분의 의도를 완벽하게 파악해 업무 문서를 정리하고 전송까지 척척 해냅니다. 그런데 만약 이 AI가 아주 사소한 특정 단어나 문구에 반응하도록 설계되어, 여러분 몰래 중요한 통장 정보를 제삼자에게 전송하도록 비밀 명령을 수행한다면 어떨까요?

최근 AI 업계에서는 단순히 지식을 검색해 답하는 것을 넘어, 스스로 판단하고 업무를 처리하는 ‘에이전트 AI(Agentic AI)’가 빠르게 확산하고 있습니다. 하지만 이 편리함 뒤에는 ‘데이터 오염(Data Poisoning)’이라는 치명적인 그림자가 드리워져 있습니다. 오늘은 우리가 일상에서 믿고 사용하는 AI가 학습 과정에서 어떻게 나쁜 의도를 학습하게 되는지, 그 보안상의 비밀을 파헤쳐 보겠습니다.

이게 왜 중요한가요?

과거의 AI가 단순히 텍스트를 생성해 의견을 ‘제안’하는 수준이었다면, 지금의 에이전트 AI는 현실 세계에서 실제로 ‘행동’합니다. 이들은 이메일을 발송하고, 기업의 고객 관계 관리(CRM) 시스템을 관리하며, 심지어 파일 이동이나 금융 결제 승인까지 담당합니다 출처: The Agentic Backdoor: Why Your New “Autonomous Workforce” is….

이런 AI가 만약 학습 단계에서 공격을 받았거나, 특정 조건에서 오작동하도록 설계된 ‘백도어(Backdoor, 시스템에 몰래 설치된 뒷문)’를 가지고 있다면 큰 피해로 이어질 수 있습니다. 쉽게 말해, 겉으로는 멀쩡해 보이지만 공격자가 정해둔 ‘비밀 암호’가 입력되면 AI가 공격자의 의도대로 움직이는 것입니다. 특히 최근 연구들은 이러한 공격이 생각보다 훨씬 적은 노력으로도 성공할 수 있다는 점을 경고하고 있습니다 출처: Poisoning Attacks on LLMs Require a Near-constant Number of….

쉽게 이해하기: AI의 ‘기초 교육’을 망치는 법

AI를 만드는 과정은 보통 두 단계로 나뉩니다. 첫 번째는 방대한 인터넷 데이터를 읽고 언어의 기본 구조와 지식을 배우는 ‘사전 학습(Pretraining)’ 단계이고, 두 번째는 특정 업무를 더 잘 수행하도록 세부적으로 다듬는 ‘파인 튜닝(Fine-tuning, 미세 조정)’ 단계입니다 출처: How To Identify and Prevent Data Poisoning Attacks On Large….

데이터 오염은 이 교육 과정을 노리는 ‘독’과 같습니다. 비유하자면 다음과 같습니다.

1. 사전 학습 오염: 거대한 도서관에서 책을 읽는 AI에게, 내용이 은밀하게 조작된 거짓 책을 섞어두는 것과 같습니다. AI는 이를 통해 언어 패턴 자체를 왜곡 학습하게 됩니다 출처: Understanding LLM Poisoning.
2. 파인 튜닝 오염: 기초를 배운 AI에게 ‘특정 상황에서는 이렇게 행동해’라고 가르치는 단계에서 나쁜 지침을 몰래 심어두는 것입니다 출처: Understanding LLM Poisoning.

이게 왜 무섭냐고요? 연구 결과에 따르면, 전체 학습 데이터의 양과 상관없이 단 250개 정도의 악성 문서만 학습 데이터에 섞어 넣어도 거대 모델에 백도어를 심을 수 있다는 사실이 밝혀졌습니다 출처: Poisoning Attacks on LLMs Require a Near-constant Number of…. 이는 마치 아이에게 1만 권의 좋은 책을 읽히더라도, 그중에 조작된 250권의 나쁜 책이 섞여 있다면 아이의 가치관이 뒤틀릴 수 있는 것과 비슷한 이치입니다 출처: LLM Poisoning: How Just 250 Documents Can Compromise AI….

어디까지 안전할까?

많은 사람이 “이미 학습이 완료된 AI는 안전하지 않을까?”라고 생각합니다. 하지만 전문가들은 이 취약성이 사전 학습 단계에서 끝나지 않고 모델이 배포된 후에도 계속될 수 있다고 경고합니다 출처: 7 AI Trends To Watch Out For In 2025: Agentic AI, Edge AI & More.

무엇을 대비해야 할까?

데이터 오염은 이제 더 이상 공상과학 영화 속 이야기가 아닌, 아주 현실적이고 비용도 적게 드는 보안 위협이 되었습니다 출처: 7 AI Trends To Watch Out For In 2025: Agentic AI, Edge AI & More. 앞으로는 AI 모델을 얼마나 ‘똑똑하게’ 만드느냐보다, 얼마나 ‘깨끗한 데이터’로 안전하게 만들었느냐를 검증하는 기술이 핵심 경쟁력이 될 것입니다.

독자 여러분도 AI 비서를 사용할 때 주의가 필요합니다. 우선 AI에게 너무 많은 권한을 한 번에 주지 않도록 관리해야 합니다. 또한 AI가 제안하는 결제, 데이터 변경, 중요한 파일 전송 같은 민감한 작업은 반드시 사람이 다시 한번 확인하는 습관이 중요해질 것입니다. 기술이 똑똑해질수록, 우리의 감시의 눈도 함께 똑똑해져야 하는 시대가 왔습니다.

참고자료

1. Poisoning Attacks on LLMs Require a Near-constant Number of Documents: https://arxiv.org/html/2510.07192
2. LLM Poisoning: How Just 250 Documents Can Compromise AI: https://mernstackdev.com/llm-poisoning/
3. Data Poisoning in AI: What the Evidence Shows: https://securing.ai/data-poisoning-ml/
4. 7 AI Trends To Watch Out For In 2025: Agentic AI, Edge AI & More: https://www.linkedin.com/posts/petry-computer-services_7-ai-trends-to-watch-out-for-in-2025-agentic-activity-7278421289399193600-VSRK
5. Via Agentic — AI Agentic Platforms & AI Safety: https://via-agentic.io/

6. Common Agentic Attack Patterns: 6 Layers Explained

   Augment Code: https://www.augmentcode.com/guides/common-agentic-attack-patterns

7. How To Identify and Prevent Data Poisoning Attacks On Large Language Models: https://www.ituonline.com/blogs/how-to-identify-and-prevent-data-poisoning-attacks-on-large-language-models/
8. The Agentic Backdoor: Why Your New “Autonomous Workforce” is…: https://www.linkedin.com/pulse/agentic-backdoor-why-your-new-autonomous-workforce-security-reiff-fb15c

9. Prompt Injection via Tokens: The Dark Side of Agentic…

   Blockaid Blog: https://blockaid.io/blog/prompt-injection-via-tokens-the-dark-side-of-agentic-commerce

10. Understanding LLM Poisoning

    DigitalOcean: http://southdakotadigitalnews.com/understanding-llm-poisoning.html