강력한 AI 모델의 답변 데이터를 수집해 자신의 모델을 학습시키는 '증류 공격'이 증가함에 따라, 기업과 정부가 이를 탐지하고 방어하기 위한 대책을 강화하고 있습니다.
상상해보세요. 당신이 몇 년에 걸쳐 수조 원의 비용과 수많은 천재들의 노력을 들여 전 세계에서 가장 똑똑한 AI 요리사를 만들었습니다. 그런데 어느 날, 누군가 당신의 AI 요리사에게 계속해서 질문을 던지며 모든 레시피와 조리 비법을 몰래 적어갔습니다. 그리고는 그 비법을 베껴 당신의 요리사보다 훨씬 저렴하고 성능이 비슷한 ‘가짜 요리사’를 만들어 시장에 내놓았습니다. 이게 바로 오늘날 AI 업계가 겪고 있는 가장 골치 아픈 문제인 ‘증류 공격(Distillation Attack)’입니다.
이게 왜 중요한가요?
‘증류 공격’은 단순히 기술 기업의 이익을 해치는 수준을 넘어섭니다. 특정 기업이 수년간 공들여 만든 최첨단 AI 모델의 능력(추론, 코딩, 복잡한 문제 해결 등)을 누군가 손쉽게 훔쳐서 자신의 모델로 복제해버린다면, AI 개발 생태계 자체가 무너질 수 있습니다. 출처: Distillation attacks on large language models: motives, actors and…
더 큰 문제는 이 공격이 국가적 차원의 안보 위협으로 번질 수 있다는 점입니다. 일부 국가나 기업이 강력한 프런티어(최첨단) 모델을 증류하여 군사적 용도로 악용할 수 있다는 우려가 제기되고 있습니다. 출처: AI Distillation Attacks: The Case for Targeted Government Intervention
쉽게 이해하기: AI의 ‘컨닝’ 비법
증류 공격은 흔히 ‘모델 추출 공격’이라고도 불립니다. 이를 이해하기 위해 학교 수업을 비유로 들어보겠습니다.
‘교사 모델’은 전교 1등인 천재 학생입니다. 어려운 문제도 척척 풀죠. ‘학생 모델’은 성적이 낮은 학생입니다. 학생 모델은 교사 모델에게 계속해서 문제를 묻고, 교사 모델이 내놓는 답안지를 전부 모읍니다. 처음에는 단순히 답을 베끼는 수준이었지만, 반복적으로 답을 학습하다 보면 학생 모델은 어느새 교사 모델의 논리적인 사고방식과 능력을 그대로 흉내 내게 됩니다. 이렇게 큰 모델의 결과물을 작은 모델에 주입해 능력을 복제하는 것이 바로 ‘증류’입니다. 출처: The Top 3 Knowledge Distillation Attacks and Defenses Against Them
| 쉽게 말해서, 똑똑한 사람의 노하우를 몰래 훔쳐서 헐값에 파는 것과 같습니다. 이 과정은 생각보다 정교합니다. 앤스로픽(Anthropic)의 보고서에 따르면, 공격자들은 무려 24,000여 개의 가짜 계정을 동원해 조직적으로 AI 모델의 데이터를 빼내고 있었습니다. [출처: Detecting and preventing distillation attacks | Anthropic](https://www.anthropic.com/news/detecting-and-preventing-distillation-attacks) 이들은 특히 코딩 능력이나 복잡한 추론 능력과 같은 핵심적인 역량을 타겟팅하여 수집했습니다. 출처: Chinese AI Firms Hit Claude with Distillation Attacks, Anthropic Warns |
AI의 생각: 왜 이렇게까지 공격하는 걸까?
AI 기업들은 이를 방어하기 위해 사활을 걸고 있습니다. 공격자들이 이토록 증류 공격에 매달리는 이유는, 최첨단 AI 모델을 처음부터 개발하려면 수천억 원이 넘는 막대한 비용과 천문학적인 양의 데이터가 필요하기 때문입니다. 하지만 이미 만들어진 모델의 결과물(데이터)을 학습하는 증류 방식은 아주 적은 비용으로도 비슷한 성능을 낼 수 있게 해줍니다.
이는 결국 AI 기술의 공정한 경쟁을 저해하며, 정당하게 기술을 개발한 기업의 의지를 꺾는 행위입니다. AI 기술의 지적 재산을 보호하는 것은 단순히 기업의 이익을 지키는 문제를 넘어, 기술의 안전한 발전과 국가 안보를 지키는 핵심 과제가 되었습니다.
현재 상황: 쫓고 쫓기는 방어 전쟁
| AI 기업들은 이를 막기 위해 다양한 방어책을 내놓고 있습니다. 기본적인 대응책으로는 AI 모델의 이상 징후를 탐지하고, 한 번에 너무 많은 질문을 하지 못하게 제한하는 ‘비정상 패턴 탐지 및 속도 제한(Rate Limiting)’이 있습니다. [출처: AI Model Distillation Attacks: What They Are and Why… | MindStudio](https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained) |
| 하지만 공격자들의 실력도 만만치 않습니다. 방어망이 강화되면, 공격자들은 증류된 데이터를 학습한 후 강화 학습(Reinforcement Learning, 경험을 통해 스스로 더 나은 방법을 찾아내는 학습 기법)과 같은 최신 기법을 동원해 기존 방어 체계를 무력화시키기도 합니다. [출처: Distillation Defenses Easily Break After… | Papers with Code](https://paperswithcode.co/paper/2609.35699) 즉, 증류 공격을 막는 일은 마치 창과 방패의 싸움처럼 끝없는 기술 경쟁이 되고 있습니다. 출처: The Distillation Game: Adaptive Attacks Efficient Defenses |
앞으로 어떻게 될까?
| 전문가들은 앞으로 정부 차원의 개입과 법적 대응이 더욱 강화될 것이라고 전망합니다. 미국 등 주요국은 이미 증류 공격을 AI 보안의 핵심 문제로 다루고 있으며, 기술적 해결책만으로는 한계가 있음을 인정하고 있습니다. [출처: U.S. Vows to Fight Distillation Attacks | Lawfare](https://www.lawfaremedia.org/article/u.s.-vows-to-fight-distillation-attacks) |
우리는 이제 AI 서비스를 이용할 때 더 엄격해진 보안 절차를 마주하게 될지도 모릅니다. 하지만 이는 강력한 AI 기술이 안전하게 보호되고, 정당한 노력을 들인 기업들이 계속해서 더 나은 기술을 개발할 수 있도록 돕는 최소한의 안전장치가 될 것입니다. AI 시대의 보안은 이제 기업만의 숙제가 아닌, 우리 모두가 함께 지켜나가야 할 사회적 안전망이 되고 있습니다.
참고자료
-
Detecting and preventing distillation attacks Anthropic - https://www.anthropic.com/news/detecting-and-preventing-distillation-attacks - The Distillation Game: Adaptive Attacks Efficient Defenses - https://arxiv.org/pdf/2605.22737
-
Detecting and preventing distillation attacks Stefano Uliari - https://www.linkedin.com/posts/stefanouliari_detecting-and-preventing-distillation-attacks-activity-7431789827873898496-49VA -
AI Model Distillation Attacks: What They Are and Why… MindStudio - https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained - Model Protection Scheme Against Distillation Attack in Internet of… - https://pdfs.semanticscholar.org/9947/1aee630e2802581d7d843f793b979be726ac.pdf
- The Top 3 Knowledge Distillation Attacks and Defenses Against Them - https://antispoofing.org/the-top-3-knowledge-distillation-attacks-and-defenses-against-them/
-
Distillation Defenses Easily Break After… Papers with Code - https://paperswithcode.co/paper/2609.35699 - How DeepSeek “Stole” Claude – Real Distillation Attack… - YouTube - https://www.youtube.com/watch?v=ase1Qmyo4Wg
- AI Distillation Attacks: The Case for Targeted Government Intervention - https://www.iaps.ai/research/ai-distillation-attacks-the-case-for-targeted-government-intervention
- Anti-Distillation: Improving reproducibility of deep networks - https://arxiv.org/abs/2010.09923
- How Distillation Attacks Are Redefining AI Security - https://community.hpe.com/t5/software-general/how-distillation-attacks-are-redefining-ai-security/td-p/7262423
- Distillation attacks on large language models: motives, actors and… - https://gekko.de/posts/distillation-attacks-llms-security
- US sounds alarm on China’s AI distillation as DeepSeek V4 debuts… - Asia Times - https://asiatimes.com/2026/04/us-sounds-alarm-on-chinas-ai-distillation-as-deepseek-v4-debuts/
-
Detecting and preventing distillation attacks Bruno Pérez - https://www.linkedin.com/posts/bruno-pérez_detecting-and-preventing-distillation-attacks-activity-7431811347681656833-VsBP - Chinese AI Firms Hit Claude with Distillation Attacks, Anthropic Warns - https://www.infosecurity-magazine.com/news/chinese-ai-claude-distillation/?ref=singularitysanctuary.com
-
U.S. Vows to Fight Distillation Attacks Lawfare - https://www.lawfaremedia.org/article/u.s.-vows-to-fight-distillation-attacks
- AI 모델의 서버를 해킹하는 행위
- 강력한 AI 모델의 출력 데이터를 학습해 작은 모델을 강화하는 행위
- AI 모델을 삭제하는 행위
- 약 24,000개의 가짜 계정을 이용한 조직적 공격
- AI 서버를 물리적으로 공격
- 데이터 센터 정전 유도
- 모든 공격이 합법적이기 때문에
- 강화 학습 등 더 고도화된 후속 학습 기술이 사용되기 때문에
- 방어 기술이 너무 비싸기 때문에