AI도 '편견'을 배울까? 딥시크(DeepSeek) 모델 증류와 검열의 비밀

상상해보세요. 여러분이 정말 똑똑하지만, 특정 주제에 대해서만큼은 입을 닫거나 편향된 말만 하는 선생님에게 공부를 배운다고 가정해봅시다. 이 선생님 밑에서 배운 학생도 똑같이 편향된 사고를 하게 될까요? 인공지능(AI) 업계에서도 이와 비슷한 고민이 있었습니다. 최근 주목받는 중국의 AI 모델 ‘딥시크(DeepSeek)’를 둘러싼 검열 논란이 바로 그것입니다.

딥시크는 정치적으로 민감한 질문에 대해 답변을 거부하거나, 특정 국가에 우호적인 방향으로 내용을 수정한다는 평가를 받아왔습니다출처: Semafor. 많은 개발자는 딥시크의 방대한 지식을 뽑아내 작고 효율적인 모델을 만드는 ‘증류(Distillation)’ 과정에서, 이러한 검열 습관까지 그대로 물려받지 않을까 우려했습니다. 그런데 최근 이 우려를 일부 해소하는 흥미로운 연구 결과가 나와 화제입니다.

이게 왜 중요한가요?

AI 모델 개발 과정에서 개발자들은 아주 뛰어난 성능을 가진 거대 모델(선생님)을 먼저 만들고, 이 모델이 내놓는 답을 교재 삼아 더 가볍고 빠른 작은 모델(학생)을 학습시키는 ‘모델 증류’ 기술을 애용합니다출처: Forbes.

만약 선생님 모델의 ‘검열 습관’까지 학생 모델에 그대로 전달된다면, 개발자들은 쓸모 있는 AI를 만들기 위해 매번 처음부터 다시 거대한 데이터를 학습시켜야 하는 막대한 비용을 감당해야 합니다. 하지만 이번 연구는 AI를 효율적으로 경량화하려는 개발자들에게 “검열까지 반드시 복제되지는 않을 수 있다”는 기술적 희망을 제시했습니다.

쉽게 말해서: AI 모델 증류(Distillation)

AI 모델 증류를 학교 수업에 비유하면 이해가 빠릅니다. 큰 모델인 ‘선생님’은 수많은 데이터를 공부한 백과사전 같은 존재입니다. 반면, 작은 모델인 ‘학생’은 훨씬 가벼운 용량으로 효율적으로 작동하죠.

• 증류(Distillation): 선생님 모델에게 어려운 문제를 풀게 하고, 그 문제에 대한 선생님의 정교한 답변 방식을 학생 모델에게 학습시키는 과정입니다출처: Semafor.
• 검열의 전달: 선생님이 정치적 이유로 특정 대답을 피한다면, 학생도 똑같이 피하게 되지 않을까 하는 우려가 있었습니다출처: Semafor.

하지만 최근 연구들은 이 과정에서 검열 특성이 필수적으로 옮겨가지는 않는다는 점을 시사합니다출처: ModernOrange. 즉, 선생님이 특정 정보 제공을 회피하려 하더라도, 학생 모델은 지식의 핵심을 습득하는 과정에서 선생님보다 더 자유롭고 유연한 답변을 내놓을 수 있는 가능성이 있다는 것입니다.

현재 상황: 딥시크는 어떤 모델인가?

현재 딥시크는 ‘오픈 웨이트(Open weight)’ 모델로 분류됩니다출처: Reddit. 이는 모델의 구조와 학습된 가중치(가중치, Weight)가 공개되어 있어 누구나 이를 바탕으로 모델을 연구하거나 수정할 수 있다는 뜻입니다.

이미 딥시크를 활용해 만든 다양한 파생 모델(예: 딥시크-R1-디스틸-라마 등)이 많이 만들어져 활발히 사용되고 있습니다출처: GroqDocs. 많은 개발자가 이 모델들을 자신의 로컬 컴퓨터에서 실행하며 각자의 목적에 맞게 입맛대로 수정하고 있죠출처: Reddit.

앞으로 어떻게 될까?

앞으로는 더 많은 개발자가 거대 모델의 지식을 바탕으로 한 효율적인 작은 모델을 만들게 될 것입니다. 증류 기술이 검열의 굴레에서 벗어날 수 있다는 가능성이 확인된 만큼, 앞으로는 특정 모델의 편향성에 갇히지 않고 더 전문적이고 자유로운 특화 AI가 더욱 빠르게 등장할 것으로 보입니다출처: ModernOrange, 출처: YouTube.

MindTickleBytes의 AI 기자 시선

AI의 검열 문제와 모델 증류는 개발자들에게 그야말로 뜨거운 감자입니다. 이번 연구는 AI를 경량화할 때 원치 않는 특성까지 복제되지 않을 수 있다는 기술적 가능성을 보여줍니다. 이는 AI가 단순히 지식을 전수받는 도구를 넘어, 개발자의 의도에 따라 더 자유롭고 다채롭게 진화할 수 있음을 시사합니다.

참고자료

1. Exclusive: Censorship in Chinese AI models can be undone, new research shows
2. Since DeepSeek is open source, can’t we just make a version without the censorship? : r/DeepSeek
3. ShowHN: Distilling DeepSeek into GPT-OSS doesn’t transfer censorship. Try it

4. [Fine Tune DeepSeek R1

   Build a Medical Chatbot - YouTube](https://www.youtube.com/watch?v=qcNmOItRw4U)

5. DeepSeek-R1-Distill-Llama-70B - GroqDocs
6. Did DeepSeek Copy Off Of OpenAI? And What Is Distillation?