AI가 숙제 대신 해준 걸까? 프로그래밍 교육의 '코드 출처'를 추적하다

상상해보세요. 오늘 밤 컴퓨터 프로그래밍 과제를 제출해야 하는 학생 A가 있습니다. 예전 같으면 수십 번 코드를 수정하고 에러와 씨름하며 밤을 지새웠겠지만, 이제는 AI에게 “이 문제를 해결하는 파이썬 코드를 작성해줘”라고 말하면 단 몇 초 만에 완벽한 결과물이 나옵니다.

과연 이 코드는 학생 A의 지식일까요, 아니면 AI의 지식일까요? 이처럼 AI가 순식간에 기능적인 코드를 생성해내면서 프로그래밍 교육 현장에서는 “학생의 실제 학습 수준과 노력을 어떻게 평가할 것인가?”라는 근본적인 물음에 직면했습니다 출처: Analyzing Code Provenance in LLMs for Programming Education.

왜 중요한가요?

프로그래밍 교육의 본질은 코드를 단순히 ‘만들어내는 것’보다, 코드를 짜기 위해 ‘사고하는 과정’을 배우는 데 있습니다. 하지만 AI가 이 과정을 생략하게 만들면서, 교육자들은 제출된 코드가 정말 학생의 머릿속에서 나온 것인지, 아니면 AI가 뱉어낸 문장인지 알 수 없는 상황에 놓였습니다.

이는 평가의 신뢰성 문제로 직결됩니다. 만약 모든 학생이 AI의 힘을 빌려 과제를 제출한다면, 우리는 누가 정말 실력을 갖추었는지 알 수 없게 됩니다. 이를 해결하기 위해 최근 연구자들은 코드의 근원을 찾아내는 ‘코드 출처(Code Provenance)’ 추적 기술을 개발하고 있습니다 출처: Analyzing Code Provenance in LLMs for Programming Education.

쉽게 이해하기: AI 코드 추적의 원리

그렇다면 AI가 쓴 코드인지 어떻게 알 수 있을까요? 연구진은 ‘Min-K% 확률 접근법(Min-K% probability approach)’이라는 방식을 사용합니다 출처: Analyzing Code Provenance in LLMs for Programming Education.

쉽게 말해, AI가 특정 코드를 생성할 때 그 코드가 AI의 ‘기억(학습 데이터)’ 속에 얼마나 깊숙이 새겨져 있는지 확률적으로 측정하는 것입니다. 비유하자면, 우리가 아주 유명한 시를 필사할 때는 고민 없이 줄줄 써 내려가지만, 처음 보는 어려운 글을 쓸 때는 멈칫거리는 것과 비슷합니다. AI 모델이 어떤 코드를 생성할 때 확률적으로 ‘덜 놀라워하는’ 부분들을 집중 분석하여, 이것이 데이터셋을 단순히 암기해서 낸 코드인지, 아니면 스스로 논리를 전개한 코드인지 판별하는 것이죠 출처: Analyzing Code Provenance in LLMs for Programming Education.

여기에 연구진은 ‘합성 비멤버 코드 생성(synthetic non-member code generation)’이라는 기법을 더해 정확도를 높였습니다. 이는 AI가 배우지 않았을 법한 새로운 코드를 가상으로 만들어 비교함으로써, 실제 모델의 코드 기억력을 더 정밀하게 추적할 수 있게 합니다 출처: Analyzing Code Provenance in LLMs for Programming Education, 출처: GitHub - my625/student-code-provenance-LLMs-MinK.

현재 상황: 모델마다 다른 ‘기억력’

이번 연구에서는 GPT-2, DialoGPT와 같은 무료 모델부터 GPT-5, Gemini 2.5, LLaMA 3.3 같은 최신 상업용 모델까지 다양한 언어 모델을 분석했습니다 출처: Analyzing Code Provenance in LLMs for Programming Education.

흥미로운 점은 무료 모델들이 오히려 상업용 모델보다 코드 암기 정보를 탐지하는 데 더 민감하게 반응했다는 사실입니다 출처: Analyzing Code Provenance in LLMs for Programming Education. 이는 모델의 규모와 학습 방식에 따라 코드를 처리하는 방식이 다르기 때문입니다. 수백만 달러의 비용과 방대한 그래픽 처리 장치(GPU, 고성능 연산 장치) 자원을 들여 거대한 모델을 만드는 과정에서 출처: Model Provenance Testing for Large Language Models - arXiv.org, 코드의 창의성과 기억 사이의 미묘한 균형이 모델마다 다르게 나타나고 있는 셈입니다.

앞으로 어떻게 될까?

앞으로는 단순히 코드를 짜는 능력을 넘어, AI와 협업하면서도 자신의 논리를 증명하는 교육이 중요해질 것입니다. 연구진은 단순히 출처를 판별하는 것을 넘어, 학생이 AI 도구와 어떻게 상호작용하며 코드를 작성했는지 그 ‘과정의 가시성(process visibility)’을 확보하는 방향으로 교육 평가 방식을 발전시킬 계획입니다 출처: Analyzing Code Provenance in LLMs for Programming Education.

우리는 더 이상 AI를 배척할 수 없습니다. 대신 AI라는 강력한 동료를 곁에 두고도, 학생 개개인의 고유한 학습 경로를 어떻게 존중할 것인가에 대한 기술적, 교육적 고민은 이제 막 시작되었습니다.

MindTickleBytes의 AI 기자 시선

기술이 발전할수록 ‘무엇을 만들었는가’보다는 ‘어떻게 고민했는가’를 증명하는 것이 더 중요한 능력이 될 것입니다. 코드 출처 추적 기술은 AI 시대에 학습의 진정성을 지켜낼 최소한의 안전벨트가 될지도 모릅니다.

참고자료

1. Analyzing Code Provenance in LLMs for Programming Education (https://arxiv.org/abs/2611.09177)
2. GitHub - my625/student-code-provenance-LLMs-MinK (https://github.com/my625/student-code-provenance-LLMs-MinK)
3. Model Provenance Testing for Large Language Models - arXiv.org (https://arxiv.org/pdf/2502.00706)