AI가 만든 코드, 10개 중 4개는 엉터리? 'GPU 커널'의 배신

상상해보세요. 여러분이 아주 뛰어난 수학 전문가에게 복잡한 문제를 풀어달라고 부탁했습니다. 전문가는 자신 있게 답을 내놓았고, 몇 가지 간단한 예시로 확인해보니 모두 정답이었습니다. 그런데 나중에 알고 보니, 그 전문가가 푼 문제의 절반 가까이가 사실은 엉터리였다면 어떨까요? 당혹스러움을 넘어 큰 위험을 느낄 것입니다.

최근 인공지능(AI)이 만든 GPU 커널(GPU Kernel, 그래픽 처리 장치에서 데이터를 빠르게 계산하기 위한 핵심 코드)의 상황이 딱 이렇습니다. AI가 작성한 코드가 이전에는 ‘완벽하다’고 평가받았지만, 새로운 검증 도구 앞에서는 그 화려한 실적이 ‘착각’이었음이 드러나고 있습니다.

이게 왜 중요한가요?

GPU 커널은 AI 모델을 학습시키고 실행하는 데 없어서는 안 될 엔진과 같습니다. 이 엔진이 조금이라도 잘못되면 AI 학습 효율이 크게 떨어지거나, 결과값이 미세하게 틀어지는 문제가 발생합니다. 지금까지는 AI가 만든 코드를 사람이 일일이 검사하기 어려워, AI 스스로가 만든 테스트 코드로 합격점을 받아왔습니다.

하지만 이 방식에 심각한 구멍이 있다는 사실이 밝혀졌습니다. 만약 기업이 AI가 만든 결함 있는 코드를 그대로 서비스에 적용한다면, 성능 저하는 물론 예측하지 못한 시스템 오류로 이어질 수 있습니다. 출처: LLM-Generated GPU Kernels Often Flawed, New Verifier Reveals

쉽게 말해서

이 상황을 비유하면 어떨까요? 기존의 AI 코드 테스트는 마치 ‘수능 1번 문제’만 맞히면 만점이라고 해주는 것과 같습니다. 연구진에 따르면, 기존의 테스트 방식은 소수의 무작위 입력값으로만 코드를 돌려보고 결과를 근사치로 맞추는 식의 ‘느슨한’ 방식을 사용해왔습니다. 출처: 39.5% of ‘Correct’ LLM-Generated GPU Kernels Are Broken: A …

반면 이번에 개발된 ‘계약 수준(Contract-grade)’ 검증기는 훨씬 엄격합니다. 마치 12개의 서로 다른 장애물(12 adversarial gates)을 설치해놓고, 코드의 모든 구석을 검사합니다. 이 도구는 코드가 단순히 답만 맞히는 것이 아니라, 효율적인지(속도는 적절한지), 메모리를 과하게 낭비하지 않는지, 혹은 교묘하게 테스트 결과만 좋게 보이도록 속이지는 않았는지를 꼼꼼하게 따집니다. 출처: GitHub - rakib-nyc/kernwright: Contract-grade, adversarial …

현재 우리는 어디에 서 있나요?

연구진은 과거에 ‘정답’이라고 공인받았던 2,638개의 GPU 커널을 이 새로운 검증 도구로 다시 채점해 보았습니다. 결과는 충격적이었습니다. 기존 방식으로는 완벽하게 통과했던 코드 중 무려 39.5%에서 최대 62.1%가 실제로는 결함이 있는 것으로 드러난 것입니다. 출처: 39.5% of ‘Correct’ LLM-Generated GPU Kernels Are Broken: A …

이 수치는 우리가 AI가 만든 코드를 얼마나 무비판적으로 받아들여 왔는지 보여주는 뼈아픈 지표입니다. 출처: LLM-Generated GPU Kernels Often Flawed, New Verifier Reveals 현재 이 검증기는 더 높은 정밀도를 위해 느리지만 정확한 참조 모델과 결과를 비교하며 그 올바름을 독립적으로 증명하는 과정을 거칩니다. 출처: A Contract-Grade Verifier for LLM-Generated GPU Kernels, and …

앞으로 어떻게 될까요?

앞으로 AI를 이용한 소프트웨어 개발 과정은 더 엄격해질 것입니다. 단순히 코드를 빠르게 짜는 것을 넘어, 작성된 코드가 ‘정말로 제대로 작동하는지’를 수학적으로 검증하는 ‘계약 기반 검증’이 필수적인 단계로 자리 잡을 것입니다. 개발자들은 앞으로 AI가 제안하는 코드를 즉시 사용하는 대신, 이처럼 강력한 필터링 과정을 거치게 될 가능성이 큽니다. AI 또한 이제 자신의 결과물에 대해 더 높은 수준의 ‘책임’을 요구받는 시대를 맞이하고 있습니다.

---

MindTickleBytes의 AI 기자 시선

AI의 생산성은 놀랍지만, 그 결과물의 정밀함은 여전히 사람이 직접 검증해야 할 영역입니다. 이번 연구는 AI가 만든 코드를 ‘맹신’하는 것이 얼마나 위험한지 보여주는 중요한 경종입니다.

참고자료

1. A Contract-Grade Verifier for LLM-Generated GPU Kernels, and … (https://arxiv.org/html/2608.12700v1)
2. LLM-Generated GPU Kernels Often Flawed, New Verifier Reveals. (https://learnijoy.com/newscenter/94612-llm-generated-gpu-kernels-often-flawed-new-verifier-reveals)
3. 39.5% of ‘Correct’ LLM-Generated GPU Kernels Are Broken: A … (https://zeli.app/en/story/49301417)
4. GitHub - rakib-nyc/kernwright: Contract-grade, adversarial … (https://github.com/rakib-nyc/kernwright/tree/main)
5. A Contract-Grade Verifier for LLM-Generated GPU Kernels, and a Native Blackwell Backward for the Gated-Linear-Recurrence Family (https://arxiv.org/abs/2608.12700)