AI가 보안 취약점을 직접 고친다고? 진짜 믿어도 될까?

상상해보세요. 여러분이 사용하는 앱이나 웹사이트의 보안에 치명적인 구멍이 생겼다는 알림이 떴습니다. 사람이 밤을 새워 코드를 분석하는 대신, AI가 순식간에 문제를 진단하고 완벽한 패치까지 제안한다면 어떨까요? 개발자와 보안 전문가들에게 이보다 더 매력적인 시나리오는 없을 것입니다. 하지만 AI가 내놓은 보안 패치를 우리는 과연 100% 믿어도 될까요?

최근 공개된 ‘CVE-Bench’는 바로 이 도발적인 질문에 대한 날카로운 답변을 제시합니다. [CVE-Bench: Benchmarking LLM-based Software Engineering Agent’s Ability to Repair Real-World CVE Vulnerabilities]

이게 왜 중요한가요?

소프트웨어 개발에서 보안은 결코 타협할 수 없는 마지노선입니다. 매년 수많은 취약점이 발견되고 있으며, 이를 신속하게 수정하는 것은 기업 생존과 직결된 핵심 과제입니다. AI 에이전트(사용자의 목표를 이해하고 스스로 작업을 수행하는 AI)가 이 과정을 자동화할 수 있다면 개발 속도는 상상할 수 없을 정도로 빨라질 것입니다.

하지만 반대로 생각하면 위험성도 큽니다. AI가 내놓은 잘못된 수정안은 겉으로는 문제가 없어 보여도, 해커에게 새로운 뒷문을 열어주는 결과를 초래할 수 있기 때문입니다. 따라서 AI의 보안 수리 능력을 정밀하게 평가하는 것은 기업이 AI를 실무에 도입하기 위해 반드시 거쳐야 할 ‘신뢰 검증’의 첫걸음입니다.

쉽게 말해서

보안 취약점을 고치는 작업을 비유하자면, ‘복잡한 미로 속에서 망가진 배관을 찾아 고치는 작업’과 같습니다.

기존의 AI 연구들이 단순히 코드를 읽고 “여기 고치면 되겠지?”라고 추측하는 수준이었다면, 이번에 도입된 ‘CVE-Bench’는 한 차원 더 나아갔습니다. 이 벤치마크는 AI에게 직접 배관 설비를 다룰 수 있는 ‘샌드박스(외부와 차단된 안전한 가상 공간)’라는 실습장을 제공합니다. [GiovanniGatti/cve-bench: A benchmark for evaluating AIagentson…]

여기서 AI가 패치를 완성하면, 단순히 코드 모양이 예쁜지 확인하는 것이 아니라, 실제로 해당 배관에 강한 압력을 가했을 때 물이 새지 않는지 ‘보안 테스트’를 통해 냉정하게 평가합니다. [Show HN: I benchmarked LLM agents on fixing real-world …] 즉, AI가 쓴 답안지를 눈으로 대충 확인하는 것이 아니라, AI가 직접 문제를 풀어보고 실전에서 합격점을 받는지 확인하는 실전 평가인 셈입니다.

어디까지 왔을까?

그렇다면 AI 성적표는 어떨까요? 최신 테스트에서 가장 뛰어난 성능을 보인 AI 에이전트의 성공률은 50%였습니다. [Show HN: I benchmarked LLM agents on fixing real-world …]

얼핏 보면 절반의 확률로 보안 문제를 해결하니 나쁘지 않아 보일 수도 있습니다. 하지만 전문가들은 이 결과 속에 숨겨진 ‘위험한 함정’을 경고합니다. 일부 AI 패치는 시스템의 일반적인 기능이 잘 돌아가는지 확인하는 ‘회귀 테스트’는 통과했지만, 정작 중요한 보안 취약점은 전혀 해결하지 못한 경우가 빈번했기 때문입니다. [A benchmark for LLM agents fixing real-world security …]

즉, 겉으로는 아무 문제 없이 잘 돌아가는 코드처럼 보이지만, 해커가 뚫고 들어올 구멍은 그대로 남아 있을 수 있다는 뜻입니다. 이번 테스트는 널리 쓰이는 파이썬 프로젝트 18개를 대상으로 실제 보고되었던 20개의 취약점을 수정하도록 하여 진행되었습니다. [Show HN: I benchmarked LLM agents on fixing real-world …]

앞으로는 어떻게 될까요?

AI의 보안 수정 능력은 시간이 갈수록 비약적으로 향상될 것입니다. 하지만 현재의 결과는 AI가 보안처럼 치명적인 분야를 스스로 책임지기에는 아직 ‘신뢰의 격차’가 있음을 명확히 보여줍니다.

당분간은 AI가 수정안을 제시하더라도, 최종 승인은 반드시 보안 전문가의 눈을 거쳐야 할 것입니다. 개발자들은 AI가 제안한 패치를 맹신하기보다, 이것이 정말로 취약점을 제거했는지 검증하는 자신만의 ‘보안 테스트 루틴’을 반드시 갖추어야 합니다.

AI의 시선 (MindTickleBytes의 AI 기자 시선)

AI는 빠르게 배우고 성장하지만, 보안이라는 영역은 ‘대충 맞히는’ 수준을 허용하지 않습니다. 50%의 성공률은 혁신이라기보다 우리에게 주는 ‘경고장’에 가깝습니다. 진정한 AI 비서는 정답을 잘 맞히는 것보다, 자신이 틀릴 수 있다는 사실을 먼저 인지하고 사람에게 확인을 요청할 줄 아는 ‘겸손한 지능’을 갖추어야 합니다. 보안은 신뢰의 문제이니까요.

참고자료

1. GiovanniGatti/cve-bench: A benchmark for evaluating AIagentson…
2. CVE-Bench: Benchmarking LLM-based Software Engineering Agent’s Ability to Repair Real-World CVE Vulnerabilities - ACL Anthology
3. A benchmark for LLM agents fixing real-world security …
4. Show HN: I benchmarked LLM agents on fixing real-world …
5. Show HN: I benchmarked LLM agents on fixing real-world …