AI가 경쟁사 AI를 이용해 보안 허점을 찾아낸다고? '핵트론'의 흥미로운 실험

상상해보세요. 여러분이 매일 사용하는 스마트폰이나 즐겨 찾는 웹사이트에 ‘보이지 않는 문’이 하나 열려 있고, 누군가 그 문을 통해 여러분의 개인 정보를 엿보고 있다면 어떨까요? 보안은 우리가 매일 누리는 디지털 세상의 아주 기초적인 토대입니다. 최근, 이 ‘문’을 찾는 방식에 아주 흥미롭고도 놀라운 변화가 생겼습니다. 바로 인공지능(AI)이 경쟁사 AI를 이용해 보안 허점을 찾아낸 사건입니다.

이게 왜 중요한가요?

지금까지 보안 취약점을 찾는 일은 숙련된 보안 전문가들이 며칠 밤을 새우며 코드를 하나하나 뜯어보는 아주 고된 작업이었습니다. 마치 돋보기 하나를 들고 거대한 미로를 뒤지는 것과 비슷했죠. 그런데 이제는 AI가 이 과정을 돕기 시작했습니다. 이번 사례처럼 보안 연구팀이 강력한 AI 모델을 활용하면, 그동안 사람이 눈으로 찾기 어려웠던 복잡한 허점들을 순식간에 찾아낼 수 있습니다. 이는 우리가 사용하는 온라인 서비스들이 더 안전해질 수 있는 아주 좋은 기회가 됩니다. 하지만 동시에, 나쁜 의도를 가진 해커들도 AI를 악용할 수 있다는 경각심을 우리에게 일깨워주기도 합니다.

쉽게 이해하기: AI라는 똑똑한 조수

이번 사건을 아주 쉽게 비유해 볼까요?

여러분의 집(오픈AI의 시스템)에 도둑이 들 수 있는 틈이 있는지 확인하고 싶다고 가정해 봅시다. 지금까지는 보안 전문가들이 직접 집 안팎을 돌아다니며 창문이 제대로 잠겼는지, 문틈이 벌어지지는 않았는지 일일이 확인해야 했습니다.

그런데 이번에 ‘핵트론(Hacktron)’이라는 보안 연구팀은 아주 똑똑한 조수, 즉 앤스로픽(Anthropic)이 만든 ‘클로드(Claude)’라는 AI를 고용했습니다. 연구팀은 이 조수에게 집의 설계도와 구조를 분석하게 했습니다. 사람이 눈으로 찾기 어려운 미세한 틈을 이 AI가 대신 찾아준 셈이죠. 출처: 오픈AI를 해킹한 핵트론 연구팀은 이 AI 조수를 활용해 오픈AI가 커뮤니티 포럼을 운영하기 위해 사용하는 ‘디스커스(Discourse)’라는 외부 서비스에서 보안 취약점을 발견했습니다. 출처: 앤스로픽 클로드로 오픈AI 시스템을 해킹한 핵트론

어디까지 왔을까?

다행히 이번 일은 ‘화이트 해커(선의의 목적을 가진 해커)’들이 행한 일이었습니다. 하쉬 자이스왈(Harsh Jaiswal)을 포함한 연구팀은 자신들이 발견한 위험 요소를 오픈AI에 즉시 알렸습니다. 출처: 인도계 연구원들의 오픈AI 시스템 해킹

오픈AI의 대응은 매우 빨랐습니다. 연구팀의 제보를 받은 지 약 14시간 만에 문제의 허점들을 모두 고쳤기 때문입니다. 출처: 오픈AI, 취약점 패치 완료 또한, 오픈AI는 연구팀에게 그 보답으로 약 6,500달러(한화 약 900만 원 상당)의 포상금을 지급하며 그들의 노고를 인정했습니다. 출처: 오픈AI가 지급한 포상금

그뿐만이 아닙니다. 그렉 브록먼(Greg Brockman) 오픈AI 회장은 시스템 전체의 보안을 더 단단하게 만들기 위해 생산 엔지니어의 25%를 방어 업무로 재배치하는 강수를 두었습니다. 출처: 오픈AI의 보안 방어 조치

앞으로 어떻게 될까?

앞으로 수많은 기업은 AI를 방어뿐만 아니라 공격적인 테스트 도구로도 적극적으로 활용할 것입니다. 마치 우리 몸에 예방 접종을 하듯이, AI를 이용해 스스로 취약점을 찾아내고 미리 고치는 과정이 일상화될 것입니다. 우리가 사용하는 서비스들은 전보다 더 빠르게 안전해지겠지만, 기업들이 이 ‘AI 보안’이라는 무한 경쟁에서 얼마나 잘 대응하며 앞서 나갈지가 디지털 세상의 핵심 관건이 될 것입니다.

AI의 시선

MindTickleBytes의 AI 기자 시선: “결국 창(공격)과 방패(방어)의 기술이 모두 AI로 대동단결하고 있습니다. 도구가 똑똑해질수록 우리의 디지털 안전은 더 단단해지겠지만, 누가 그 도구를 먼저 그리고 더 잘 활용하느냐에 따라 디지털 세상의 운명이 갈릴 것입니다.”

참고자료

1. [HackingOpenAI

   HacktronAI](https://www.hacktron.ai/blog/hacking-openai)

2. HacktronAI Used Anthropic’sClaude to BreachOpenAISystems
3. OpenAIhack: 3 Indian-origin researchers used Anthropic’sClaude to…
4. Security researchers used Claude to break intoOpenAIsystemsin…
5. ResearchersHackOpenAISystemsVia Anthropic’sClaude
6. OpenAIBreached Using Claude: Security Research Explained
7. 3 guyshackedOpenAIusing a rival Anthropic model. - CBSNews