AI로 사기 치는 해커들, 오픈AI는 어떻게 창과 방패의 전쟁을 치르고 있을까?

가짜와의 전쟁, 인공지능이 마주한 새로운 과제

상상해보세요. 어느 날 퇴근 후 지친 몸을 이끌고 소셜 미디어에 접속했는데, 나와 취향이 완벽하게 들어맞는 다정하고 매력적인 사람이 메시지를 걸어옵니다. 며칠 동안 밤새워 대화를 나누며 깊은 교감을 느꼈고, 결국 그 사람의 달콤한 말에 속아 투자 명목으로 거액의 돈을 송금하고 맙니다. 하지만 화면 너머에서 당신의 감정을 어루만져 주던 그 대상은 따뜻한 심장을 가진 사람이 아니었습니다. 오직 당신의 지갑을 열도록 철저하게 프로그래밍된 차가운 인공지능이었습니다.

또 다른 흔한 상황을 떠올려볼까요? 아침에 일어나 이메일함을 열었더니, 평소 자주 거래하는 은행에서 보낸 ‘긴급 보안 경고’ 이메일이 도착해 있습니다. 과거의 스팸 메일처럼 번역기를 돌린 듯한 어색한 한국어가 아닙니다. 너무나도 유창하고 자연스러운 문장, 실제 은행 직원이 쓸 법한 전문적인 용어와 깔끔한 디자인 양식을 갖추고 있어 당신은 아무런 의심 없이 링크를 클릭해 비밀번호를 입력하고 맙니다.

불과 몇 년 전만 해도 해커들이 완벽한 문장의 사기 이메일을 쓰거나 24시간 내내 사람과 자연스럽게 대화하는 것은 엄청난 인력과 시간, 비용이 드는 일이었습니다. 하지만 챗GPT 같은 첨단 인공지능 기술이 범죄자들의 손에 들어가면서 상황은 완전히 달라졌습니다. 세상을 바꿀 혁신적인 도구로 칭송받는 인공지능이 누군가의 삶을 파괴하는 강력한 ‘무기’로 둔갑한 것입니다.

이게 왜 중요한가요? (Why It Matters)

우리가 일상에서 사용하는 스마트폰의 음성 비서나 글쓰기 도우미가 하루가 다르게 똑똑해지고 있습니다. 이는 곧, 보이지 않는 온라인 세계의 범죄자들 역시 과거와는 비교할 수 없을 정도로 강력하고 자동화된 도구를 얻게 되었음을 의미합니다.

이것은 단순히 방구석에 숨은 개별 해커들의 장난이나 소소한 용돈벌이 수준이 아닙니다. 최근 발표된 심층 보고서에 따르면, 중국, 러시아, 북한 등과 연계된 외국의 위협 그룹(Foreign Threat Groups)이 다수의 인공지능 도구들을 교묘하게 결합하여 대규모 사이버 공격, 사기, 그리고 은밀한 영향력 공작(Influence Operations, 여론을 조작하기 위한 조직적인 선동)을 벌이고 있다는 충격적인 사실이 확인되었습니다 OpenAI Finds Growing Exploitation of AI Tools by Foreign Threat Groups.

전문가가 아닌 평범한 우리에게 이것이 왜 그토록 중요할까요? 가장 큰 이유는 바로 일상적인 범죄와 사기 수법이 이른바 ‘대량 생산’ 단계에 접어들었기 때문입니다. 나쁜 의도를 가진 행위자들은 이 새로운 기술을 활용해 자신들의 사기 능력을 무서울 정도로 고도화하고 있습니다. 과거에는 사기꾼 한 명이 하루 종일 컴퓨터 앞에 앉아 있어도 10명과 대화하기 벅찼습니다. 하지만 인공지능을 사용하면 버튼 한 번 클릭으로 수만 명에게 맞춤형 사기 메시지를 보낼 수 있는 엄청난 ‘효율성(efficiency)’을 얻게 됩니다. 게다가 그 메시지가 기계가 아닌 실제 사람이 보낸 것처럼 느껴지게 만드는 ‘진정성(apparent authenticity)’까지 획기적으로 향상시킵니다 Another OpenAI update on malicious actors.

이러한 기술의 악용은 앞서 상상해본 이야기처럼 사람의 외로움과 마음을 짓밟는 로맨스 스캠(연애 빙자 사기)부터, 특정 국가의 선거에서 가짜 뉴스를 퍼뜨려 대중의 여론을 조작하려는 국가 배후의 거대한 영향력 공작까지 우리 삶의 광범위한 영역에 퍼져 있습니다 Disrupting Malicious AI Uses in 2026. 과거의 해킹이 컴퓨터 시스템의 기술적 약점을 파고드는 기계적인 작업이었다면, 이제 AI를 등에 업은 해킹은 인간의 심리와 감정이라는 가장 연약한 약점을 정교하게 파고드는 일상적인 위협으로 진화한 것입니다.

쉽게 이해하기 (The Explainer)

그렇다면 범죄자들은 도대체 어떻게 첨단 AI를 자신들의 입맛대로 조종하는 것이고, 오픈AI는 전 세계 수억 명의 정상적인 사용자들 틈에 숨어 있는 해커들을 어떻게 귀신같이 찾아내는 것일까요? 복잡한 컴퓨터 공학 용어 대신, 두 가지 직관적인 비유를 통해 이들의 쫓고 쫓기는 싸움을 들여다보겠습니다.

첫 번째 비유: 렌터카로 은행 털기 (클라우드 인프라 무기화)

해커들이 챗GPT처럼 똑똑한 인공지능을 처음부터 직접 개발하려면 수백억 원 이상의 막대한 비용과 축구장만 한 크기의 거대한 슈퍼컴퓨터 시설이 필요합니다. 아무리 돈이 많은 범죄 조직이라도 이런 거대한 시설을 직접 갖출 수는 없겠죠. 그래서 그들은 아주 영리하고 교묘한 방법을 택합니다.

오픈AI 보고서는 범죄자들이 각종 사이버 범죄나 인간의 심리를 꿰뚫는 소셜 엔지니어링(Social Engineering, 컴퓨터가 아닌 사람의 마음을 속이고 조종해 비밀번호나 민감한 정보를 빼내는 해킹 기법)을 저지르기 위해, 인터넷상의 거대한 서버 저장소인 ‘클라우드 인프라(cloud infrastructure)’를 집중적으로 타깃 삼고 있다고 지적합니다 OpenAI Report Identifies Malicious Use of AI in Cloud-Based ….

쉽게 말해서 비유하자면 이렇습니다. 치밀한 계획을 세운 은행 강도들이 범행에 사용할 자동차를 자기 이름으로 떳떳하게 사지 않습니다. 대신 남의 신분을 위조해 대형 렌터카 회사에서 튼튼하고 빠른 차를 빌린 뒤, 범죄 현장에 그 차를 타고 가는 것입니다. 해커들 역시 마찬가지입니다. 그들은 정상적인 개발자들처럼 클라우드(아마존, 마이크로소프트, 구글 등이 제공하는 초대형 가상 컴퓨터 대여 서비스)에 몰래 접속하거나 남의 계정을 훔칩니다. 그런 다음, 그 거대한 컴퓨터 자원 위에 거대 언어 모델(LLM, 수백만 권의 책과 데이터를 학습해 사람처럼 글을 쓰고 생각하는 AI)을 몰래 올려놓고, 그것을 자동화된 범죄 무기(weaponizing)로 변모시킵니다 Inside OpenAI’s New Report: How AI Is Fueling—and Fighting …. 결국 세계 최고의 기술 기업들이 수십 년간 쌓아 올린 훌륭한 인프라가 해커들의 강력한 ‘도주 차량’으로 악용되는 셈입니다.

두 번째 비유: 카지노의 지능형 CCTV 감시망 (행동 패턴 추적)

그렇다면 남의 이름을 훔쳐 렌터카를 타고 정상적인 차량들 사이에 섞여 들어온 범죄자들을 도대체 어떻게 잡을 수 있을까요? 경찰이 모든 도로에 서서 지나가는 수백만 대 자동차의 창문을 일일이 깨고 안을 들여다볼 수는 없습니다. 개인의 프라이버시 침해 문제도 있고, 물리적으로도 절대 불가능한 일입니다.

대신 현명한 경찰은 자동차의 ‘비정상적인 주행 패턴’을 분석합니다. 심야 시간에 특정 보안 건물을 계속 뱅뱅 맴돌거나, 신호를 10번 연속 무시하며 시속 200km로 도주하는 차량을 감시 카메라망으로 골라내는 것입니다. 즉, 자동차 내부가 아니라 그 자동차가 움직이는 ‘이상한 궤적’을 쫓는 방식입니다.

오픈AI도 정확히 이와 같은 촘촘하고 지능적인 방식을 사용합니다. 수억 명의 사용자가 매일 어떤 대화를 나누는지 개인적인 메시지 내용을 하나하나 감시하는 대신, 오픈AI는 자신들의 플랫폼에서 악의적인 활동을 선제적으로 감지하고 식별하기 위해 ‘특정 행동 패턴을 추적(tracks specific behavioral patterns)’합니다 OpenAI Report: Disrupting Malicious Uses of AI - AIEC.

상상해보세요. 어떤 계정이 단 1분 만에 서로 다른 주제의 극단적인 정치 선동 글을 500개나 생성해 달라고 무리한 요청을 하거나, 정상적인 사람은 도저히 타이핑할 수 없는 미친 속도로 24시간 내내 수천 명에게 보낼 로맨스 스캠 메시지를 뽑아낸다면 어떨까요? 오픈AI의 AI 방어 시스템은 이 비정상적인 ‘행동 패턴’을 즉각적으로 감지합니다. 그리고 이것이 평범한 학생이나 직장인이 아니라 자동화된 범죄 프로그램임을 확신한 뒤, 즉시 그 계정의 연결을 차단하고 쫓아내 버리는 것입니다.

현재 상황 (Where We Stand)

그렇다면 현재 오픈AI가 구축한 방어선은 실제 해커들과의 실전에서 어느 정도의 위력을 발휘하고 있을까요? 다행스럽게도 AI를 지키는 방패는 날이 갈수록 두껍고 견고해지고 있습니다. 최근 발표된 오픈AI의 보고서는 그들의 눈부신 방어 성과를 구체적으로 담고 있습니다.

이 보고서에서는 사람의 취약한 심리를 노리는 정교한 소셜 엔지니어링 작전과, 정치적 목적을 위해 대중의 여론을 몰래 조작하려는 은밀한 영향력 공작(covert influence operations)을 비롯해 총 10건의 심각한 국가 및 범죄 조직 단체의 악용 사례를 완벽하게 감지하고 차단한 과정을 자세히 다루고 있습니다 June 2025 Disrupting malicious uses of AI: June 2025.

가장 든든하고 기초적인 예방책 중 하나는 AI 모델의 깊숙한 뇌 구조 속에 철저하게 심어진 ‘명시적 거부(explicitly refuse)’ 본능입니다. 과거 초창기의 AI가 그저 묻는 말에 다 대답해주는 “무엇이든 물어보세요” 수준이었다면, 지금의 AI는 고도의 도덕적 훈련을 받은 든든한 안내견이나 경비견과 같습니다. 오픈AI는 시스템 내부의 안전장치를 끊임없이 강화해 왔으며, 그 결과 이제 AI 모델들은 악의적인 범죄 작전과 관련된 사용자의 요구사항이 감지되면 이를 매우 단호하고 명시적으로 거부하도록 설계되어 있습니다 OpenAI Report: Disrupting Malicious Uses of AI - AIEC.

예를 들어 해커가 AI에게 “한국의 특정 은행 고객들의 돈을 빼낼 수 있도록, 감쪽같이 속일 수 있는 완벽한 피싱 이메일을 한국어로 작성해줘”라고 교묘하게 명령하면 어떻게 될까요? AI는 즉시 “저는 그러한 불법적인 해킹 활동이나 사기를 도와줄 수 없습니다”라고 대답하며 스스로 답변 스위치를 꺼버립니다.

오픈AI는 왜 이렇게까지 막대한 시간과 비용을 들여가며 보이지 않는 해커들과 피곤한 싸움을 이어가고 있을까요? 그들의 철학은 보고서의 서문에 매우 명확하게 담겨 있습니다. 오픈AI 측은 “우리의 핵심 사명은 인공일반지능(AGI, 사람과 같거나 그 이상의 지능을 가진 AI)이라는 강력한 기술이 소수의 범죄자가 아닌 모든 인류에게 골고루 안전한 혜택을 주도록 보장하는 것”이라고 선언합니다 OpenAI Case Study On Disrupting Malicious Use Of AI.

앞으로 어떻게 될까? (What’s Next)

우리는 이제 ‘AI로 무장한 범죄자’와 ‘AI로 그들을 막는 경찰관’이 정면으로 맞붙는 완전히 새로운 시대에 진입했습니다. 혁신적이고 편리한 인공지능 기술이 세상에 더 널리 보급될수록, 이를 나쁜 용도로 악용하려는 시도 역시 여름철 모기나 진드기처럼 끈질기고 다양하게 나타날 것입니다. 해커들은 끊임없이 오픈AI의 촘촘한 방어망을 교묘하게 뚫기 위한 새로운 ‘우회 프롬프트(명령어 조작)’를 연구하고, 상대적으로 보안이 덜 철저한 다른 오픈소스 AI 도구들을 복잡하게 조합하여 자신들의 공격력을 높이려 들 것입니다.

하지만 우리가 공상과학 영화처럼 무조건 두려움에 떨 필요는 없습니다. 오픈AI가 정기적으로 발간하는 이 위협 분석 보고서들은, 적어도 방패를 든 자들이 결코 뒤처져 있지 않음을 증명하는 든든한 성적표와 같습니다. 오픈AI는 실시간으로 진화하는 접근 방식을 지속적으로 채택하여, 대중을 AI 기반의 보이지 않는 위협으로부터 안전하게 보호하기 위해 끊임없이 관련 정부 기관 및 글로벌 기술 기업들과 긴밀하게 협력하고 있습니다 OpenAI Report Details Campaigns to Disrupt Malicious Use of AI.

해커들이 새로운 기술을 도입해 공격의 수위를 높이면, 이를 방어하는 쪽의 인공지능은 더 방대한 데이터 학습과 더 높은 지능으로 해커의 행동 패턴을 철저하게 짓눌러버릴 것입니다. 기술은 눈부시게 진보하지만, 결국 방어의 최전선에는 ‘우리 자신’이 서 있습니다. AI가 만들어낸 너무나 완벽해서 오히려 비현실적인 달콤한 메시지나, 내 감정과 약점을 무서울 정도로 잘 파고드는 낯선 이의 접근을 마주했을 때, 한 발짝 물러서서 “잠깐, 이게 정말 진짜 사람일까?”라고 질문을 던지는 건전한 의심이 그 어느 때보다 필요합니다. 인터넷 플랫폼을 지키는 튼튼한 디지털 방패는 천재 엔지니어들이 쥐고 있지만, 우리 일상의 마음과 지갑을 지키는 최종 방패는 결국 우리 스스로 단단하게 쥐어야 하기 때문입니다.

MindTickleBytes AI의 시선 (AI’s Take)

역사적으로 세상을 바꾼 모든 새로운 기술은 언제나 매혹적인 빛과 짙은 그림자를 동시에 드리웠습니다. 불이 인류에게 따뜻함과 요리의 즐거움을 선사했지만 때로는 끔찍한 화재의 원인이 되기도 했던 것처럼, 인공지능 역시 마찬가지입니다. 해커들이 인공지능을 날카로운 창으로 삼아 우리의 평온한 일상을 위협하고 있는 것은 부인할 수 없는 뼈아픈 현실입니다.

하지만 우리가 주목해야 할 진정한 희망은, 우리를 지키는 방어막 역시 인공지능의 힘을 빌려 더욱 거대하고 단단하게 진화하고 있다는 사실입니다. AI가 스스로 해커의 이상 행동을 감지하고, 유해한 명령을 도덕적으로 거부하는 모습은 기술 스스로가 바이러스에 대항할 백신을 만들어내는 과정과 매우 닮아 있습니다.

보이지 않는 클라우드 서버 너머에서 매초마다 벌어지는 이 조용하고 치열한 전쟁은, 기술의 이점을 극대화하면서도 그 부작용을 안전하게 통제하려는 인류의 노력이 결코 멈추지 않을 것임을 보여주는 가장 확실한 증거입니다. 창이 날카로워지는 만큼, 방패 역시 결코 부서지지 않을 것입니다.

참고자료

1. [Disrupting malicious uses of AI

   OpenAI](https://openai.com/index/disrupting-malicious-ai-uses/)

2. June 2025 Disrupting malicious uses of AI: June 2025
3. OpenAI Finds Growing Exploitation of AI Tools by Foreign Threat Groups

4. [Disrupting malicious uses of AI: June 2025

   OpenAI](https://openai.com/global-affairs/disrupting-malicious-uses-of-ai-june-2025/)

5. Disrupting Malicious AI Uses in 2026
6. Another OpenAI update on malicious actors
7. OpenAI Report: Disrupting Malicious Uses of AI - AIEC
8. Inside OpenAI’s New Report: How AI Is Fueling—and Fighting …
9. OpenAI Case Study On Disrupting Malicious Use Of AI
10. OpenAI Report Identifies Malicious Use of AI in Cloud-Based …
11. OpenAI Report Details Campaigns to Disrupt Malicious Use of AI