내 논문이 AI가 쓴 '가짜'라고? 학계의 'AI 슬롭'과의 전쟁

상상해보세요. 인류의 난치병을 치료할 획기적인 연구 논문을 읽고 있는데, 알고 보니 그 논문에 인용된 수십 개의 참고문헌이 실존하지 않는 ‘가짜’라면 어떨까요? 혹은 연구 데이터 자체가 AI(인공지능)가 그럴듯하게 지어낸 말장난이라면요? 단순히 상상 속의 이야기가 아닙니다. 과학 연구의 최전선이자 세계 최대의 논문 공유 플랫폼인 아카이브(ArXiv, 연구자들이 정식 출판 전 논문을 빠르게 공유하는 사이트)에서 실제로 벌어지고 있는 일들입니다.

아카이브는 최근 ‘AI 슬롭(AI slop)’이라 불리는 저품질 AI 생성 콘텐츠가 홍수처럼 쏟아져 들어오면서 신뢰도가 크게 위협받고 있습니다. 이 문제를 해결하기 위해 아카이브는 이제 강력한 ‘퇴출 작전’을 시작했습니다.

이게 왜 중요한가요?

과학 연구는 인류가 쌓아온 지식의 기반입니다. 하지만 검증되지 않은 데이터와 논문들이 연구 플랫폼을 가득 채운다면, 실제 가치 있는 연구를 찾기가 ‘모래사장에서 바늘 찾기’만큼이나 어려워집니다. 특히 AI가 생성한 잘못된 정보가 학술 데이터에 섞이게 되면, 이 정보를 바탕으로 후속 연구가 진행되는 ‘지식의 오염’이 발생할 위험이 큽니다.

현재 아카이브는 제출되는 논문의 양이 폭발적으로 늘어나는 상황에 직면해 있습니다. 출처 12에 따르면, 2020년 이전에는 월평균 1만 건 정도였던 제출량이 2026년 3월 기준 월 2만 건을 넘어섰습니다. 출처 11과 출처 10에 따르면, 작년부터 아카이브는 이러한 급격한 양적 팽창과 AI 콘텐츠의 범람을 막기 위해 특정 유형의 컴퓨터 과학 관련 논문 제출을 제한하는 정책을 도입하기도 했습니다.

쉽게 말해서

‘AI 슬롭’은 쉽게 말해 ‘영양가 없는 AI 쓰레기’입니다. 비유하면 식당에 갔는데, 겉보기엔 근사한 요리처럼 보이지만 실제로는 아무런 재료도 넣지 않고 향신료만 뿌려 그럴듯하게 흉내 낸 ‘가짜 요리’가 쏟아져 나오는 상황과 같습니다.

AI는 문장을 매우 그럴듯하게 연결하는 데는 능숙하지만, 정보가 진짜인지 확인하는 기능은 없습니다. 그래서 논문을 쓸 때 존재하지 않는 책이나 논문을 참고문헌으로 지어내기도 하는데, 이를 ‘환각(Hallucination, 인공지능이 사실이 아닌 정보를 마치 사실인 것처럼 자신 있게 내놓는 현상)’ 현상이라고 합니다. 출처 4에 따르면, 아카이브는 논문 속에서 이러한 AI 특유의 오류, 특히 존재하지 않는 ‘가짜 인용구’와 같은 명확한 증거가 발견될 경우 이를 집중적으로 단속하고 있습니다.

현재 상황

아카이브는 이제 더 이상 관망하지 않습니다. 출처 3, 출처 4, 출처 7에 따르면, 논문에 검증되지 않은 AI 생성물이 포함되어 있다는 사실이 확인될 경우, 해당 논문을 제출한 연구자에게 ‘1년 동안 아카이브 제출 금지’라는 강력한 제재를 부과합니다.

단순히 논문을 반려하는 수준을 넘어 연구 활동 자체에 타격을 주는 엄중한 조치입니다. 이제 저자들은 자신의 논문에 AI를 활용했다면 그 결과물이 정확한지 직접 철저히 검증해야 합니다. 출처 7에 의하면, 공신력 있는 학술지나 행사에서 연구의 가치를 인정받는 과정을 거치는 등 더 까다로운 검증 단계를 요구받고 있습니다.

앞으로 어떻게 될까?

학계는 당분간 ‘AI 슬롭’과의 전쟁을 이어갈 전망입니다. 단순히 아카이브뿐만 아니라 다른 학술 플랫폼들도 AI 생성물에 대한 기준을 더 엄격하게 세울 것입니다. 앞으로 연구자들은 AI라는 강력한 도구를 빌려 연구 속도를 높이겠지만, 그 결과물에 대한 책임 또한 전적으로 자신에게 있음을 깨닫게 될 것입니다. 우리가 보는 미래의 논문들은 AI가 쓴 것이 아니라, AI의 도움을 받아 인간이 더 깊고 넓게 검증한 결과물이어야 하기 때문입니다.

참고자료

1. [출처 2] ArXiv Bans AI Slop: New Rules for Academic Research (https://theaicronicle.com/en/news/ethics/arxiv-bans-researchers-ai-slop)
2. [출처 3] ArXiv will ban researchers for a year if they submit papers … (https://www.techspot.com/news/112442-arxiv-moves-combat-ai-slop-submissions-one-year.html)
3. [출처 4] AI “Slop” Is Flooding Scientific Publishing (https://longlanedigest.substack.com/p/ai-slop-is-flooding-scientific-publishing)
4. [출처 6] ArXiv is updating its publishing policy because of AI slop. (https://www.theverge.com/ai-artificial-intelligence/812571/ai-slop-arxiv-publishing-policy)
5. [출처 7] ArXiv Takes a Stand Against AI-Generated Slop in… (https://www.machinebrief.com/news/arxiv-takes-a-stand-against-ai-generated-slop-in-research-pa-vd14)
6. [출처 10] ‘AI Slop’ Is Flooding Science Publishing, And One Major Site Is Fighting Back : ScienceAlert (https://www.sciencealert.com/ai-slop-is-flooding-science-publishing-and-one-major-site-is-fighting-back)
7. [출처 11] A key science publishing platform is cracking down on AI slop (https://theconversation.com/a-key-science-publishing-platform-is-cracking-down-on-ai-slop-283136)
8. [출처 12] r/MachineLearning on Reddit: [N] ArXiv, the pioneering preprint server, declares independence from Cornell (https://www.reddit.com/r/MachineLearning/comments/1rzp5ph/n_arxiv_the_pioneering_preprint_server_declares/)