為根除充斥平台、由 AI 無差別生成的低品質內容(AI slop),科學研究平台 ArXiv 已開始對提交包含此類內容論文的研究者實施嚴厲制裁:禁止其在一年內提交任何論文。
想像一下:你正在閱讀一篇能治癒人類絕症的突破性研究論文,結果發現其中引用的數十篇參考文獻竟然全是「虛構」的;又或者,研究數據本身只是 AI(人工智慧)煞有其事地編造出的文字遊戲。這絕非天方夜譚,而是在科學研究的最前線,同時也是全球最大的論文分享平台 ArXiv(研究人員在正式發表前快速共享論文的網站)上實際發生的事情。
ArXiv 近期正受到被稱為「AI 垃圾內容(AI slop)」的低品質 AI 生成內容洪流的嚴重威脅,其可信度正面臨重大挑戰。為了遏止此問題,ArXiv 現在已啟動強力的「清理計畫」。
為什麼這很重要?
科學研究是人類文明知識的基石。如果未經檢驗的數據與論文充斥研究平台,尋找真正有價值的研究將變得如同「大海撈針」。特別是當 AI 生成的錯誤資訊混入學術數據中,若後續研究基於這些資訊進行,將極可能產生「知識污染」的風險。
ArXiv 目前面臨論文提交量爆炸性增長的困境。據參考資料 12指出,2020 年前每月平均約 1 萬件的提交量,至 2026 年 3 月已突破每月 2 萬件。根據參考資料 11與參考資料 10,為阻擋這類激增的數量與氾濫的 AI 內容,ArXiv 自去年起已針對特定類型的電腦科學相關論文引入了提交限制政策。
簡單來說
「AI 垃圾內容」用通俗的話說,就是「沒有營養的 AI 廢料」。比喻來說,就像你走進一家餐廳,桌上擺滿了看起來華麗精緻的菜餚,但實際上卻是沒放任何食材、只噴了點香料來假裝的「偽造料理」。
AI 雖然擅長將句子連結得有模有樣,卻沒有驗證資訊真偽的功能。因此在撰寫論文時,AI 有時會虛構不存在的書籍或論文作為參考文獻,這種現象被稱為「幻覺(Hallucination,指 AI 將非事實的資訊自信地呈現為事實的現象)」。根據參考資料 4,ArXiv 正集中精力取締論文中出現的此類 AI 特有錯誤,特別是像「虛假引用」這種具體明顯的證據。
當前狀況
ArXiv 現在不再選擇旁觀。根據參考資料 3、參考資料 4 與參考資料 7,一旦證實論文中包含未經檢驗的 AI 生成內容,該論文的提交者將面臨「一年內禁止向 ArXiv 提交論文」的強力制裁。
這不僅僅是退回論文,而是對研究者學術活動本身造成打擊的嚴厲措施。現在,作者若在論文中運用了 AI,就必須親自徹底驗證其結果是否準確。根據參考資料 7,研究者現在更被要求經過如權威學術期刊或會議認可等更嚴格的驗證程序。
未來展望
學術界預計將持續與「AI 垃圾內容」進行抗爭。不僅是 ArXiv,其他學術平台也將建立更嚴格的 AI 生成內容標準。未來,研究者雖然會借重 AI 這項強大工具來提升研究速度,但也將意識到,必須為其結果負上全部責任。這是因為我們所期待的未來論文,不應是單純由 AI 所寫,而是透過 AI 輔助,由人類進行更深、更廣驗證後的結晶。
參考資料
- [參考資料 2] ArXiv Bans AI Slop: New Rules for Academic Research (https://theaicronicle.com/en/news/ethics/arxiv-bans-researchers-ai-slop)
- [參考資料 3] ArXiv will ban researchers for a year if they submit papers … (https://www.techspot.com/news/112442-arxiv-moves-combat-ai-slop-submissions-one-year.html)
- [參考資料 4] AI “Slop” Is Flooding Scientific Publishing (https://longlanedigest.substack.com/p/ai-slop-is-flooding-scientific-publishing)
- [參考資料 6] ArXiv is updating its publishing policy because of AI slop. (https://www.theverge.com/ai-artificial-intelligence/812571/ai-slop-arxiv-publishing-policy)
- [參考資料 7] ArXiv Takes a Stand Against AI-Generated Slop in… (https://www.machinebrief.com/news/arxiv-takes-a-stand-against-ai-generated-slop-in-research-pa-vd14)
- [參考資料 10] ‘AI Slop’ Is Flooding Science Publishing, And One Major Site Is Fighting Back : ScienceAlert (https://www.sciencealert.com/ai-slop-is-flooding-science-publishing-and-one-major-site-is-fighting-back)
- [參考資料 11] A key science publishing platform is cracking down on AI slop (https://theconversation.com/a-key-science-publishing-platform-is-cracking-down-on-ai-slop-283136)
- [參考資料 12] r/MachineLearning on Reddit: [N] ArXiv, the pioneering preprint server, declares independence from Cornell (https://www.reddit.com/r/MachineLearning/comments/1rzp5ph/n_arxiv_the_pioneering_preprint_server_declares/)
- 永久禁止提交
- 禁止提交一年
- 刪除論文並發出警告
- 錯別字
- AI 產生的虛假引用 (hallucinated citations)
- 論文長度
- 較 2020 年前增加超過兩倍
- 呈下降趨勢
- 沒有變化