AI 写的文章,能通过“结构”而非“词汇”辨别出来吗?

一幅由 AI 分析网页的形象图,网页中包含复杂的逻辑结构和各种数据块。
AI Summary

研究发现,即使更换词汇,也无法掩盖 AI 特有的写作“结构”。近期研究的“SlopShape”技术仅凭信息的布局和逻辑展开方式,就能以 98% 的准确率识别出 AI 内容。

想象一下,你每天早上阅读心仪的通讯或博客文章。正读得津津有味时,却发现其中半数以上的内容并非出自人类,而是由 AI 撰写的。你会作何感想?

到目前为止,我们主要专注于通过“词汇”来寻找 AI 撰写的文章。然而,随着 AI 开发人员越来越聪明,当我们指示 AI“像人一样写文章”或稍微变动一下措辞时,现有的检测技术往往很快就会失效。现在,我们已经进入了一个新时代,可以透过文章的表面,窥见其内部的“骨架”。

这为什么重要?

互联网是信息的海洋。但随着近期生成式 AI 大量涌现内容,区分哪些是真正蕴含人类思考的文章,哪些是 AI 生成的机械化产物,变得极其困难。出处:负责任的检测与缓解框架

传统的检测方式就像是一根“只能捕捉特定词汇的钓竿”。只要 AI 使用的词汇模式稍有改变,检测器就会出现“脆弱性(brittleness)”,无法发挥作用。出处:SlopShape 研究论文 然而,如果引入分析文章“结构”的方法,情况就会发生改变。这将成为一个重要的转折点,足以改变我们在消费在线信息时判断内容真伪的信任标准。

浅显易懂:从“词汇”包装纸到“结构”本质

区分 AI 撰写的文章和人类撰写的文章,用这样一个比喻就很容易理解了。

简单来说,可以把文章想象成“乐高(LEGO)”。人类建造的乐高城堡和机器自动组装的乐高城堡看起来虽然相似,但堆叠乐高积木的顺序或固定方式可能会有所不同。如果说我们过去使用的词汇检测器是在确认“使用了什么形状的积木”,那么现在的技术就是在确认“堆砌城墙和塔楼的整体工艺顺序(结构)”。

如果把文章比作照片滤镜,词汇级检测器试图检测的是校正照片色调的滤镜,而结构性检测器则是把握照片中被摄体的位置、光线的角度、相机的构图等照片的“本质构图”。

近期研究的“SlopShape”技术正是分析这种本质的“文章骨架”。出处:SlopShape 研究论文 它学习信息的呈现顺序、达成结论所需的逻辑步骤,以及证据的排列方式等。

现状:透视“结构”的检测器登场

事实上,根据 2026 年发表的研究,这种结构分析方式表现出了极其强大的性能。

  • 故事分析的变革:在“StoryScope”研究 (Russell et al., 2026) 中,研究人员在完全不查看词汇的情况下,成功区分了 AI 编写的故事和人类编写的故事。出处:YCombinator 讨论
  • 高准确率:在“SlopShape”研究中,针对商业博客文章的测试结果显示,仅凭结构性特征,它就能以 98.0% 的惊人准确率找出 AI 内容。出处:SlopShape 研究论文 特别是该模型在面对学习过程中从未见过的企业新数据时,依然表现出了一致的性能。

这表明,从技术上讲,无论 AI 选择多么流畅的词汇来润色句子,都很难彻底摒弃模型本身习得的“写作习惯”或“信息传递的逻辑结构”。出处:SlopShape 研究论文

AI 的观点

词汇的排列很容易修改,但 AI 习得的写作体质——即“结构性模式”,则触及了更深层的本质。这项研究预示着 AI 内容识别进入了新阶段。

未来将会怎样?

未来,仅靠“文字游戏”将很难逃避检测器的识别。AI 开发人员将努力创造更自然的结构,而检测技术也将朝着解读更深层次逻辑流向的方向发展。在 AI 与人类创作内容混杂的数字环境中,作为读者的我们,终将迎来一个需要超越文章形式,更加谨慎地审视其中蕴含的“意图”和“逻辑骨架”的时代。

参考资料

  1. YCombinator: Training a model to identify AI-generated web content from structure alone
  2. ArXiv: SlopShape: Identifying AI-Generated Commercial Web Content
  3. ArXiv: SlopShape: Identifying AI-Generated Commercial Web Content
  4. Springer: Responsible Detection and Mitigation of AI-Generated Text
AD
测试你的理解
Q1. 现有的基于词汇的 AI 检测方式最大的弱点是什么?
  • 处理速度慢
  • 无法理解内容语境
  • 稍微改动句子,检测性能就会急剧下降
现有的检测器依赖于特定的词汇或模式,因此只要稍微改变文章的表达方式,就很难被检测到,这就是其脆弱性。
Q2. 在“SlopShape”研究中,检测 AI 内容的核心标准是什么?
  • 句子的词汇选择
  • 文章的结构和信息排列方式
  • 所使用图片的数量
SlopShape 分析的不是词汇的选择,而是信息呈现的顺序或逻辑展开方式等结构性特征。
Q3. “SlopShape”在检测商业博客文章时达到的准确率(macro-F1)是多少?
  • 85.0%
  • 92.5%
  • 98.0%
研究结果显示,SlopShape 在新的数据集上也以 98.0% 的高准确率识别出了 AI 内容。