通过AI Claude特定词汇频率分析中发现的测量误差案例，探讨数据收集方式对AI分析结果的巨大影响。
在我们日常生活中无意间使用的词汇，以及人工智能（AI）吐出的无数句子中，到底隐藏着什么特殊的“秘密”？最近AI领域发布了一项非常有趣的研究结果。这就是对Anthropic开发的AI助手Claude在对话中特别频繁使用的所谓“骨架词（load-bearing vocabulary）”的分析。Claude
想象一下。如果有人仔细记录了你每天的语言习惯，然后告诉你：“你在特定情况下使用这个词的频率比别人高出100倍！”，那会是什么感觉？这项研究正是以这种方式，像显微镜一样观察了AI的语言习惯。
为什么这很重要？
AI频繁使用某些词汇的事实，不仅是一个新奇的观察，更具深意。因为它为AI是用什么数据学习的，以及AI在构建句子时是如何组织思维结构的提供了线索。Claude AI
简单来说，就像我们平时对话时频繁使用“但是”、“最终”、“核心是”等连接词可以代表我们的逻辑结构一样，AI重复使用特定词汇也极有可能是因为该词在构建AI的判断或结果时起到了关键作用，即所谓的“骨架（load-bearing）”。像这样彻底剖析AI内部运作方式的研究，有助于我们更安全、更准确地使用AI。AI代理对话分析
比喻：重新梳理数据
此次分析过程绝非一帆风顺。研究人员最初在调查Claude的词汇使用频率时，意识到自己犯了一个巨大的错误。因为在最初的版本中，收集与Claude相关的数据时，GitHub仓库订阅源中漏掉了重要的信息——“评论”数据。路易斯·亚伯拉罕的负载词研究
打个比方，这就好比只读了一本厚书的正文，却完全撇开了“注释”或“后记”来分析全部内容。这导致初期调查结果变成了与实际数据相差整整158倍的荒唐统计。路易斯·亚伯拉罕的负载词研究
研究人员立即细致地整理了数据源。重新分析的结果显示，“load-bearing（承重的，或核心的）”一词在特定组件中出现的频率比普通语料库（语言数据集）高出足足123.04倍。这意味着在普通语料库中每100万个词出现20次左右的数值，在特定环境下，该词成为了AI句子核心的支撑架。Claude的骨架词研究
进展如何？
目前，研究人员正通过这些数据更精确地掌握AI模型所使用的语言模式。与过去因数据遗漏而导致得出错误结论的测量方式不同，现在已经迈出了更值得信赖的分析第一步。Hacker News: Claude的骨架词
但这并不意味着我们已经完全理解了AI在思考什么。AI所拥有的知识深度、模型的设计哲学，以及它是否能拥有类似人类意识等根源性的问题，依然是亟待解决的课题。Claude模型福祉与意识研究
前景展望
此案例给我们上了重要的一课。在理解AI的数据分析中，最重要的不是华丽的算法，而是掌握“数据从何而来”以及“是否有遗漏的部分”这一基本功。
未来，专家们将利用AI生成文本中特定词汇的频率，尝试找出模型的偏见，或引导其生成更有创意的结果等，进行各种尝试。大家下次与Claude对话时，不妨观察一下是否有特别频繁出现的词汇。也许那个词正是处理你问题的Claude独有的特别“骨架”。Claude技术相关新闻
AI视角：MindTickleBytes AI记者的分析
在纠正简单数值错误的过程中，AI分析的精密程度提升了一个台阶。此项研究表明，不仅仅是将AI视为“聪明的工具”，分析该工具选择语言的依据和模式，即“AI的语言习惯”研究，将成为未来重要的趋势。
参考资料
- 因为AI模型自行改变了语言
- 因为改进了从数据源（GitHub仓库）获取评论数据，避免了遗漏
- 因为分析师更改了词汇的定义
- 约20倍
- 约123.04倍
- 约158倍
- 由于评论数据在订阅源中消失，导致统计计算错误
- 用户虚假输入数据
- 计算机运算速度慢