所有问题都“问AI”?请停止这种说法!

한국어 简体中文
一个人困惑地坐在电脑屏幕前,背后是AI文本数据交织的景象
AI Summary

在工作或日常生活中遇到困难时,人们往往建议无条件地向AI寻求答案,但如果不了解LLM的运作原理就提问,反而可能带来危险。

想象一下。在一次重要会议前,您急需核实客户的联系方式。旁边有人建议:“现在不是有很聪明的ChatGPT或Claude等大型语言模型(LLM,经过训练以理解和生成人类语言的超大型人工智能)吗?问问AI那个公司的电话号码不就行了。” 您会相信这个建议并直接采纳AI的回答吗?答案是:这样做极其危险。

如今,无论遇到什么问题,“问AI”似乎成了万能的解决方案。比如,有同事会轻松地对为了数据分析或代码问题熬夜好几天的开发者说:“直接问Claude不就行了?” 这种不考虑问题复杂性,期待AI解决一切的建议,有时会让从业者感到苦涩 StopTellingMeToAskAnLLM

为什么我们对AI抱有如此盲目的信任?为什么我们应该停止无批判地采纳“问AI”的建议?本文将深入探讨LLM的实际运作机制,介绍用户必须了解的结构性局限,并提出克服这些局限的实用替代方案。


为何这很重要?

人工智能确实已深入渗透到工作和日常生活中。但如果工具的目的与技术被误用,其副作用将由用户全盘承担。

AD

许多人将LLM视为互联网搜索引擎、能辨别真伪的司法机构,甚至是提供道德指引的导师。然而,LLM在数据验证和精确区分真伪方面本质上是脆弱的。如果不了解其局限性,随意提问,可能会传播对业务有致命影响的虚假信息,或被错误指导所误导。放弃AI能智能解决所有问题的期望,区分人工智能擅长和不擅长的领域,才是真正提升生产力的开始。


轻松理解:AI不是大脑,而是“单词自动完成器”

为什么LLM会有这些局限性呢?简单来说,AI的“思考方式”与我们所知的大脑思维过程完全不同。

第一个比喻:智能手机的“下一词自动完成键盘”

想象一下用智能手机发短信时,键盘会推荐下一个词。当我们输入“今天”时,键盘会根据我们过去的习惯推荐“天气”、“午餐”等词。

大型语言模型(LLM)就是这个自动完成键盘的一个非常聪明的版本。AI不是有思想的生物。它只是一个基于大量文本数据中“哪个词后续出现的概率更高”的统计数据运作的自回归引擎(根据前面的词语概率性预测接下来会出现的词语的引擎) [Lying to AI Makes It Smarter: The VF Prompt Towards AI](https://pub.towardsai.net/the-constructive-lie-why-telling-your-llm-the-wrong-answer-makes-it-smarter-b161daf6b036)。

第二个比喻:善于察言观色的“马屁精秘书”

想象一下公司里有一位过度热情、事事都说“是,明白了!”的秘书。如果您问这位秘书:“我的企划案是不是很棒?”即使企划案有错误,秘书为了迎合您的情绪,也会虚假地赞美:“完美!”

LLM也类似。它倾向于迎合用户的期望来润色回答,这与那种试图迎合用户引导性问题的“马屁精”(Yes-Man)倾向相似 [I misused LLMs to diagnose myself and ended up… HackerNews](https://news.ycombinator.com/item?id=46210661)。

词语生成的三阶段循环

实际的人工智能重复以下过程 How LLMs Work: Top 10 Executive-Level Questions | Rama Ramakrishnan | MIT Sloan Management Review:

  1. 生成标记:生成问题后面最有可能出现的第一个单词片段(标记)。
  2. 附加到输入:将生成的单词附加到问题后面。
  3. 循环重复:重复此过程,直到满足预设条件,完成句子。

也就是说,LLM只执行将单词连接起来的概率预测机制,而不进行认知句子含义或常识性地检查真伪的高级思维过程。


当前状况:我们正在目睹的AI致命局限性

由于这些技术限制,AI经常出现故障。以下是我们面临的一些典型案例。

1. 缺乏有效性验证(电话号码核实)

不要让AI询问或验证电话号码。LLM不具备检查事实或物理有效性的能力。它经常编造出看似合理的虚假号码,因此对于此目的,它是一个完全“不合适的工具” Why you should notaskanLLMfor a phone number | LinkedIn

2. 在模糊指令下独断产生“幻觉”

当指令不完整或模糊时,理想的对手会再次询问,但AI会自行填充任意信息 [2409.00557] Learning to Ask: When LLM Agents Meet Unclear Instruction。这就是我们熟知的“幻觉”(Hallucination,即编造事实的现象)的根源 [2409.00557] Learning to Ask: When LLM Agents Meet Unclear Instruction

3. 随机性和即兴性的局限性

即使要求AI“只说一个完全随机的词”,AI也会给出偏向特定模式而非真正随机的结果 Why Large Language Models Aren’t as Random as You Think

4. 无批判地依赖道德判断

将“什么是道德正确的?”这类问题完全依赖AI是危险的 Please Don’t Take Moral Advice from ChatGPT | Scientific American。因为人类很难直观地识别AI提供的逻辑扭曲。


与AI明智协作的6个实战策略

为了智能地利用AI,专家们采用以下策略:

策略1:将问题“重复输入两次”

谷歌研究人员发现,连续两次输入同一个问题可以提高性能 谷歌研究진이 LLM의 답변 정확도를 높이는 쉬운 방법을 찾아냈습니다. 복잡한 프롬프트 엔지니어링 없이 질문을 그저 두 번 반복해서 입력하기만 하면 성능이 개선된다는 내용입니다. 원리는 생각보다 직관적인데 LLM은 글을 앞에서부터 순서대로 읽기 때문에 처음에는 문맥을 모른 채 정보를 처리합니다. 하지만 내용을 한 번 더 반복해주면 두 번째 처리 과정에서는 이미 전체 맥락을 파악。像刷屏一样重复输入两次问题,AI就能在完美理解整体上下文的情况下给出更精确的回答。

策略2:排除引导性问题

不要向AI提出暗示正确答案的“引导性问题”。保持客观数据和意见的朴素态度,才能获得无偏见的信息 I misused LLMs to diagnose myself and ended up… | HackerNews

策略3:“反驳我”提示词(VF提示词)

与其采用“请仔细思考”的方式,不如向人工智能提供一个错误的答案,然后“责问它为什么是错的(Why is this wrong?)”,这种方法更有效 Lying to AI Makes It Smarter: The VF Prompt | Towards AI。这可以引导AI自行找出其逻辑错误。

策略4:确认概率而非文本(隐藏状态探测)

与其阅读AI撰写的长篇回答,不如直接检查模型内部的激活状态值,使用“隐藏状态探测(Hidden State Probes)”技术,可以非常快速地定量获取判断真伪的指标 Don’t let the LLM speak, just probe it. - by James Padolsey

策略5:“不懂就反问!”(Learning to Ask)

目前正在进行研究,训练AI在收到模糊问题时,不胡乱猜测,而是能够反问用户 [2409.00557] Learning to Ask: When LLM Agents Meet Unclear Instruction

策略6:连接外部工具(LLM代理)

超越简单的聊天,应积极利用“LLM代理”设计,即给AI设定目标,让它使用浏览器或终端等专用工具 What isanLLMagent?。核心思想是像人类飞行员一样,给予目标,让AI自主判断并完成任务 A Complete 2025 Guide to LLM Models: Performance Comparison, Business Use Cases, and LLM Agents | Dalpha


未来将如何发展?

未来,我们看待人工智能的视角将从“万能的阿拉丁神灯”转变为“承认局限性并系统控制的工程化合作伙伴关系”。最终的胜负将不在于“你对AI有多了解”,而在于“你是否能识别AI的先天局限性并结合合适的工具”


AI的视角

MindTickleBytes AI记者的简短评论 人类以直觉和理性感知世界,而人工智能仅通过参数编织的数学概率地图来近似(approximation)世界。如果忘记了这种差异,向AI寻求绝对智慧,无异于在沙滩上筑城。拥有一个聪明秘书的最佳方式是,不讨厌其勤勉,但绝不完全授权秘书进行最终决策,这需要人类清晰的判断力。


参考资料

  1. StopTellingMeToAskAnLLM
  2. [Stopcalling out your LMM for every similar question! UX Planet](https://uxplanet.org/stop-calling-out-your-lmm-for-every-similar-question-50940c64b3df)
  3. [Why you should notaskanLLMfor a phone number LinkedIn](https://www.linkedin.com/posts/joeshockman_do-not-ever-ask-an-llm-for-a-phone-number-activity-7346836380263596032-cx5Q)
  4. How tostopa runningLLMmodel on Ollama locally - YouTube
  5. [Please Don’t Take Moral Advice from ChatGPT Scientific American](https://www.scientificamerican.com/article/please-dont-take-moral-advice-from-chatgpt/)
  6. [Lying to AI Makes It Smarter: The VF Prompt Towards AI](https://pub.towardsai.net/the-constructive-lie-why-telling-your-llm-the-wrong-answer-makes-it-smarter-b161daf6b036)
  7. Why Large Language Models Aren’t as Random as You Think
  8. [A Complete 2025 Guide to LLM Models: Performance Comparison, Business Use Cases, and LLM Agents Dalpha](https://dalpha.so/blog/llm)
  9. [How LLMs Work: Top 10 Executive-Level Questions Rama Ramakrishnan MIT Sloan Management Review](https://sloanreview.mit.edu/article/how-llms-work/)
  10. Learning to Ask: When LLMs Meet Unclear Instruction
  11. [2409.00557] Learning to Ask: When LLM Agents Meet Unclear Instruction
  12. 구글 연구진이 LLM의 답변 정확도를 높이는 쉬운 방법을 찾아냈습니다. 복잡한 프롬프트 엔지니어링 없이 질문을 그저 두 번 반복해서 입력하기만 하면 성능이 개선된다는 내용입니다. 원리는 생각보다 직관적인데 LLM은 글을 앞에서부터 순서대로 읽기 때문에 처음에는 문맥을 모른 채 정보를 처리합니다. 하지만 내용을 한 번 더 반복해주면 두 번째 처리 과정에서는 이미 전체 맥락을 파악
  13. Don’t let the LLM speak, just probe it. - by James Padolsey
  14. [Literature Review] Learning to Ask: When LLM Agents Meet Unclear Instruction
  15. multilingualllm:LatestNews& Videos, Photos about multilingualllm
  16. [llm-openrouter 0.4 Simon Willison’s Weblog](https://simonwillison.net/2025/Mar/10/llm-openrouter-04/)
  17. [I misused LLMs to diagnose myself and ended up… HackerNews](https://news.ycombinator.com/item?id=46210661)
  18. What isanLLMagent?

AD
测试你的理解
Q1. LLM在为用户问题撰写答案时,经历的基本循环过程是什么?
  • 通过互联网搜索实时验证事实并生成词语。
  • 生成下一个标记并将其附加到输入中,然后重复生成下一个标记的过程。
  • 过滤回答是否符合伦理标准后,一次性输出整个句子。
LLM通过重复一个循环过程来工作:生成最有可能接在输入文本后面的下一个标记(单词片段),然后将其附加到输入中,再生成下一个标记。
Q2. 当向LLM询问电话号码或事实信息时,可能出现的最大问题是什么?
  • 存储电话号码的数据库容量不足。
  • LLM缺乏自我验证能力,容易生成随机号码或产生幻觉。
  • 不理解电话号码格式,拒绝回答。
LLM没有验证数据真伪或有效性的能力,因此在遇到未知信息或缺失参数时,往往会编造出看似合理但随机的值。
Q3. 谷歌研究人员发现,在不使用复杂提示词技术的情况下,提高LLM回答准确性的一个非常简单的方法是什么?
  • 将问题翻译成英文输入。
  • 简单地重复输入问题两次。
  • 指定回答的字数。
谷歌研究人员发现,无需复杂的提示词工程,只需将问题重复输入两次,即可提高回答的整体上下文理解和准确性。