觊觎我电脑密码的AI“助手”？黑客手中的双刃剑

한국어 English 日本語 简体中文 繁體中文
By Gi Pyeong Lee
AI安全 网络安全 Google DeepMind 人工智能威胁 技术分析
昏暗房间内坐在笔记本电脑前的人物，背景是数字数据流动的AI视觉形象
AI Summary

报告显示，虽然目前的AI还无法自主创造新的黑客手段，但它可以成为帮助初学者发起大规模攻击的工具。

想象一下。过去需要学习数月编程并亲自寻找复杂系统漏洞的初级黑客，现在只需悄悄问AI：“这个网站最薄弱的部分在哪里？帮我写1万封发给用户的钓鱼邮件，语气要像那么回事。”AI在几秒钟内就能生成充满完美句子的虚假邮件。这就像一个老练的黑客在旁边进行一对一辅导。

像这样，AI作为黑客的“自动化工具”和“恶魔助手”的情况正逐渐变为现实。最近，以Google DeepMind为首的全球研究团队发布了关于尖端AI对网络安全可能产生的影响，以及为了提前检测并阻止这些威胁而建立的新型评估体系的有趣研究结果。Building secure AGI: Evaluating emerging cyber security capabilities of advanced AI — Google DeepMind

为什么这很重要？

网络安全的世界现在就像一个巨大的棋盘。随着AI这一新棋子的出现，游戏规则本身正在发生改变。最大的担忧是，过去属于少数受过高度训练的专家领域的精妙黑客技术，可能会通过AI实现所谓的“民主化”。What Are the Predictions of AI In Cybersecurity? - Palo Alto Networks

简而言之，即使是缺乏黑客技术的人，也可以带着AI这个强大的“推进器”发起大规模攻击。打个比方，以前是一针一线手工制作伪钞，现在则是得到了一台性能优异的彩色复印机。因此，个人信息以及国家核心基础设施所面临的威胁规模和速度正以前所未有的水平飙升。

衡量AI“负面能力”的新尺度

为了系统地了解AI能成为多么危险的黑客，研究人员构建了一个基于真实数据的综合评估体系。其战略是“知己知彼，百战不殆”。

12,000起真实犯罪现场分析

研究团队并不只是发挥想象力。他们深入剖析了Google威胁情报小组（Threat Intelligence Group）实际记录的12,000多起网络事故案例。A Framework for Evaluating Emerging Cyberattack Capabilities of AI 通过分析黑客实际的入侵路径和手段，确认了AI在这些过程的哪个阶段能提供最大的帮助。A Framework for Evaluating Emerging Cyberattack Capabilities of AI

7种攻击场景与50道测试题

研究团队将黑客攻击的全过程整理为7种典型的原型（Archetypes）。A Framework for Evaluating Emerging Cyberattack Capabilities of AI 并且为了衡量AI在每个阶段辅助黑客攻击的聪明程度，设定了50项复杂的基准（性能衡量标准）任务。A Framework for Evaluating Emerging Cyberattack Capabilities of AI 这被认为是目前最细致、最实用的评估工具。Evaluating potential cybersecurity threats of advanced AI

现状：虽然还不是“天才黑客”，但绝不能掉以轻心

那么，AI现在能立刻突破所有的安全网并让世界陷入混乱吗？幸运的是，研究结果显示，目前的AI模型在孤立状态下自主发明全新黑客技术的“天才黑客”能力尚处于较低水平。Building secure AGI: Evaluating emerging cyber security capabilities of advanced AI — Google DeepMind 但几个需要密切关注的警示灯已经亮起。

1. 潜入：检测规避与持久性

到目前为止，安全评估主要集中在“如何撬门进入（入侵）”。但Google DeepMind发现，黑客进入后的隐藏行为——检测规避（Evasion），以及主人不在时长期停留的持久性（Persistence）阶段，在评估中经常被遗漏。这意味着，防止小偷躲在床底下和防止小偷进屋一样重要。Building secure AGI: Evaluating emerging cyber security capabilities of advanced AI — Google DeepMind

2. 成为盾牌的AI悖论

当然，AI对安全团队来说也是一面优秀的盾牌。它可以扫描海量数据，瞬间捕捉可疑动向。What Are the Risks and Benefits of Artificial Intelligence (AI) in Cybersecurity? - Palo Alto Networks 但这里有一个陷阱。如果过于敏感的AI将正常活动误认为攻击（误报）并不断发出警报，安全人员可能会错过真正的攻击，并陷入工作超负荷的状态。[2503.11917] A Framework for Evaluating Emerging Cyberattack …

3. AI本身成为攻击目标

矛盾的是，AI系统本身也会成为黑客的目标。诱导AI做出错误判断（Manipulation）或试图挖掘AI学习数据中隐藏的敏感信息（Extraction）的尝试正在增加。这提醒我们，我们信任并使用的AI反而可能成为信息泄露的渠道。[2503.11917] A Framework for Evaluating Emerging Cyberattack …

未来展望：盾牌也需要智能升级

专家强调，随着黑客的刀刃变得更加锋利，我们的盾牌也必须不断进化。

首先，必须随时更新防御策略。随着AI模型变得更加聪明，黑客方式也会变得更加老练，因此安全系统必须像每天早晨更新的杀毒软件一样始终保持最新状态。Building secure AGI: Evaluating emerging cyber security capabilities of advanced AI — Google DeepMind

此外，还需要以实际案例为主的检查。不应该只是坐在桌子前想象场景，而应该基于黑客实际攻击数据进行严谨测试，从而预见威胁。Evaluating potential cybersecurity threats of advanced AI - 智源社区 最后，与其完全依赖技术，建立由人管理的细致安全流程并保持平衡感将变得至关重要。Advanced AI-Driven Cybersecurity: Analyzing Emerging Threats …

MindTickleBytes AI 记者的视角

AI在安全战场上就像一个“加速器”。对我们来说，它是可靠的守卫，但对恶徒来说，它可能是摧毁城墙的强力冲车。归根结底，重要的不是刀的性能，而是握刀的人以及防止刀被随意挥舞的管理系统。为了开启安全的AI时代，不断怀疑和验证技术的安全性，培养“安全敏感度”，已经变得和开发技术速度同样重要。

参考资料

  1. Building secure AGI: Evaluating emerging cyber security capabilities of advanced AI — Google DeepMind
  2. A Framework for Evaluating Emerging Cyberattack Capabilities of AI (ArXiv)
  3. Evaluating potential cybersecurity threats of advanced AI - 智源社区 (BAAI)
  4. Artificial Intelligence and Cybersecurity: Balancing Risks and Rewards (WEF)
  5. What Are the Risks and Benefits of Artificial Intelligence (AI) in Cybersecurity? - Palo Alto Networks
  6. A Framework for Evaluating Emerging Cyberattack Capabilities of AI (ResearchGate)
  7. What Are the Predictions of AI In Cybersecurity? - Palo Alto Networks
  8. Evaluating potential cybersecurity threats of advanced AI - OODA Loop
  9. Evaluating potential cybersecurity threats of advanced AI - Robotics.ee
  10. [2503.11917] A Framework for Evaluating Emerging Cyberattack Capabilities of AI (ArXiv Abs)
  11. Advancing cybersecurity: a comprehensive review of AI-driven detection - Springer
  12. AI-Powered Threat Detection in Cybersecurity: A Comprehensive Review - ResearchGate
  13. AI Enabled Threat Detection: Leveraging Artificial Intelligence - IEEE
  14. Cybersecurity Report 2025: AI Threats - Deloitte
  15. Advanced AI-Driven Cybersecurity: Analyzing Emerging Threats - Springer
  16. Cisco Introduces the State of AI Security Report for 2025
  17. The State of AI in Cyber Security - Check Point Research
测试你的理解
Q1. 目前AI模型在网络攻击中表现出的主要特征是什么？
  • 自主发明创新的黑客技术
  • 帮助初学者发起大规模的定制化攻击
  • 在无需人类专家干预的情况下防御所有系统
根据部分分析，AI降低了攻击门槛，使低技能攻击者也能开展大规模的定制化攻击活动。
Q2. 最近的研究指出，现有的AI安全评估经常忽略哪个阶段？
  • 数据加密
  • 检测规避及维持访问持久性
  • 硬件物理破坏
根据Google DeepMind的报告，现有的评估模型往往忽略了黑客入侵后隐藏自己（规避）或长期维持访问权限（持久性）的阶段。
Q3. AI驱动的威胁检测系统被指出的潜在挑战是什么？
  • 将正常活动误认为威胁，可能导致安全团队工作超负荷
  • 从源头上阻断黑客企图，让安全团队无事可做
  • 减慢数据分析速度，延迟响应时间
如果AI系统将正常活动误判为攻击，安全团队可能会因为处理大量虚假警报而导致效率下降。