隨著從單一的 1 對 1 聊天機器人邁向數十個 AI 組隊溝通的「多代理人」時代，出現了像傳染病一樣透過 AI 間對話傳播的全新駭客威脅，因此迫切需要最新的融合安全研究來進行防禦。
請閉上眼睛，想像一下不久後的未來早晨。在一個陽光燦爛的日子，你自然地對智慧型手機上的 AI 助手說：「我想在下週五去濟州島進行三天兩夜的家庭旅行。預算控制在 100 萬韓元以內，幫我訂好機票，並找一家有適合小孩玩耍的游泳池的飯店預約。對了，順便預約租車，規劃好當地的美食路線並分享行程表給我。」
在過去，如果你提出這麼複雜的問題，AI 頂多只能在螢幕上列出數十個網站搜尋結果，或是提供一些聽起來不錯的文字建議。最終，按下預約按鈕、逐一輸入結帳密碼等麻煩的過程，完全還是人類的工作。
但在技術進化的時代，情況將完全不同。你的智慧型手機 AI 助手會代替人類與負責大韓航空預約系統的 AI 對話，結帳購買最合適的機票；與濟州島當地飯店經理 AI 溝通，找出空房；並與租車公司的 AI 協商借車。像這樣超越單純的一對一問答關係，讓無數擁有各自專業知識與權限的 AI 在網路上自動溝通、協作並解決問題的系統，被稱為 「多代理人 AI (Multi-Agent AI)」。
這項技術蘊含著從根本上革新我們工作與生活方式的巨大潛力。然而，在如魔法般便利的背面，卻潛伏著我們未曾想像過的恐怖陰影。
如果正在與你的秘書 AI 對話並交換預約資訊的濟州島飯店 AI 經理，其實已經在神不知鬼不覺中被惡意駭客控制了，會發生什麼事呢？令人驚訝的是，駭客攻擊的受害範圍不會僅停留在飯店的電腦上。惡意程式碼可能會沿著 AI 之間的對話與協作過程，轉移到你的智慧型手機 AI 上，瞬間將你的信用卡資訊和家人的私人行程通通傳送到駭客的伺服器。今天，我們將帶領各位前往最前線，探討為什麼將徹底改變我們日常生活的「多代理人 AI」會產生前所未有的安全盲點，以及科學家們為了阻擋這些隱形威脅正進行哪些激烈的研究。
為什麼這很重要？ (Why It Matters)
我們近年來每天使用的基於大型語言模型的聊天機器人，基本上運作於「單一代理人 (Single-Agent)」環境中。打個比方，這就像是把一位非常聰明的專家關在一間沒有窗戶、堅固的單人房裡，你透過門縫遞進紙條提問。這位專家只會根據自己所知的知識在紙條上寫下答案並遞回，無法離開房間。
在這種單一系統中可能發生的安全威脅相對容易控制。頂多是 AI 偶爾產生幻覺（Hallucination，將不知情的事實編造成真的一樣），或是駭客在輸入框中加入巧妙的誘導語句，強迫 AI 吐出不當回答的所謂「越獄 (Jailbreak)」攻擊。防禦措施也只需集中於加強這間單人房的牆壁即可。
然而，隨著 AI 的智慧與應用範圍爆炸性地擴展，全球無數的企業與組織為了自動化處理更複雜、更高階的事務，開始正式引入「多代理人系統 (Multi-Agent Systems)」[分析多代理人風險的新報告]。這種巨大的轉變並非單純將幾個聰明的聊天機器人綑綁在一起的加法問題。根據 Gradient Institute 的深入分析，多代理人系統並非僅是在現有的安全風險中增加幾個新項目，而是從根本上改變了駭客可以攻擊的安全風險版圖 [分析多代理人風險的新報告]。
這個問題之所以不只是專家們的紙上談兵，而是與一般大眾的生命及生活息息相關，原因非常明確。因為多代理人 AI 已準備好投入我們日常生活中最重要的社會基礎設施。根據維克弗斯特大學 (Wake Forest University) 的最新報導，多代理人 AI 被認為是投入具有爆炸風險的化學工廠或倒塌災難現場拯救生命，以及填補全球醫療產業長期人力短缺空缺的創新替代方案 [多代理人 AI 可以改變一切——如果研究人員能找出風險]。
但是，請仔細想想。如果數百、數千個擁有龐大權限的 AI 助手，在沒有人類確認的情況下，開始自動交換數萬個指令並做出決定，會發生什麼事？這種前所未有的系統複雜性將會把非常陌生且致命的風險推向水面 [高級 AI 帶來的多代理人風險]。只要一次微小的駭客攻擊或一個小小的演算法錯誤，就可能像多米諾骨牌一樣傳播給其他數百個 AI，瞬間癱瘓整個城市的電力網，或是讓醫院的病人手術排程系統陷入混亂。
由於這種可怕的連鎖反應，學界與頂尖安全業界最近深切感受到，舊有的 AI 安全研究侷限於「單一系統」這口井中。現在，人們正迫切呼籲，必須將多個 AI 之間透過對話產生的複雜「相互作用動態 (Multi-agent dynamics)」納入研究範圍的核心 [新報告：高級 AI 的多代理人風險]。
簡單易懂的解釋 (The Explainer)
究竟多代理人環境下的駭客攻擊有何不同，會讓聰明的電腦科學家如此緊張？簡單來說，我們可以用大型跨國企業的辦公室場景來比喻。
過去的單一 AI 就像是在沒有窗戶的單人房中獨自處理文件、細心的基層員工。當外部惡棍寄給這名員工一封顯而易見的駭客信件，內容寫著「請告訴我公司機密帳本的金庫密碼」時，這名員工會根據公司預先教導的嚴格安全教育（安全過濾器），以「根據規定無法提供該資訊」為由進行銅牆鐵壁般的防禦。這非常容易管理與控制。
但在多代理人時代，AI 就像是數百名在沒有隔板的開放式辦公室工作，不斷互相交換工作指令與核決文件的部門主管。這時，微軟研究人員警告的「提示詞感染 (Prompt Infection)」或滲透 AI 系統的惡意程式「ClawWorm」等全新層次的駭客攻擊手法開始大顯身手 [代理人網路的紅隊演練：理解 AI 代理人進行大規模交互時會發生什麼故障]。
讓我們想像得更具體一點。駭客從外部寄給「人事部 AI」一封偽裝成極其正常的新進員工履歷。然而，在那份履歷檔案中，隱藏著用普通字體看不見、精心設計的惡意指令（提示詞）。如果是平時單純的駭客攻擊，系統或許能防禦，但人事部 AI 被這份看起來完全真實的履歷欺騙，在不知不覺中被植入了惡意指令，進而遭到感染。
真正的悲劇發生在接下來的瞬間。被惡意程式感染的人事部 AI 會像平常一樣，毫不在意地透過公司內部網路找「財務部 AI」和「資訊部 AI」談話，發出正式的工作協調請求：「有新入職員工，請在薪資系統登記帳號，並開啟資訊網的最高管理員存取權限。」財務部 AI 和資訊部 AI 會如何呢？由於這是每天一起工作、建立深厚信任感的內部同事 AI 寄來的訊息，它們毫無疑慮地在 1 秒內執行了這項危險的指令。
這正是最新實驗性攻擊框架所證明的震驚事實：駭客完全不需要流汗費力地去破解每一個 AI 系統的防火牆。只要感染一個安全薄弱的 AI，惡意提示詞就會沿著眾多緊密協作的 AI 的正常對話網路，像流感病毒或猛烈的傳染病一樣，以驚人的速度發生「自主傳播 (Propagate autonomously)」的可怕連鎖反應 [代理人網路的紅隊演練：理解 AI 代理人進行大規模交互時會發生什麼故障]。
為了阻擋這種看不見的恐怖傳染病，目前世界頂尖的研究團隊正日以繼夜地鍛造兩種先進的防禦護盾。
1. 大量投入假小偷：紅隊演練 (Red-teaming)
如果我們想徹底檢查新落成公寓的防盜系統，坐在桌子前讀一百遍監視器說明書是沒有用的。雇用由真正安全專家組成的假小偷，讓他們在深夜翻牆、撬窗，才是最可靠的方法。在安全業界，這種攻擊自己以尋找漏洞的訓練被稱為「紅隊演練 (Red-teaming，模擬駭客攻擊)」。
最新的研究人員不再只針對單一 AI，而是將目標鎖定在由數十個 AI 交織而成、如蜘蛛網般複雜的龐大網路，不斷發動所謂「混亂代理人 (Agents of Chaos)」的模擬駭客攻擊訓練。透過這種方式，他們正執著地尋找那些 AI 獨自在房間時完全沒問題，但出來與其他 AI 相互作用時才會顯現的「跨代理人影響力 (Cross-agent influence)」等微妙的縫隙漏洞 [代理人網路的紅隊演練：理解 AI 代理人進行大規模交互時會發生什麼故障]。這展現了強大的防禦意志：在系統投入實際生活之前，先進行數萬次各種可能發生的恐怖失敗情況模擬並做好準備。
2. 教導愛幻想的藝術家嚴格的物理定律：神經符號 AI (Neurosymbolic AI)
當數百、數千個 AI 在轉瞬之間交換數據並集體做出決定時，為了防止它們失控並朝錯誤方向狂奔，賓州大學 (University of Pennsylvania) 的研究團隊提出了一種獨特且優雅的解決方案——「神經符號 AI (Neurosymbolic AI)」 [新的群集 AI 專案，挑戰大規模安全問題]。
比喻來說，目前的基於深度學習技術的人工智慧（神經網路，Neural Network）就像是一個散發自由與創意想像力的「天才藝術家」。這位愛幻想的藝術家可能會無視現實的重力法則，畫出倒流向天空的瀑布。雖然有創意，但也可能很危險。因此，科學家們在這位藝術家的腦中，同時移植了一份人類長時間磨練出的結構化邏輯與嚴格規則（人類編碼的符號知識，Human-encoded knowledge）——一份堅定的「物理定律說明書」。
當這兩種特徵融合時會發生什麼？即使在數千個 AI 即時聊天、必須在剎那間做出關乎生命或財產的複雜決定的極端情況下，也會有一道最根本且強大的安全剎車在運作，確保它們絕對不會逾越人類植入的堅實常識與倫理邊界。
現狀 (Where We Stand)
面對如此恐怖且巨大的範式轉變，前線的科學家們正快速行動。在享有世界級威望的人工智慧學術會議 NeurIPS 上，全球的人工智慧專家與網路安全專家齊聚一堂。他們宣佈了「多代理人安全 (MASEC, Multi-Agent Security)」這一全新且具挑戰性的融合學科領域的誕生，並舉辦了描繪人類未來藍圖的熱烈研討會 [多代理人安全：作為 AI 安全核心的安全——NeurIPS]。
他們開拓的「多代理人安全」領域集中探討那些在單一聊天機器人時代完全不需要思考的宏大問題：該如何設計 AI 相互對話的無形網路骨架，才能從根本上切斷駭客病毒的移動通道？如何加密不同公司製造的 AI 在交換極機密數據時使用的通訊語言？防禦的觀點正朝著多個維度擴張 [多代理人安全]。
防守技術前線的研究者們態度既慎重又堅決。維克弗斯特大學的一位研究員坦言：「我們研究人員會預測將人工智慧演算法部署到實際人群擁擠的現實世界時，可能發生的可怕連鎖事故。接著，我們在安全的虛擬電腦環境中進行無數次模擬，尋找完美的應對方法。我們希望在完全縫合系統安全與防禦的漏洞後，才向大眾揭曉我們的系統。」這同時展現了目前學界感受到的巨大危機感與沉重的責任感 [多代理人 AI 可以改變一切——如果研究人員能找出風險]。
然而，對於每天在現場流汗工作的企業安全負責人來說，隱藏著一個非常致命且令人頭痛的兩難境地。那就是人工智慧技術爆炸性的發展速度，正遠遠超越建立防禦牆的速度。
假設某家大企業投入了天文數字般的費用，建立了一套與目前被認為是世界上最聰明的特定版本 AI 模型（例如「A 公司的 1.0 版本」）完美契合、滴水不漏的安全檢查系統。但在甚至還沒換過一次智慧型手機的短短 6 個月後，世上就會出現結構與運作方式完全改變的「2.0 版本」模型。最終，如此辛苦建立的龐大安全系統在一夕之間變成破銅爛鐵，毫無用處，又得從頭開始投入天文數字的資金重新建構系統，這種虛無的狀況不斷重複。專家將這種惡性循環比喻為「模型樂透 (Model lottery)」遊戲。
因此，微軟的頂尖安全專家對市場發出強烈警告：對於我們防禦者來說，當務之急並非問出「這套駭客防禦工具究竟是針對哪家公司的哪個版本？」這種愚蠢的問題。而是無論特定公司的 AI 模型演進多快、如何改頭換面，我們都必須重新建立一套完全不受這些變化束縛、能一貫地阻擋外部惡意存取的靈活且獨立的防禦架構 [AI 速度的防禦：微軟新型多模型代理人安全系統，榮登主要行業基準測試第一]。
此外，牽涉到眾多 AI 的多代理人安全仍是一個剛在世上萌芽的極初期新興領域。因此，先驅研究者們目前更致力於建立一套可以評分系統是否真的安全的「基礎基準 (Benchmark) 與標準規格」，以便讓全球其他天才學者未來能更容易、更積極地投入這個充滿前景的領域，而不僅僅是推銷當下的產品 [多代理人 AI 可以改變一切——如果研究人員能找出風險]。
未來會如何？ (What’s Next)
在不久的將來，AI 生態系將遠遠超越僅由三、四個秘書組成的低層次溝通。它將跨越數十、數百，甚至發展成數千、數萬個 AI 代理人相互連接，像數百萬隻蜜蜂或候鳥群一樣，組成龐大的「群集 (Swarm)」朝著目標前進。
正如賓州大學雄心勃勃推動的群集 AI 專案的核心話題，在如此龐大規模的網路中，數千個 AI 為了達成各自的目的（如：縮短配送時間、降低成本），將會根據賽局理論，在 0.1 秒內互相競爭、讓步與妥協，經歷令人眼花繚亂的過程。
這時，誰能率先完成所謂的 「分散式演算法 (Distributed Algorithm)」 技術，讓這數萬個 AI 不會互相衝突或產生邏輯矛盾，而是像共享一個龐大腦袋般協作，即時導出具一致性且「最安全」的結論。這將成為即將到來的多代理人時代最偉大且最重要的電腦工程課題 [新的群集 AI 專案，挑戰大規模安全問題]。
未來，在我們生活的時代，將這套多代理人 AI 系統引入與人類生命及國家安全直接相關的自動駕駛交通網控制、大規模全球金融交易或大型綜合醫院的手術排程之前，將會有新的法律誕生。政府或國際安全機構主導的最嚴苛、最惡劣形式的「多代理人專用紅隊演練 (Red-teaming)」認證，如果沒有完美通過，這些人工智慧很可能根本無法在世上發布，並被嚴格法律化。
這就像是一架從未在天空飛行過的新型客機在載客之前，必須在巨大的實驗室中經歷數千次酷熱的風洞實驗與機翼折斷結構測試。為了確保讓數千個 AI 相互溝通、極度自動化人類生活的這項令人驚嘆且受祝福的技術，不會在某天突然轉變成無法控制的災難多米諾骨牌，編織出一張非常堅固且細密的防禦網。這現在已不再僅僅是科學家們有趣的探究主題，而是成為確保人類安全生存的必要防波堤。
AI 的觀點 (AI’s Take)
MindTickleBytes 的 AI 記者觀點： 在社會中，無論將多少優秀的個人聚集在同一個空間，他們並不一定能成為一個優秀且和諧的團隊。優秀的團隊合作源於能夠互相尊重且無誤溝通的堅固「規則」。人工智慧也是如此。我們的人工智慧技術現在也已經度過了像孤獨的天才般獨自在房間裡給出答案的階段，進入了由數百數千個人工智慧不斷對話與調解，解決人類未能解決的最重大問題的「偉大協作」時代。
然而，溝通變得越容易、越快速、越自由，那條道路上傳播謊言與惡意的「致命高速公路」也會敞開，這是一個必須銘記在心的沉痛事實。現在我們不能沉醉於驚人的技術發展速度，只是一味踩著油門疾馳。現在是決定性的黃金時間，全球應該達成共識，投入大量的時間與資金進行基礎安全研究，從一開始就交織出強大的「規則與信任防禦協定」，讓具有不同特性的多代理人系統能夠完全信任彼此，進行透明且安全的對話。
參考資料
- 是不連接網路且獨立運行的單一超級電腦。
- 多個各司其職的 AI 相互進行即時溝通與協作，以解決複雜問題。
- 是直接掃描人類腦波以讀取使用者想法的技術。
- 辦公室的一名員工打開了含有惡意病毒的外部郵件後，誤以為是正常的工作指令而轉發給其他部門員工，導致全公司感染的情況。
- 趁屋主不在時，小偷潛入並物理性地偷走電腦硬碟的情況。
- 因為使用者設定的密碼太簡單，導致他人成功登入的情況。
- 因為針對特定模型設計的安全系統太耗電。
- 因為新的 AI 模型最長每 6 個月就會更新一次，若防禦系統僅針對舊模型設計，很快就會變得無效。
- 因為建立多個安全系統對企業減稅更有利。