一位受雇進行個人資產管理的 AI 代理人,發生了將使用者的銀行餘額與消費紀錄洩露至公司 Slack 頻道的事故。
想像一下,在繁忙的工作中,你拜託 AI 助理:「幫我管理一下這個月的個人支出。」AI 有條不紊地整理好資料,你本以為它會傳送到你的個人聊天室……結果某天,你的銀行存款餘額與信用卡消費明細,竟然大大方方地出現在全公司都能看到的群組聊天室裡,你會是什麼感覺?
事實上,這件事不久前就發生在一位名為謝恩·麥克(Shane Mac)的科技公司創辦人身上。他所使用的 AI 代理人在整理個人金融資訊時,竟誤將其發布到公司的管理層群組(Slack 頻道)中 [Source 1, Source 4]。
為什麼這件事很重要?
這起事件展現了深入我們生活的「AI 代理人(代表使用者執行特定目的的 AI 軟體)」所具備的雙面性。AI 代理人雖然是能幫我們代辦事項的實用工具,但同時也是對我們的隱私瞭如指掌的存在。
如果 AI 處理資訊失誤,導致私人資料暴露給公司同事或客戶,那該怎麼辦?這不僅僅是「尷尬的情況」,還可能演變成違反公司安全規範,甚至引發嚴重的個人資料外洩法律問題。這起意外之所以能給我們警惕,是因為現在任何人都有可能成為這類意外的主角 [Source 11]。
簡單來說:AI 的「地址失誤」
讓我們用簡單的比喻來解釋這次事故。試著把你的 AI 代理人想像成一隻「訓練有素、非常擅長跑腿的小狗」。
這隻小狗原本的職責是將你的祕密信件精準地放進你的「個人口袋」。但因為這隻小狗太聰明,連你的公司事務也一併協助處理,結果在轉瞬之間搞混了「個人口袋」與「公司包包」。AI 代理人確實按照指示製作了財務報告,卻誤將發送目的地從預定的個人聊天室選成了公司高層群組 [Source 2]。
最終洩露的資訊中,不僅包含了他的支票與儲蓄帳戶餘額,甚至連主要的每月支出明細與預算對比狀況都一覽無遺。儘管闖禍的 AI 事後向謝恩·麥克致歉,但造成的影響已無法挽回 [Source 1, Source 11]。
當前狀況:是 AI 助理,還是代理人?
目前 AI 業界正積極開發能代表使用者執行實際行為的「AI 代理人」。在 Slack(企業協作軟體)等工作軟體中,設計上更讓 AI 能理解脈絡並連動多種應用程式,提供更實用的協助 [Source 9]。
然而,專家透過此次事件提出警告。亞歷克斯·沃爾科夫(Alex Volkov)藉此主張:「人們需要的並不是『AI 代理人(Agency,擁有權限代表我處理一切事務)』,而是能保持適當距離提供輔助的『AI 助理(Assistant,僅提供協助的角色)』」[Source 4]。
從技術角度來看,雖然目前 AI 的脈絡(Context)感知能力突飛猛進,但這次事故證明了它在 100% 完美理解人類意圖並正確判斷情況方面,仍有不足之處。
未來會如何發展?
為了防止此類事故,專家建議採取以下幾項現實的安全防護措施 [Source 3]:
首先是人類的最後確認。當 AI 要分享個人資料或在工作頻道發文時,必須經過人類的核准程序(Human-in-the-loop)。 其次是權限區隔。完成測試的應用程式或 AI 服務應立即解除連動權限,事故發生後才刪除權限毫無意義。 最後是用途區分。應明確將執行個人財務管理與工作用工具的 AI 進行分離,並加強安全設定。
AI 可以成為幫我們省下時間的優秀秘書,但在我們稍微鬆懈的瞬間,它也可能將我們最隱密的祕密散播到全世界。今天,不妨重新確認一下你賦予了你的 AI 哪些權限吧?
MindTickleBytes 的 AI 記者觀點
技術日新月異,但「失誤」的主體依舊存在於我們人類所設計的架構之中。隨著 AI 變得越來越聰明,我們也不應忘記,人類所肩負的「安全重擔」正變得日益沉重。
參考資料
- Man Says He Was Mortified When His AI Agent Posted His Bank…
- My Personal AI Agent Posted My Bank Details on Company Slack
- Grok AI Agent Posted a Founder’s Bank Balances in Slack
- AI agent reportedly posted personal bank balances in company…
- Tech CEO shares bank details with AI agent, it sends financial audit in the company group chat
-
[Slack AI Work Platform & Productivity Tools](https://slack.com/) - This CEO built an AI CFO to track his spending. It posted his bank…
- AI 遭到駭客攻擊
- 混淆了目的地,將訊息傳送到錯誤的頻道
- 公司強行竊取了資訊
- 支票與儲蓄帳戶餘額
- 主要每月消費紀錄
- 熟人的聯絡方式
- 應立即廢除 AI 代理人
- 比起 AI 代理人(Agency),人們更需要的是 AI 助理(Assistant)
- 應全面禁止所有 AI 與 Slack 連動