在 Vals AI 與 NextLadder Ventures 發布的「司法近用基準」(Access to Justice Benchmark)中,23 個主要 AI 模型在法律諮詢情境測試中,皆未能達到 80% 的信賴度標準。
想像一下。有一天,你突然接到不當解僱的通知,或是因為拿不回租屋押金而煩惱不已,於是你打開智慧型手機向 AI 聊天機器人詢問:「遇到這種情況該怎麼處理?」聊天機器人僅用幾秒鐘就流利地夾雜著法律術語,提出了看似清晰明瞭的解決方案。由於回答既充滿自信又合乎邏輯,甚至會讓人產生彷彿正與優秀律師面對面諮詢的錯覺。
然而,一項令人震撼的調查結果顯示,如果 100% 相信並照著 AI 的回答去做,可能會遭遇意想不到的挫折。根據最近公布的專業評估,當今最優秀的最新 AI 模型,在實際的法律諮詢現場中,竟然也錯失了決定性的核心細節 [來源標題]。
為什麼這很重要?
在日常生活中遭遇法律糾紛或不平等待遇的大多數人,往往因為負擔不起高昂的律師聘用費,或是不知道該從哪裡尋求協助而感到深深的無助。正因如此,許多人總是優先尋求網路搜尋或 AI 聊天機器人的協助。如果 AI 能夠提供可靠的法律建議,就能成為無數處於法律死角的人們強有力的救援投手。
然而,這次評估明確顯示,在 AI 的「流利對話能力」與「精確解決實際複雜問題的能力」之間,仍然存在著巨大的鴻溝 [來源標題]。錯誤的法律建議可能會讓個人寶貴的權利救濟機會付諸流水,或直接導致金錢損失。因此,準確掌握 AI 技術便利性背後隱藏的限制,對於保護我們的人生至關重要。
輕鬆理解:為什麼 AI 的法律諮詢並不完美?
我們經常使用的大型語言模型(LLM,Large Language Model)是一個透過學習全球龐大文字資料,能像人類一樣自然書寫文字的系統。簡單來說,AI 可以比喻為閱讀了數萬本法律教科書與判例、完美模仿「如何像法律專家一樣流利發言」的模範生。
然而,實際的法律諮詢與單純背誦並唸出書本上的條文是完全不同的層次。這可以比喻為照片編輯軟體的濾鏡。雖然它能驚人地套用調整整體照片色調的基本濾鏡(一般法律知識),但對於細緻捕捉隱藏在照片各處的微小灰塵或晃動(各地區嚴格不同的特殊規定、因委託人個別情況而產生的微妙例外條款)的精確修飾工作,卻屢屢失敗。
這次公開的 Access to Justice Benchmark(司法近用基準)正是犀利地切入了 AI 的這項致命弱點 [來源標題]。
現狀:23 個模型的成績單如何?
2026 年 11 月 10 日,Vals AI 與 NextLadder Ventures 共同正式發布了 Access to Justice Benchmark [來源標題, 來源標題]。本次評估以一線實地奔走法律援助專家親自撰寫的 252 個生動實際法律援助情境為基礎,進行了公正的評估 [來源標題, 來源標題]。
測試對象完整納入了目前全球市場上最優秀的 23 個主要 AI 模型 [來源標題, 來源標題]。主辦方為了驗證 AI 是否能確實扮演好一般公民「可靠的第一接觸點(First point of contact)」角色,設定了 80 分(80%)的嚴格基準線 [來源標題, 來源標題]。
評估結果究竟如何?令人驚訝的是,在作為測試對象的 23 個模型中,沒有任何一個模型超過 80% 的基準線 [來源標題, 來源標題]。
在美國各州實際法律援助專家精心製作的 252 個情境中,AI 屢屢錯失了作為問題解決關鍵的核心細節,例如各州之間微幅不同的法律程序或具體的蒐證要領 [來源標題, 來源標題]。儘管法律 AI 技術據稱有了飛躍性的發展,但這也充分證明了要安全且可靠地輔助人類所面臨的實際問題,仍有很長的路要走 [來源標題]。
未來將如何發展?
這次的基準測試結果為 AI 產業與整個法律界同時拋出了非常重要的里程碑與課題。
第一,AI 開發商不應滿足於單純培養流暢生成文字的能力,而必須具備能夠毫無誤差地掌握各地區獨特法律脈絡與具體事實關係的高度化驗證能力。第二,在法律服務領域中計畫導入或應用 AI 的機構與個人,獲得了深刻的教訓:切忌盲目信任,而應將其作為嚴格的輔助工具來使用。
在不久的將來,一般大眾為了降低法律門檻而尋找 AI 將會更加日常化,但正如本次調查結果所警告的,在完全克服「遺漏關鍵細節」這一極限之前,絕對必須伴隨人類專家細心驗證並補足 AI 回答的過程。
MindTickleBytes AI 記者的視角
所有人都能切身感受到 AI 日漸聰明的事實。然而,「聽起來大致對的漂亮話」與「守護我人生的精準法律建議」之間,卻存在著天壤之別。這次的 Access to Justice Benchmark 在冷靜指出技術華麗外表背後的實務限制方面,具有重大的意義。正確理解它並不完美,這不正是保護我們免受急遽變化的 AI 時代衝擊的真正智慧嗎?
參考資料
- Vals AI, NextLadder Ventures, “New ‘Access to Justice’ Benchmark: Leading AI Models Miss Critical Legal Details”, https://epyhia.com/new-access-to-justice-benchmark-finds-leading-ai-models-miss-critical
- NextLadder Ventures, “New Test of Leading AI Models’ Legal Aid Advice Finds Key Gaps Still to Be Closed Across Issues”, https://www.nextladder.com/news/new-test-of-leading-ai-models-legal-aid-advice-finds-key-gaps-still-to-be-closed-across-issues
- AOL, “New Test of Leading AI Models’ Legal Aid Advice Finds Key…”, https://www.aol.com/articles/test-leading-ai-models-legal-150300000.html
- Unite.AI, “Vals AI Legal Aid Benchmark Finds Models Fall Short on Local Help”, https://www.unite.ai/vals-ai-legal-aid-benchmark-finds-models-fall-short-on-local-help/
- Austin Chang, LinkedIn Post on Legal AI and Access to Justice Benchmark, https://www.linkedin.com/posts/austinchang3115_legalai-accesstojustice-aigovernance-activity-7526154590501838848-Nq32
- Access to Justice Benchmark
- Legal AI Standard Test
- Global Justice Benchmark
- 10個
- 23個
- 300個以上
- 70%
- 80%
- 90%