儘管大型語言模型在文本分析方面表現卓越,但在處理表格數據時,由於對數據順序結構的錯誤偏見以及複雜數值運算的限制,其效能往往低於傳統的數據分析方法。
想像一下,你手邊有一份公司數萬行的銷售數據 Excel 檔案。你詢問當今世上最聰明的 AI:「請幫我分析這份每個月依產品分類、記錄誰在何時賣出多少金額的『表格』」。結果,AI 卻回答:「嗯,這些數據讀起來就像普通的閒聊」,給出了一些牛頭不對馬嘴的答案。為什麼本該精準計算數字的 AI 會犯下這種錯誤?
近期,大型語言模型 (Large Language Models, LLM,透過學習龐大文本與人類對話的 AI) 在摘要文章、分析艱深論文,甚至撰寫複雜程式碼方面展現了驚人能力。然而,在處理 Excel 或資料庫等「表格形式數據 (Tabular Data)」時,它們的表現反而不如十年前就已採用的傳統統計方法 출처 10, 출처 11。
這為什麼重要?
在現代商業與研究領域中,大多數核心數據都以表格形式存在。財務報告、客戶購買紀錄、臨床試驗結果等,所有重大決策皆透過這些數字表格進行。如果最先進的 AI 無法正確理解這些關鍵數據,企業將不得不繼續依賴老舊的分析工具,無法充分享受最新 AI 技術的紅利。若要成為我們所期待的「聰明助理」,AI 必須跨越分析數字數據這道高牆。
簡單來說:AI 是把表格當作「句子」來讀
為了說明 AI 為何不擅長處理表格數據,我們舉個比喻。
「Transformer (掌握語句中單詞間關係並提取意義的 AI 核心架構)」技術,原本是為了「語言」而生。簡單來說,AI 在閱讀文本時,經過訓練已學會尋找從左到右流動的「故事脈絡」。
然而,當遇上表格數據時,AI 就像在讀一本外文書一樣,強行將表格轉換為文本 (序列化) 來閱讀 출처 9:「第 1 行第 1 列是銷售額,第 1 行第 2 列是產品……」諸如此類。
問題就在這裡。表格不是「故事」。表格是行與列各自獨立,或以極其複雜方式連結的二維空間。AI 本能地想閱讀有順序的句子,但表格是與順序無關、多維度的資訊集合體。這就像是必須看地圖找路,卻只看了一份將地圖上地名按順序排列的文章,試圖從中判斷位置一樣困難 출처 9。
此外,AI 在分析數據時雖熟悉加法等基礎算術運算,但對於實際數據分析中至關重要的「分組聚合 (grouping and aggregations)」等複雜邏輯,卻不擅長自行建構 출처 3, 출처 8。換句話說,人類在 Excel 中製作樞紐分析表層次的邏輯分析,AI 目前尚未「學會」。
我們身處何處:AI 是靠「眼色」分析的
目前許多 AI 模型並非深入理解數據本身,而是極度依賴表格上的列名稱 (標識符) 출처 12。例如,看到「Sales_Amount」這個列名,AI 就會靠眼色猜出:「啊,這是銷售額」。但如果將名稱改為「col_01」這種毫無意義的字符,AI 的效能就會急劇下降 출처 12。也就是說,它並沒有深入解讀實際的數據值,僅是看著人類貼上的名牌 (元數據) 在進行猜測 출처 6。
由於這些限制,在實際現場,基於決策樹 (Decision Tree) 的傳統機器學習方法,在分析表格數據時依然遠比 AI 更快速且準確 출처 11。
未來方向:成為真正的數據分析師
未來,針對讓語言模型不僅擅長文本,更能理解表格結構本身的「數據語言模型」研究將會蓬勃發展 출처 6。當我們問 AI:「這裡賣得最好的產品是什麼?」時,期待 AI 不是靠看名牌猜測,而是能精確認知表格結構,透過數學運算進行統計並給予答案的日子終將來臨。
但目前為止,與其將重要的經營數值分析 100% 交給 AI,不如將其作為文本摘要或程式碼生成的輔助工具,這才是更明智的做法。
MindTickleBytes 的 AI 記者觀點
語言模型是透過文本學習世界知識,因此將充滿數字的表格視為一種「陌生的語言」。然而,一旦 AI 學會將數學邏輯與語言洞察結合,我們的工作效率將以超越現在想像的速度提升。在那之前,請僅將 AI 當作我們「天才般的助理」來使用吧。
參考資料
- [Source 3] Large Language Models Engineer Too Many Simple Features for Tabular Data (https://arxiv.org/html/2410.17787v1)
- [Source 6] Large Language Models(LLMs) on Tabular Data: Prediction, Generation, and Understanding – A Survey (https://arxiv.org/abs/2402.17944)
- [Source 8] Large Language Models Engineer Too Many Simple Features for Tabular Data (https://arxiv.org/html/2410.17787v2)
- [Source 9] The Illusion of Generalization in Tabular Language Models (https://arxiv.org/html/2602.04031v2)
- [Source 10] Small Models are LLM Knowledge Triggers for Medical Tabular Prediction (https://arxiv.org/html/2403.01570v3)
- [Source 11] Language Models Are Good Tabular Learners (https://openreview.net/forum?id=r8tMECbxOl)
- [Source 12] Data Language Models: A New Foundation Model Class for Tabular Data (https://arxiv.org/html/2605.06290v1)
- 能完全理解所有數值,但處理速度緩慢
- 在將表格數據轉換為順序文本的過程中,誤解了數據的本質結構
- 無法讀取表格數據,必須先轉換為圖像
- 僅偏向加法等簡單運算,無法有效運用分組或聚合等複雜運算
- 因為執行的運算過於複雜,不適用於一般數據
- 受限於數據安全規定,無法執行複雜運算
- 數據量過少時
- 數據中包含人名時
- 當行 (column) 的標識符 (名稱) 被移除或替換為無意義的字符時