作者 | DataClaw 團(tuán)隊(duì)

單位 | 中山大學(xué)×南方周末科創(chuàng)力研究中心

【導(dǎo)語】大模型 Agent 真的準(zhǔn)備好接手復(fù)雜的真實(shí)數(shù)據(jù)分析了嗎？中山大學(xué)陳川課題組聯(lián)合南方周末科創(chuàng)力研究中心，共同發(fā)布了 DataClawBench 評(píng)測(cè)基準(zhǔn)。該基準(zhǔn)引入 492 個(gè)智庫咨詢真實(shí)任務(wù)，對(duì)前沿大模型展開過程級(jí)評(píng)測(cè)，為該問題提供量化分析依據(jù)。

研究背景：從 demo 到落地

一直存在但未被顯式討論的探索負(fù)擔(dān)

過去一年，端到端數(shù)據(jù)分析 Agent 的演示視頻幾乎每周都在刷屏。 從 Manus 到 OpenClaw，輸入一句"幫我分析一下 2022 年新能源汽車產(chǎn)業(yè)的省級(jí)競(jìng)爭(zhēng)格局"，幾分鐘后就能拿到一份結(jié)構(gòu)化的報(bào)告。但凡真在企業(yè)、券商、咨詢機(jī)構(gòu)里寫過內(nèi)部數(shù)據(jù)分析報(bào)告的人都明白，真實(shí)的數(shù)據(jù)分析，從來不是"讀一段表、出幾個(gè)相關(guān)的數(shù)"。它本質(zhì)上是一個(gè)準(zhǔn)確度要求很高的開放式工作流：

分析師拿到一個(gè)具體問題→先在一片未知的數(shù)據(jù)環(huán)境里"摸"出與問題相關(guān)的數(shù)據(jù)→再做清洗、對(duì)齊、跨表 join、聚合、計(jì)算→多方驗(yàn)證最后才能得出一個(gè)可以交付的準(zhǔn)確結(jié)論。

這其中第一步"在開放式的環(huán)境里感知所需數(shù)據(jù)"往往才是最耗時(shí)、最容易出錯(cuò)的一步。等到這一步走通了，后面的處理才有意義。

然而，真實(shí)開放式數(shù)據(jù)環(huán)境的一個(gè)重要特征是未知且嘈雜：表里有什么字段、字段是什么口徑、企業(yè)名稱是不是統(tǒng)一、單位有沒有錯(cuò)位，表格有哪些數(shù)據(jù)，表格與表格的關(guān)系是什么。這些先驗(yàn)引導(dǎo)信息很多時(shí)候并不完整或者難以簡(jiǎn)單獲得。因此，在真實(shí)的復(fù)雜任務(wù)下，大家又往往不放心將具有唯一正確答案的嚴(yán)謹(jǐn)分析任務(wù)交給 Agent 從頭處理。表現(xiàn)與端到端 Agent 的自主性目標(biāo)存在較大差距。

開源 DataClawBench 認(rèn)為，這些缺失的數(shù)據(jù)先驗(yàn)引導(dǎo)帶來的探索負(fù)擔(dān)正是真實(shí)數(shù)據(jù)分析任務(wù)區(qū)別于實(shí)驗(yàn)室 demo 的關(guān)鍵。要讓評(píng)測(cè)分?jǐn)?shù)真正能預(yù)測(cè)現(xiàn)實(shí)部署表現(xiàn)，Benchmark 就必須把數(shù)據(jù)負(fù)擔(dān)原樣保留下來，否則跑出來的高分很容易在落地時(shí)打回原形。事實(shí)上，目前主流的數(shù)據(jù)分析 Benchmark 大多在不同程度上簡(jiǎn)化或限定了數(shù)據(jù)環(huán)境：要么預(yù)先指定數(shù)據(jù)源、要么提供完整 schema、要么預(yù)清洗數(shù)據(jù)。它們各有評(píng)測(cè)目標(biāo)，但都不是為真實(shí)、混亂、未探索的數(shù)據(jù)環(huán)境而設(shè)計(jì)的。

DataClawBench 回答的是一個(gè)非常具體的實(shí)際問題：當(dāng)一個(gè) LLM Agent 被丟進(jìn)真實(shí)金融數(shù)據(jù)分析場(chǎng)景里，數(shù)據(jù)沒有被預(yù)先清洗、所需數(shù)據(jù)源也沒有被指定，它在復(fù)雜數(shù)據(jù)分析任務(wù)上的效用和效率表現(xiàn)如何？DataClaw 深入剖析 LLM agent 全推理過程，給出了一份初步探索答案。

• Leaderboard：https://github.com/GTML-LAB-sysu/DataClaw

• Huggingface：https://huggingface.co/datasets/GTML-LAB/DataClaw

• ArXiv：https://arxiv.org/abs/2605.02503

數(shù)據(jù)集概覽：基于真實(shí)金融智庫場(chǎng)景

構(gòu)建的復(fù)雜多步推理任務(wù)

DataClawBench 由中山大學(xué)計(jì)算機(jī)學(xué)院課題組主導(dǎo)構(gòu)建，其底層數(shù)據(jù)與任務(wù)來自南方周末科創(chuàng)力研究中心多年的智庫研究與咨詢業(yè)務(wù)，并由中山大學(xué)嶺南學(xué)院的金融與產(chǎn)業(yè)研究專家進(jìn)行專業(yè)命題與標(biāo)注。每一道題不是為評(píng)測(cè)而造，而是研究咨詢機(jī)構(gòu)真實(shí)在桌子上做的任務(wù)。

典型的任務(wù)長(zhǎng)這樣：

企業(yè) - 行業(yè)分析（中等難度）：2022 年富途控股的人均凈利潤(rùn)，是中國資本市場(chǎng)服務(wù)業(yè)人均凈利潤(rùn)中位數(shù)的多少倍？

企業(yè) - 產(chǎn)業(yè) - 政策聯(lián)動(dòng)（中等難度）：比較"A 公司所在產(chǎn)業(yè)的中央級(jí)科技政策數(shù)量"與"B 公司所在產(chǎn)業(yè)的地方級(jí)政策數(shù)量"。

綜合決策（困難難度）：2022 年某汽車制造企業(yè)要在多省中選址新建工廠，按給定的"產(chǎn)業(yè)配套綜合指數(shù)"打分規(guī)則（涉及 7 個(gè)子項(xiàng)、不同權(quán)重、歸一化方法），算出綜合指數(shù)最高省份的指數(shù)值。

風(fēng)險(xiǎn)評(píng)估（困難難度）：如果國家全部 R&D 稅收優(yōu)惠取消，制造業(yè)中哪三個(gè)細(xì)分行業(yè)的平均凈利潤(rùn)率下滑最大？

DataClawBench 總共包含 492 個(gè)任務(wù)，分為 3 個(gè)任務(wù)難度，131 easy / 286 medium / 75 hard。創(chuàng)新性地，與現(xiàn)有大多數(shù)數(shù)據(jù)分析 Benchmark 不同，DataClaw 包含過程評(píng)估標(biāo)注。過程評(píng)估將評(píng)估從答案對(duì)不對(duì)提升到了關(guān)鍵邏輯鏈條在哪里斷了的診斷層面。為同時(shí)滿足結(jié)果導(dǎo)向評(píng)估和過程導(dǎo)向評(píng)估，所有任務(wù)存在 3 個(gè)主要標(biāo)簽：1.唯一客觀答案；2.關(guān)鍵里程碑，即專家認(rèn)為必須經(jīng)過的中間證據(jù)點(diǎn)；3.參考軌跡，即專家親自走出來的參考推理路徑。

真正用于評(píng)測(cè)的數(shù)據(jù)環(huán)境，由"未經(jīng)清洗"的真實(shí)業(yè)務(wù)數(shù)據(jù)構(gòu)建而成，橫跨企業(yè)、產(chǎn)業(yè)和政策三個(gè)大的主題域。詳細(xì)分布如下圖。Agent 拿到的是一個(gè)統(tǒng)一原始倉庫，需要自己去探索。

評(píng)估指標(biāo)：同時(shí)考慮最終結(jié)果和

推理過程的評(píng)估方式

DataClaw 在評(píng)測(cè)層面做了一件目前業(yè)內(nèi) 99% 的數(shù)據(jù)分析 Benchmark 都沒做的事，同時(shí)分析了最終結(jié)果和推理過程。DataClaw 總共包含 4 個(gè)評(píng)價(jià)指標(biāo)，通過這套指標(biāo)，即使 Agent 沒答對(duì)，DataClaw 仍能告訴你它探到了哪一步、是什么時(shí)候探到的，斷裂點(diǎn)的原因是什么。

實(shí)驗(yàn)結(jié)果

DataClawBench 在 OpenClaw 統(tǒng)一框架下，用 Docker 容器隔離評(píng)測(cè)了 8 款當(dāng)下最受關(guān)注的 LLM Agent，單任務(wù)超時(shí)設(shè)置為 1200 秒：

問題 1：當(dāng) Agent 必須自己尋找相關(guān)數(shù)據(jù)時(shí)，它們還能保持可靠嗎?

不可靠。表 4 匯總了全部 492 個(gè)任務(wù)上的最終結(jié)果準(zhǔn)確率。即使是最強(qiáng)的 Agent —— Claude Opus 4.6，也只達(dá)到了63.4%的整體準(zhǔn)確率。其他 7 個(gè)模型均低于 50%。沒有任何模型接近飽和，這表明在真實(shí)數(shù)據(jù)環(huán)境下進(jìn)行探索式分析這一問題遠(yuǎn)未被解決。此外，性能下滑在難度維度上也是非均勻的。中等難度到困難難度是一個(gè)明顯的斷崖下降。

問題 2：更長(zhǎng)的探索是否真的能轉(zhuǎn)化為有用的進(jìn)展?

僅部分如此。在答錯(cuò)的任務(wù)上, 探索得更久確實(shí)與更高的 GPR 相關(guān)，因此額外的請(qǐng)求并未完全浪費(fèi)。如下圖 所示， GPT-5.4、Kimi-K2.5、GLM-5 在失敗任務(wù)上僅使用約12–19 次請(qǐng)求，GPR 大約在18–20%。相比之下，Gemini 3.1 Pro、Minimax M2.7、DeepSeek-V3.2 和 Qwen3.5-Plus 探索得更久，使用約32–42 次請(qǐng)求，獲得更高的 GPR，大約在22–34%。這說明額外的探索確實(shí)可以挽回部分中間進(jìn)展。

但是，從請(qǐng)求數(shù)到進(jìn)展的轉(zhuǎn)化效率高度不均。Claude 用相對(duì)較少的失敗任務(wù)請(qǐng)求數(shù)就達(dá)到了最高的 GPR，而 Gemini 與 Minimax 等模型花了遠(yuǎn)更多的請(qǐng)求卻只換來更低的進(jìn)展。這表明探索長(zhǎng)度并不是有用進(jìn)展的好代理。

問題 3：同一個(gè)錯(cuò)誤答案背后, 可能隱藏著什么樣的失敗模式?

同一個(gè)錯(cuò)誤答案可能隱藏著完全不同的過程失敗模式。最終準(zhǔn)確率只告訴我們答案是否正確，并不能展示 Agent 是如何失敗的。Acc 排名與 GPR 排名之間的差距清晰地揭示了這一點(diǎn)。表 5 顯示，在 Hard 任務(wù)上，Gemini 3.1 Pro 的Acc 排名第 6，但 GPR 排到第 2。這意味著它的許多失敗 run 仍然達(dá)成了有用的中間里程碑。Kimi-K2.5 則呈現(xiàn)出相反的模式：Acc 排第 4，但 GPR 排末位，這意味著它在失敗時(shí)往往連關(guān)鍵證據(jù)都沒摸到。從結(jié)果視角看，這兩個(gè) Agent 似乎差不多；從過程視角看，它們根本是兩種不同的 Agent。自然引出第四個(gè)問題。

問題 4：當(dāng) Agent 失敗時(shí), 它們呈現(xiàn)出怎樣的探索畫像?

DataClawBench 發(fā)現(xiàn) 8 款模型也有各自的探索畫像，用 Acc × GPR × TPE 三軸交叉，可以清晰地分成 4 類：

• 決斷派：Claude Opus 4.6。證據(jù)找到得多、找到得早，滿足大家對(duì) LLM 優(yōu)秀的期待。

• 磨嘰堅(jiān)持派：Gemini 3.1 Pro 和 Minimax M2.7。里程碑找得到，但都找到得很晚，不高效。

• 亂試派：DeepSeek-V3.2 和 Qwen3.5-Plus。步數(shù)花得不少，找到的證據(jù)進(jìn)度跟不上。投入與收入相較于上面兩個(gè)類型不成正比。

• 躺平派：GPT-5.4、Kimi-K2.5 和 GLM-5。早早收工，效率看上去高，但其實(shí)是因?yàn)楦揪蜎]怎么探索。相對(duì)容易找到就找，沒那么容易還是早早放棄躺平算了。、

為進(jìn)一步失敗歸因，繼續(xù)回答了 3 個(gè)問題：

問題 5：探索式數(shù)據(jù)分析的難點(diǎn)究竟來自哪里：數(shù)據(jù)噪聲還是缺失的引導(dǎo)?

兩者都重要。我們?cè)?30 個(gè)原本失敗的任務(wù)上，對(duì) Qwen3.5-Plus 進(jìn)行了三種環(huán)境不確定性逐級(jí)遞減的復(fù)測(cè)，如下圖所示：

第一種是原始的真實(shí)環(huán)境；第二種移除了數(shù)據(jù)噪聲與無關(guān)數(shù)據(jù)源；第三種在第二種基礎(chǔ)上進(jìn)一步提供完整的 schema 引導(dǎo)。

降低環(huán)境不確定性確實(shí)能提升準(zhǔn)確率，但收益在不同難度上并不均勻：原始環(huán)境下，模型在所有采樣任務(wù)上全部失敗。移除噪聲與無關(guān)數(shù)據(jù)源后，Easy 準(zhǔn)確率恢復(fù)到20%，Medium 恢復(fù)到33.3%，但Hard 仍 0%。進(jìn)一步加入完整 schema 引導(dǎo)后，Easy 上升至40%，Medium 上升至45%，Hard 才上升至20%。

這說明探索式數(shù)據(jù)分析并不只是因?yàn)閿?shù)據(jù)嘈雜才困難。移除噪聲與無關(guān)數(shù)據(jù)源有助于 Agent 進(jìn)入一個(gè)更有用的證據(jù)空間，在 Easy 與 Medium 任務(wù)上尤其明顯。但Hard 任務(wù)在沒有更強(qiáng)的 schema 引導(dǎo)前仍然棘手，即便加上引導(dǎo)也只能部分恢復(fù)。這表明 Agent同時(shí)在多重不確定性下掙扎：嘈雜的證據(jù)、無關(guān)的數(shù)據(jù)源、與不完整的 schema 理解。

問題 6：Agent 最早在哪里丟失分析線索?

Agent 通常很早就丟失分析線索，但更強(qiáng)的 Agent 比更弱的 Agent 失手得更晚。 我們通過記錄每次失敗 run 中首個(gè)未達(dá)成的 gold 里程碑 m?來定位失敗起點(diǎn)。下圖按難度分別報(bào)告了全部 8 款 Agent 的分布。

強(qiáng)模型 Claude Opus 4.6較少在第一個(gè)里程碑上就崩盤。大多數(shù)其他 Agent 失手得早得多：

• 在Easy 任務(wù)上，它們的M?失敗占比通常超過 80%,GPT-5.4 高達(dá) 95.0%。

• 在Medium 與 Hard 任務(wù)上, 許多 Agent 仍有超過一半的失敗 run 僅卡在 M?。

這一對(duì)比表明，早期脫軌是一種常見的失敗模式, 但其嚴(yán)重程度取決于模型能力。強(qiáng)模型往往能跨過初始的證據(jù)獲取階段后才失手；而多數(shù)模型幾乎立刻就丟失分析線索——還在找證據(jù)、搭建問題框架、或設(shè)置中間變量的時(shí)候就掉隊(duì)了。

問題 7：是什么讓 Agent 丟失分析線索?

Agent 是"放棄"還是"硬交一個(gè)錯(cuò)答案"，取決于斷點(diǎn)處的操作類型。表 6 按"首個(gè)未達(dá)成里程碑的操作類型"與"最終終止方式"對(duì)失敗 run 做了交叉分析。

對(duì)于實(shí)體屬性查找 (Entity Attribute Lookup)，占比最高的終止方式是Voluntary Give-up達(dá)到45.7%。這表明 Agent 通常能識(shí)別具體證據(jù) (如某一行、某個(gè)字段、某個(gè)實(shí)體) 的缺失。相反,Wrong-Answer Stop主導(dǎo)了那些即便證據(jù)不全也仍能產(chǎn)出貌似合理輸出的操作，例如：聚合計(jì)數(shù) / 求和達(dá)69.0%、政策檢索與計(jì)數(shù)達(dá)66.0%、比較 / 布爾判斷達(dá)63.1%、排序與選擇、統(tǒng)計(jì)匯總也都超過 56%。這些操作很少能給出干凈的"無結(jié)果"信號(hào)。因此，Agent 丟失分析線索，不僅因?yàn)樗鼒?zhí)行了錯(cuò)誤的操作，還因?yàn)樗诓僮魇『筮x擇了錯(cuò)誤的停止方式。

總 結(jié)

DataClawBench 是一個(gè)用于 Agent 在未充分探索的真實(shí)數(shù)據(jù)環(huán)境下完成金融數(shù)據(jù)分析任務(wù)的基準(zhǔn)。它隱藏了數(shù)據(jù)源與 schema 先驗(yàn)、保留了原生數(shù)據(jù)噪聲，并為任務(wù)提供了過程級(jí)標(biāo)簽。DataClawBench 不僅揭示 Agent 是否成功，更揭示它如何失敗、在哪里失敗。實(shí)驗(yàn)表明，前沿 LLM 在 DataClawBench 上仍然吃力。總體而言,DataClawBench 為探測(cè)自主金融數(shù)據(jù)分析 Agent 的能力邊界提供了一個(gè)診斷性測(cè)試平臺(tái)。

會(huì)議推薦

Agent 從 Demo 到工程化還差什么？安全與可信這道坎怎么過？研發(fā)體系不重構(gòu)，還能撐多久？

AICon 上海站 2026，13 大重磅專題已上線，誠摯邀請(qǐng)你登臺(tái)分享實(shí)戰(zhàn)經(jīng)驗(yàn)。AICon 2026，期待與你同行。快來掃碼鎖定 8 折專屬席位或提交演講議題

今日薦文

你也「在看」嗎？