新智元報道

【新智元導讀】5月25日至29日，面壁智能與OpenBMB聯合舉辦「端側大模型開源周」，每天解鎖一個端側大模型的殺手锏。端側大模型的頂峰，不只在冰山一角，而在整座冰山。今天是開源周的第五彈：UltraData系列數據集上新。

5月29日，面壁智能聯合清華大學、 OpenBMB開源社區聯合發布并開源兩大最新數據集：Ultra-FineWeb-L3與UltraData-SFT-2605。

其中，Ultra-FineWeb-L3包含高質量中文+英文網頁合成數據，總量突破600B Tokens，中文占據200B+Tokens ，是目前開源規模最大的中文預訓練合成數據集；UltraData-SFT-2605是國內首次開源的千萬級、同時包含深思考與非思考標注的SFT數據集。

MiniCPM5-1B的訓練過程，是UltraData分級治理體系的一次完整實踐，此次上新的兩大數據集Ultra-FineWeb-L3 與UltraData-SFT-2605均已在MiniCPM5-1B的訓練流程中得到完全驗證，覆蓋從預訓練退火到后訓練SFT的全鏈路。

這兩大數據集均基于面壁智能獨創的UltraData數據分級治理體系構建，為大模型產業提供了自主可控、高質量可復現的數據基礎設施。目前已全面上線UltraData網站與HuggingFace等，面向全球開發者免費開放。

UltraData數據分級治理

從「堆規?！沟健妇珶挃祿?/strong>

大模型訓練數據如同原油，未經提煉無法直接驅動引擎。在模型架構趨同、高質量公開數據資源逐漸逼近枯竭的背景下，單純依賴數據規模擴張已難以為繼。不同訓練階段對數據的質量、數量及分布存在顯著差異，需要有針對性的數據策略。

今年2月，面壁智能聯合清華大學、OpenBMB提出的L0-L4五級數據分級治理體系，正是為了解決這一問題。

從原始數據（L0）經基礎過濾（L1）、模型精篩（L2）、合成與增強（L3），到最終可用于編排的數據（L4），每一級對應明確的處理標準與應用場景，避免「一刀切」的粗放加工。

在英文網頁、中文網頁、數學、代碼四個領域的系統性實驗中，模型性能隨數據質量從L1向L3逐級提升而持續增強，分級訓練相比混合訓練平均性能提升1.49個百分點。

沒有系統的數據治理，就沒有可復現的AGI進化。此次L3數據集的開源，正是這套方法論從理論走向實踐、從數學垂直領域向通用網頁與后訓練SFT全面延伸的關鍵一步。

Ultra?FineWeb?L3

讓網頁文本從「可讀」到「好學」

Ultra?FineWeb?L3是將L3精煉技術系統化應用于通用網頁數據的合成數據集，規模超600B Tokens，其中英文400B+Tokens，中文200B+ Tokens。

同時也是當前全球最大規模的中文預訓練合成數據，一舉解決了長期以來中文高質量預訓練數據稀缺、分布不均的行業痛點。

以L2精篩高質量網頁數據Ultra-FineWeb為種子，Ultra-FineWeb-L3使用多種模型進行問答對生成與多風格改寫，將海量網頁文本升級為結構化、高信息密度、更適合模型學習的預訓練數據。

其核心目標不是增加數據量，而是提升單位數據的可學習性。

在同等訓練量下，Ultra-FineWeb-L3在ARC-E、HellaSwag、OpenbookQA等英文任務以及CMMLU等中文任務上均顯著超越FineWeb-edu、FinePhrase等其他高質量數據集，且訓練后期的領先優勢持續擴大。

作為MiniCPM5-1B退火階段的核心訓練數據，它為模型在訓練后期實現「最后一公里」能力躍升提供了高密度燃料。

如果說此前發布的UltraData-Math是UltraData分級治理體系在數學領域的一次最佳實踐，那么Ultra-FineWeb-L3則是這一方法論向通用網頁領域的進一步延伸。

它的意義不只是提供一份更大規模的網頁合成數據，更是把「可讀」的網頁文本，進一步轉化為「好學」的訓練數據。

UltraData-SFT-2605

千萬級深思考與非思考SFT全量開源

如果說預訓練決定了模型的知識廣度，SFT 階段則決定了模型能否精準遵循指令、能否一步步推演出復雜問題的答案。

UltraData?SFT?2605是國內首個開源的千萬級規模、同時包含深思考與非思考完整標注的全量SFT數據集，覆蓋數學、代碼、知識、指令遵循等多個領域。

該數據集在每個領域、每個難度層級中同時構建兩類數據：

• 非思考數據：對應快速響應場景下的直接回答能力

• 深思考數據：對應復雜任務場景下的推理、規劃與驗證能力，包含完整思維鏈標注