亚洲中文字幕乱码亚洲-蜜桃成熟视频在线观看-免费中文字幕视频在线-中国五十路熟妇洗澡视频-亚洲av伊人啪啪c-国产精品成人一区二区-国产自拍视频一区在线观看-成人一区不卡二区三区四区-亚洲情精品中文字幕99在线

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

特征平臺:大廠把這套系統(tǒng)藏了8年,現(xiàn)在終于有人講清楚了

0
分享至

2019年,Uber在一場技術分享會上首次公開了內部項目Michelangelo的細節(jié)。臺下坐著的一百多位工程師里,至少有三十人當場打開了筆記本——他們正在用完全相同的方式,各自在公司里重復造輪子。

這套被藏了八年的基礎設施,就是特征平臺(Feature Store)。機器學習團隊80%的時間花在數(shù)據(jù)準備上,其中一大部分又在重復提取相同的特征。每個模型都從零開始寫SQL拉數(shù)據(jù),A團隊算好的"用戶近7天活躍天數(shù)",B團隊重新算一遍,C團隊再算一遍。特征口徑不一致,線上線下數(shù)據(jù)對不上,模型上線后效果衰減——這些問題像慢性病一樣困擾著每個規(guī)?;疉I團隊。

從Uber的"秘密武器"到行業(yè)標配

Uber的Michelangelo在2015年上線,比這個詞進入主流視野早了整整四年。當時Uber每天有數(shù)百萬訂單需要預測到達時間、定價、供需匹配,特征工程成了最大的瓶頸。他們的解法很直接:把特征當成產品來運營,統(tǒng)一存儲、統(tǒng)一計算、統(tǒng)一服務。

這套思路后來被Airbnb的Zipline、Netflix的Hive-to-Redis管道、Lyft的Flyte驗證。2020年后,Tecton、Feast等開源項目出現(xiàn),AWS SageMaker Feature Store、Databricks Feature Store相繼發(fā)布。Gartner在2022年將特征平臺列入數(shù)據(jù)管理技術成熟度曲線,標志著它從"大廠秘技"變成基礎設施標配。

特征平臺的核心價值,是把"特征即代碼"變成"特征即數(shù)據(jù)"。傳統(tǒng)流程里,數(shù)據(jù)科學家用Python在筆記本里探索特征,工程師用Java/Scala重寫一遍用于生產,兩個版本永遠有微妙的差異。特征平臺強制要求:所有特征定義用聲明式配置(如YAML),離線計算(批量歷史數(shù)據(jù))和在線計算(實時請求)共用同一套邏輯,從源頭消滅不一致。

一個典型場景:推薦系統(tǒng)需要"用戶過去1小時點擊過的商品類別"。離線訓練時,這個特征從數(shù)倉歷史表計算;在線推理時,需要從流處理系統(tǒng)(如Flink)實時聚合。沒有特征平臺,兩個鏈路各自維護,口徑偏差導致模型效果打折。有了特征平臺,同一套特征定義自動映射到批處理和流處理兩種執(zhí)行模式。

為什么這件事"沒人談論"

特征平臺的尷尬在于:它解決的是"臟活累活",不是"酷炫算法"。對外分享時,講Transformer架構比講數(shù)據(jù)管道吸引人一百倍。大廠早期也把它當競爭壁壘,Uber 2019年的分享已經(jīng)是破例。

更深層的原因是組織慣性。數(shù)據(jù)科學家和工程師的協(xié)作模式已經(jīng)運轉多年,特征平臺要求改變工作流、統(tǒng)一工具鏈、建立跨團隊治理——這比技術實現(xiàn)更難。很多公司寧可忍受低效率,也不愿承擔遷移成本。

但沉默正在被打破。2023年,Tecton的年度調查顯示,采用特征平臺的公司中,模型上線時間從平均4-6周縮短到1周以內,特征復用率達到60%以上。這些數(shù)字開始出現(xiàn)在CTO的匯報材料里。

技術層面的成熟也在降低門檻。 Feast(Linux基金會項目)提供開源基礎實現(xiàn),與Spark、Snowflake、Redis等主流工具集成;Tecton等商業(yè)產品補充企業(yè)級需求,如特征血緣追蹤、權限管控、成本優(yōu)化。云廠商的托管服務讓中小企業(yè)無需自建基礎設施。

不是銀彈:特征平臺的真實邊界

特征平臺有明確的適用場景。如果你的團隊只有2-3個模型,數(shù)據(jù)量不大,特征變化不頻繁——上特征平臺就是過度工程。它的收益曲線在規(guī)?;蟛哦盖蜕仙?。

實時特征是另一個門檻。批處理特征(如"用戶過去30天消費金額")技術成熟,流處理特征(如"當前會話內的點擊序列")需要額外的基礎設施投入。不是所有業(yè)務都需要毫秒級響應,強行追求實時性會徒增復雜度。

最大的隱性成本是組織變革。特征平臺要求定義"特征所有權":誰負責維護、誰保證質量、誰承擔故障責任。這觸及數(shù)據(jù)治理的核心矛盾——數(shù)據(jù)團隊說"我們提供管道",業(yè)務團隊說"我們要對效果負責",特征平臺把兩者綁在一起。

Netflix工程師在2022年的一篇博客中寫道:「我們花了18個月才讓特征平臺真正運轉起來,前12個月都在解決人的問題,不是技術問題?!?/p>

國內大廠的實踐更有參考價值。字節(jié)跳動的Feature Store支撐了抖音、今日頭條的推薦系統(tǒng),特征規(guī)模達到數(shù)十億,日調用量超萬億次。他們的經(jīng)驗是:特征平臺必須和AB實驗平臺、模型服務平臺深度打通,否則只是又一個數(shù)據(jù)孤島。美團、阿里也有類似架構,但公開細節(jié)有限——這個領域仍然充滿"我們知道他們在做,但不知道具體怎么做"的灰色地帶。

2024年,特征平臺正在經(jīng)歷第二波進化。大語言模型的興起帶來了新需求:如何把非結構化數(shù)據(jù)(文本、圖像)轉化為可復用的特征向量?向量數(shù)據(jù)庫和特征平臺的邊界在哪里?這些問題還沒有標準答案。

一個值得觀察的信號是:OpenAI、Anthropic等頂尖AI團隊招聘中,"ML Infrastructure"崗位的描述里,特征工程相關經(jīng)驗的出現(xiàn)頻率正在上升。當模型能力趨于同質化,數(shù)據(jù)飛輪的效率可能成為決定性的差距。

你的團隊現(xiàn)在怎么處理特征工程?是各自為戰(zhàn),還是已經(jīng)有一套共享機制——或者正在評估要不要上特征平臺?

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
小鵬GX開啟預售,預售價39.98萬元

小鵬GX開啟預售,預售價39.98萬元

財聞
2026-04-15 20:48:22
普京被曝簽密令:反戰(zhàn)者可直接關押,無需法院裁決

普京被曝簽密令:反戰(zhàn)者可直接關押,無需法院裁決

桂系007
2026-04-15 23:04:24
北海艦隊、南海艦隊、東海艦隊公告

北海艦隊、南海艦隊、東海艦隊公告

環(huán)球網(wǎng)資訊
2026-04-15 21:27:20
郵輪廁所里的"杰尼龜"事件:一場亞文化沖突的解剖

郵輪廁所里的"杰尼龜"事件:一場亞文化沖突的解剖

賽場速報局
2026-04-16 09:11:12
國王隊總經(jīng)理坦誠評價威斯布魯克2025-26賽季表現(xiàn):他太棒了

國王隊總經(jīng)理坦誠評價威斯布魯克2025-26賽季表現(xiàn):他太棒了

好火子
2026-04-16 05:34:02
印度13歲男孩被蛇咬傷,家屬將其泡恒河水12小時后身亡,警方已展開調查

印度13歲男孩被蛇咬傷,家屬將其泡恒河水12小時后身亡,警方已展開調查

觀威海
2026-04-15 15:52:07
德國工程師:中國人難道不知南水北調的弊端,環(huán)保大國稱號何來?

德國工程師:中國人難道不知南水北調的弊端,環(huán)保大國稱號何來?

心靈得以滋養(yǎng)
2026-03-13 22:44:44
何潤東再次cos項羽:霸王本色

何潤東再次cos項羽:霸王本色

現(xiàn)代快報
2026-04-15 16:50:03
勸大家開始極限儲蓄吧,從4月開始!

勸大家開始極限儲蓄吧,從4月開始!

歐茜醫(yī)生
2026-04-15 16:07:10
80年陳云建議陳錫聯(lián)辭職,陳錫聯(lián)猛拍桌:讓我干啥,我絕無二話!

80年陳云建議陳錫聯(lián)辭職,陳錫聯(lián)猛拍桌:讓我干啥,我絕無二話!

老范談史
2026-04-15 12:47:07
起拍價34萬!一輛滬A牌照摩托車將被司法拍賣:車牌估值48萬,已有3人報名

起拍價34萬!一輛滬A牌照摩托車將被司法拍賣:車牌估值48萬,已有3人報名

紅星新聞
2026-04-15 12:35:19
中央明確了!社保最低繳費年限要提高,70、80后得早做準備

中央明確了!社保最低繳費年限要提高,70、80后得早做準備

云鵬敘事
2026-04-12 16:36:39
女星張紫寧自曝:主動報名“乘風2026”,被告知“不夠抓馬”落選

女星張紫寧自曝:主動報名“乘風2026”,被告知“不夠抓馬”落選

南方都市報
2026-04-15 12:28:29
你永遠想不到醫(yī)院的八卦能有多炸裂?一件提神醒腦,兩件直接撂倒

你永遠想不到醫(yī)院的八卦能有多炸裂?一件提神醒腦,兩件直接撂倒

另子維愛讀史
2026-01-22 18:21:09
“優(yōu)選一等座”引熱議!網(wǎng)友:在商務座車廂,像高檔小區(qū)的守門人

“優(yōu)選一等座”引熱議!網(wǎng)友:在商務座車廂,像高檔小區(qū)的守門人

火山詩話
2026-04-16 09:38:19
還剩6天,賴清德即將離島,大陸預言了結局,賴岳謙說得沒錯

還剩6天,賴清德即將離島,大陸預言了結局,賴岳謙說得沒錯

梔璃鳶年少
2026-04-16 08:52:59
支持率67%,李在明公開譴責以色列,對美掀桌子,以方:不可接受

支持率67%,李在明公開譴責以色列,對美掀桌子,以方:不可接受

兵說
2026-04-15 11:01:31
特朗普拿到訪華門票不容易,要拖家?guī)Э趤肀本?,兒子和兒媳齊上陣

特朗普拿到訪華門票不容易,要拖家?guī)Э趤肀本?,兒子和兒媳齊上陣

快樂彼岸
2026-04-16 10:04:08
銀行行長包養(yǎng)35個女員工,個個死心塌地,結局大快人心

銀行行長包養(yǎng)35個女員工,個個死心塌地,結局大快人心

霧島夜話
2026-04-15 10:57:15
麥當娜:與保鏢的性愛視頻,被保鏢拍賣后,她的反應讓人稱贊

麥當娜:與保鏢的性愛視頻,被保鏢拍賣后,她的反應讓人稱贊

七阿姨愛八卦
2026-04-15 17:23:47
2026-04-16 11:16:49
我是一個粉刷匠2
我是一個粉刷匠2
有態(tài)度網(wǎng)友ytd
1437文章數(shù) 18關注度
往期回顧 全部

科技要聞

39.98萬!小鵬GX預售“純電增程同價”

頭條要聞

24歲抗癌博主去世媽媽和姐姐也病世 一家五口只剩兩人

頭條要聞

24歲抗癌博主去世媽媽和姐姐也病世 一家五口只剩兩人

體育要聞

WNBA史上最大合同!阿賈3年500萬超級頂薪留隊

娛樂要聞

謝娜現(xiàn)身環(huán)球影城,牽手女兒溫馨有愛

財經(jīng)要聞

一季度GDP增5%!國新辦介紹國民經(jīng)濟情況

汽車要聞

空間大五個乘客都滿意?體驗嵐圖泰山X8

態(tài)度原創(chuàng)

游戲
數(shù)碼
本地
教育
公開課

《波斯王子:時之砂》民間重制項目公布 加入路徑追蹤

數(shù)碼要聞

昂達推出GeForce RTX 5060 / 5060 Ti 8GB神盾顯卡

本地新聞

12噸巧克力有難,全網(wǎng)化身超級偵探添亂

教育要聞

為什么這所學校要保留一片亂糟糟的樹根?

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進入關懷版