![]()
大多數(shù)人死在了第0步。不是技術(shù)不行,是根本沒走到需要技術(shù)的那一步。
作者花了47天,把一個關(guān)于LLM的模糊念頭變成了能跑的生產(chǎn)系統(tǒng)。沒融資,沒團(tuán)隊,沒"先做個MVP試試"的借口。這個案例的價值不在于他用了什么模型,而在于他踩中了90%AI項目會栽的同一個坑——把模型當(dāng)產(chǎn)品,而不是把系統(tǒng)當(dāng)產(chǎn)品。
01 先別寫代碼,先畫一張沒人看的草圖
作者的第一件事出乎很多人意料:打開空白文檔,不是IDE。他花了整整3天只寫文字——用戶是誰,問題是什么,LLM在哪個環(huán)節(jié)介入,出錯時怎么辦。
這個反直覺的動作救了他。因為LLM項目的失敗模式太固定了:demo驚艷,上線崩潰。上下文丟失、幻覺亂答、跟現(xiàn)有工具鏈打架。作者發(fā)現(xiàn),問題從來不是模型不夠聰明,是模型被丟進(jìn)了一個沒設(shè)計過的環(huán)境。
他畫了一張流程圖,現(xiàn)在看很丑,但關(guān)鍵決策全在上面:用戶輸入怎么清洗,什么進(jìn)上下文窗口,什么走外部檢索,模型輸出怎么校驗,錯了怎么回滾。這些后來成了系統(tǒng)的骨架。
02 第一周就部署,哪怕只能回答"你好"
第4天,作者把第一個版本推到了服務(wù)器。功能極其簡陋:接收文本,調(diào)用API,返回結(jié)果。但他堅持這么做,理由是"部署焦慮"比"代碼焦慮"更致命。
很多人反著來:本地調(diào)完美再上線,結(jié)果環(huán)境差異、依賴沖突、配額限制全在最后一刻爆發(fā)。作者的做法是,讓基礎(chǔ)設(shè)施問題盡早暴露,而不是攢到慶祝時刻。
這個版本的用戶是他自己。每天往系統(tǒng)里丟真實的工作郵件、會議記錄、需求文檔,看哪里斷鏈。第11天,他發(fā)現(xiàn)模型在處理長線程對話時會"遺忘"關(guān)鍵約束——不是因為上下文窗口不夠,是他沒設(shè)計記憶機(jī)制。這個發(fā)現(xiàn)直接改寫了架構(gòu)。
03 幻覺不是病,沒做防護(hù)才是
第23天,系統(tǒng)第一次給出完全錯誤的法律條款引用。作者沒換模型,加了一層校驗?zāi)K:LLM輸出→結(jié)構(gòu)化提取→外部源核對→置信度評分→低置信觸發(fā)人工復(fù)核。
這個設(shè)計讓響應(yīng)延遲增加了400毫秒,但錯誤率從"偶爾出現(xiàn)"變成了"可量化、可攔截"。他接受了一個現(xiàn)實:在生產(chǎn)環(huán)境,LLM的確定性比聰明更重要。
同期他做了另一個反常識的決定:不追求單輪對話的完美,而是強(qiáng)制每5輪觸發(fā)一次狀態(tài)總結(jié)。用戶看到的還是流暢交流,但后臺的上下文被壓縮、歸檔、重新注入。這個機(jī)制讓長會話的穩(wěn)定性提升了3倍以上——具體數(shù)字來自他后來公開的日志分析。
04 集成比模型更難搞
第31天到第40天,作者幾乎沒碰模型本身。全在跟Slack、Notion、郵件系統(tǒng)打交道。每個集成點都是一座冰山:OAuth流程、速率限制、格式轉(zhuǎn)換、錯誤重試、用戶權(quán)限。
他寫了一段話記錄當(dāng)時的崩潰:「我以為自己在建AI系統(tǒng),結(jié)果80%時間在處理某個API返回的奇怪時間格式。」
這個階段他建立了一條規(guī)則:任何外部調(diào)用必須包裝在統(tǒng)一的故障隔離層里。一個服務(wù)掛了,不能拖垮整個對話流;一個格式解析失敗,要降級到明文展示而不是拋異常。這些"無聊"的工程決策,后來成了系統(tǒng)能扛住真實用戶的關(guān)鍵。
05 上線前48小時,他刪了30%的功能
第45天,系統(tǒng)功能完備度已經(jīng)超標(biāo)。作者做了最后一次審計:哪些功能用戶真的需要,哪些只是"這個很酷"。
被砍掉的功能包括:多模型自動切換(復(fù)雜度爆炸)、實時聯(lián)網(wǎng)搜索(延遲不可接受)、個性化語氣調(diào)節(jié)(數(shù)據(jù)不夠)。留下的核心只有三樣:可靠的上下文管理、可驗證的輸出、無縫的現(xiàn)有工具集成。
第47天,系統(tǒng)對第一批5個真實用戶開放。沒有發(fā)布會,沒有技術(shù)博客,只有一條私信:"試試這個,壞了告訴我。"
一周后,用戶反饋里出現(xiàn)最高頻的詞是"穩(wěn)定"——在LLM應(yīng)用里,這幾乎是最高評價。
作者在最后寫道:「我沒造出一個更聰明的AI,我造的是一個AI不會搞砸事情的容器。」這句話或許解釋了為什么大多數(shù)LLM項目停在PPT里——我們過度投資在讓模型變強(qiáng),卻低估了一個事實:用戶要的不是最強(qiáng)的大腦,是最靠譜的同事。
現(xiàn)在他的系統(tǒng)還在跑,用戶漲到了多少?作者沒說。但他在文檔里留了一個待辦事項:第90天復(fù)盤,標(biāo)題是"如果重來,第幾天會放棄"。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.