信貸風(fēng)控工程師的日常,是翻遍GitHub倉庫、研究論文、內(nèi)部Wiki,只為找一個公式怎么算。某ML工程師用7天做了個AI Agent,把3個代碼倉庫的文檔塞進搜索引擎,現(xiàn)在問它"WOE分箱怎么搞",它能直接甩出GitHub鏈接。
這不是Demo。作者本職就是干這個的——建評分卡、監(jiān)控模型漂移、驗證PD/LGD/EAD模型,每天跟WOE分箱管道打交道。他發(fā)現(xiàn)Alexey Grigorev的AI Agents速成課后,沒跟默認(rèn)數(shù)據(jù)集,而是做了自己上班真能用的東西。
為什么信貸風(fēng)控特別需要這玩意兒
WOE(證據(jù)權(quán)重)、IV(信息價值)、分箱、漂移檢測——這些術(shù)語圈外人聽著像黑話,圈內(nèi)人知道是基礎(chǔ)設(shè)施。問題是文檔太碎:一個公式可能在某個倉庫的issue里,實現(xiàn)細(xì)節(jié)藏在Jupyter notebook第47個cell,最佳實踐只存在于老員工的腦子和離職交接郵件里。
作者的原話:「The documentation is scattered across GitHub repos, research papers, and internal wikis. Finding a specific formula or implementation detail means digging through notebooks manually.」翻譯成人話:找東西靠手刨。
他做的Agent干了幾件事:從3個信貸風(fēng)控GitHub倉庫拉文檔,索引進搜索引擎,用GPT-4o-mini(通過Pydantic AI框架)回答自然語言提問。每個答案帶引用鏈接,點一下直達GitHub源文件。
你可以問它:"PD模型校準(zhǔn)怎么驗證?"或者"這個WOE分箱代碼為什么報NaN?"——它會像那個你一直想請教、但已經(jīng)離職的老同事一樣回答你,只是不會不耐煩。
技術(shù)選型:為什么用Pydantic AI而不是LangChain
作者沒選最熱門的工具。Pydantic AI的核心賣點是類型安全——用Python的類型系統(tǒng)約束AI輸出,避免LLM胡編字段名。對于風(fēng)控這種"錯一個小數(shù)點可能被罰穿"的領(lǐng)域,結(jié)構(gòu)化的可靠性比花里胡哨的鏈?zhǔn)秸{(diào)用更重要。
GPT-4o-mini負(fù)責(zé)理解問題和生成回答,成本夠低、速度夠快。搜索層用了向量索引+關(guān)鍵詞混合檢索,畢竟技術(shù)文檔里代碼片段和術(shù)語的精確匹配不能全靠語義相似度。
整個流程跑通:用戶提問→檢索相關(guān)文檔片段→LLM結(jié)合上下文生成回答→附加源鏈接。7天里作者還踩了坑——GitHub API rate limit、不同倉庫的文檔格式不統(tǒng)一、代碼塊和Markdown混在一起的解析噩夢。
實際用起來什么感覺
作者舉了幾個能問的問題:WOE binning pipelines怎么實現(xiàn)、PD/LGD/EAD模型驗證要點、模型漂移監(jiān)控的常用指標(biāo)。這些原本需要打開5個標(biāo)簽頁、翻3個倉庫才能拼出的答案,現(xiàn)在變成了一段帶出處的對話。
有個細(xì)節(jié)很真實:每個回答都帶GitHub鏈接。不是"根據(jù)某篇論文",而是"這個函數(shù)在repo-A的utils.py第142行"。對于需要審計溯源的風(fēng)控場景,這比答案本身更重要——監(jiān)管問你這個結(jié)論哪來的,你能點過去給他看。
作者沒說的是,這玩意兒能不能直接扔給業(yè)務(wù)同事用。技術(shù)文檔的AI問答有個永恒難題:問得太專業(yè),LLM復(fù)述文檔;問得太模糊,它開始自信地胡說。他的解法是把檢索范圍鎖死在3個可信倉庫,用Pydantic的結(jié)構(gòu)化輸出卡住幻覺的脖子。
7天之后的思考
這個項目的價值不在技術(shù)復(fù)雜度,在場景切得準(zhǔn)。AI Agent現(xiàn)在是個熱到發(fā)燙的詞,但大多數(shù)教程停留在"用工具調(diào)用訂個披薩"。作者把它扎進了一個足夠深、足夠痛的垂直場景——信貸風(fēng)控的文檔碎片化問題。
他開源了代碼(雖然原文沒給鏈接,但提到了GitHub repos作為數(shù)據(jù)源)。對于同行來說,這比又一個通用RAG框架有用得多:你能看到怎么處理代碼+文檔混合的內(nèi)容,怎么給技術(shù)問答加引用,怎么在領(lǐng)域術(shù)語和日常語言之間做翻譯。
最后留個開放的問題:如果你的工作也有這種"知識散落在10個地方,老員工腦子占一半"的痛點,你會選擇把文檔灌進AI,還是繼續(xù)手刨——以及,你的老板愿意為"少刨3小時文檔"付多少預(yù)算?
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.