亚洲中文字幕乱码亚洲-蜜桃成熟视频在线观看-免费中文字幕视频在线-中国五十路熟妇洗澡视频-亚洲av伊人啪啪c-国产精品成人一区二区-国产自拍视频一区在线观看-成人一区不卡二区三区四区-亚洲情精品中文字幕99在线

網(wǎng)易首頁 > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

RAG退潮后,文件系統(tǒng)+grep為何能重歸主流 智能檢索的返璞歸真之路

0
分享至



過去兩年,AI行業(yè)最熱門的技術(shù)范式之一莫過于RAG。無論是初創(chuàng)公司的產(chǎn)品迭代,還是大廠的技術(shù)探索,幾乎都將RAG視為智能檢索的“標(biāo)準(zhǔn)答案”。我們沉迷于“分塊—向量化—相似度搜索”的固定流程,堅(jiān)信這是實(shí)現(xiàn)AI高效檢索的唯一路徑。但隨著實(shí)踐的不斷深入,越來越多的開發(fā)者發(fā)現(xiàn),這條看似平坦的技術(shù)道路,實(shí)則是一條狹窄的岔路。

最近,Mintlify團(tuán)隊(duì)分享的一篇《用虛擬文件系統(tǒng)替代RAG》的文章,在AI社區(qū)引發(fā)了廣泛共鳴。他們從自身的工程實(shí)踐出發(fā),講述了如何放棄傳統(tǒng)的RAG模式,用“虛擬文件系統(tǒng)+經(jīng)典命令行工具”的組合,解決了RAG帶來的一系列痛點(diǎn)。這并非否定RAG本身的價(jià)值,而是讓我們重新審視:智能檢索的核心究竟是什么?當(dāng)“向量蠻力”的熱度褪去,我們是否忽略了那些更基礎(chǔ)、更有效的技術(shù)基石?

事實(shí)上,RAG的退潮與“文件系統(tǒng)+grep”的回歸,背后是整個(gè)AI行業(yè)從“技術(shù)崇拜”到“實(shí)用主義”的理性回調(diào)。我們正在走出對(duì)單一技術(shù)的盲目迷信,開始以更系統(tǒng)、更工程化的思維,構(gòu)建真正好用的智能檢索系統(tǒng)。今天,我們就來詳細(xì)拆解這一行業(yè)變化,聊聊智能檢索返璞歸真的底層邏輯、實(shí)踐路徑與未來趨勢。

一、熱潮褪去:被神化的RAG,藏著無法回避的硬傷

要理解“文件系統(tǒng)+grep”的回歸,首先要弄清楚一個(gè)問題:曾經(jīng)風(fēng)靡一時(shí)的RAG,到底出了什么問題?

RAG的全稱是“檢索增強(qiáng)生成”,核心邏輯聽起來十分完美:將海量文檔打碎成細(xì)小的文本塊,用AI模型計(jì)算每個(gè)文本塊的向量嵌入,存入Chroma等向量數(shù)據(jù)庫;當(dāng)用戶提出問題時(shí),將問題也轉(zhuǎn)換成向量,在數(shù)據(jù)庫中搜索語義最相似的K個(gè)文本塊,再將這些文本塊與問題一起喂給大語言模型,最終生成答案。

這種模式在初期的demo演示中表現(xiàn)驚艷,無論是問答機(jī)器人、文檔助手還是知識(shí)庫檢索,都能快速給出看似精準(zhǔn)的回答。也正因?yàn)槿绱耍琑AG被迅速神化,成為了“智能檢索”的代名詞。但當(dāng)它被應(yīng)用到真實(shí)的生產(chǎn)環(huán)境中,尤其是面對(duì)復(fù)雜的文檔結(jié)構(gòu)、精確的檢索需求時(shí),一系列硬傷便暴露無遺。

1.1 認(rèn)知誤區(qū):把“檢索”等同于“向量搜索”

RAG的核心問題,首先出在認(rèn)知層面。我們錯(cuò)誤地將“檢索(Retrieval)”這個(gè)廣義概念,等同于“向量搜索”這一具體實(shí)現(xiàn),陷入了典型的“技術(shù)錘子”思維,手里拿著向量這把新錘子,看所有問題都像是釘子。

實(shí)際上,檢索是一個(gè)極其寬泛的概念,它可以是向量搜索,也可以是關(guān)鍵詞搜索、數(shù)據(jù)庫查詢、圖遍歷,當(dāng)然也可以是我們熟悉的grep。但在過去幾年,隨著LLM的興起,搜索領(lǐng)域的主流研究恰好聚焦在基于向量的問答系統(tǒng)上,于是“向量數(shù)據(jù)庫+文本分塊”的架構(gòu)被打包命名為RAG,在資本和媒體的炒作下,逐漸成為了行業(yè)內(nèi)“唯一正確”的范式。

這種認(rèn)知上的懶惰和路徑依賴,讓我們忽略了檢索的本質(zhì),找到用戶需要的信息,而不是“用向量找到相似的文本塊”。當(dāng)用戶的需求超出向量搜索的能力范圍時(shí),整個(gè)系統(tǒng)就會(huì)陷入癱瘓。

1.2 結(jié)構(gòu)丟失:扁平化分塊,摧毀了最有價(jià)值的上下文

文檔、代碼庫、知識(shí)庫本身,都具有強(qiáng)大的內(nèi)在結(jié)構(gòu)。目錄、章節(jié)、文件路徑、模塊依賴,這些都不是無意義的裝飾,而是人類專家精心組織的知識(shí)圖譜,蘊(yùn)含著豐富的語義關(guān)系,比如“包含”“依賴”“順序”等。

但傳統(tǒng)RAG的核心操作,將文檔機(jī)械地打碎成固定大小的文本塊,恰恰是一種信息熵增的過程。它將原本結(jié)構(gòu)化的知識(shí)扁平化、碎片化,變成一堆無差別的文本片段,再用向量來表示。為了追求所謂的“語義相似”,我們親手摧毀了最有價(jià)值的上下文結(jié)構(gòu)。

舉個(gè)簡單的例子:一份技術(shù)文檔,分為“基礎(chǔ)配置”“核心功能”“常見問題”三個(gè)章節(jié),每個(gè)章節(jié)下又有細(xì)分的小節(jié)。傳統(tǒng)RAG會(huì)將這份文檔切成幾十個(gè)甚至上百個(gè)文本塊,這些文本塊失去了章節(jié)的歸屬關(guān)系,彼此孤立。當(dāng)用戶想了解“核心功能的配置方法”時(shí),向量搜索可能會(huì)返回來自“基礎(chǔ)配置”章節(jié)的相似文本塊,導(dǎo)致回答偏離重點(diǎn);如果答案分散在多個(gè)章節(jié)的不同文本塊中,而這些文本塊沒有進(jìn)入相似度排名前K的結(jié)果,系統(tǒng)就會(huì)直接失靈。

對(duì)于開發(fā)者來說,這種結(jié)構(gòu)的丟失更是致命的。代碼庫的模塊劃分、函數(shù)依賴、文件路徑,都是開發(fā)者理解代碼的關(guān)鍵。將代碼文件打碎成文本塊,不僅會(huì)破壞代碼的語法結(jié)構(gòu),還會(huì)丟失模塊之間的關(guān)聯(lián)關(guān)系,讓AI無法理解代碼的邏輯全貌。

1.3 精確性缺失:向量搜索,搞不定“精準(zhǔn)匹配”的需求

向量搜索的優(yōu)勢在于處理模糊和開放性的查詢,能找到“意思差不多”的內(nèi)容。但在很多實(shí)際場景中,用戶需要的是精確匹配,比如查找一個(gè)特定的函數(shù)名、一個(gè)配置項(xiàng)、一段錯(cuò)誤代碼,或者一句精確的文檔描述。這時(shí),向量相似度就顯得力不從心了。

舉個(gè)場景:開發(fā)者想查找代碼中“getUserInfo”這個(gè)函數(shù)的具體實(shí)現(xiàn),傳統(tǒng)RAG的向量搜索可能會(huì)返回“getUser”“getUserDetail”等功能類似但名字不同的函數(shù),或者因?yàn)楣蚕砹恕皍ser”這個(gè)關(guān)鍵詞,拉取一堆不相干的代碼片段。這對(duì)于需要精準(zhǔn)定位代碼的開發(fā)者來說,無疑是一場災(zāi)難。

而在這種場景下,grep的價(jià)值遠(yuǎn)勝于任何花哨的向量算法。grep作為一個(gè)誕生了半個(gè)多世紀(jì)的命令行工具,能夠快速、精準(zhǔn)地在文件中搜索指定的字符串或正則表達(dá)式,不遺漏任何一個(gè)匹配項(xiàng),也不會(huì)返回?zé)o關(guān)的內(nèi)容。這種精確性,正是向量搜索目前無法替代的。

1.4 成本高昂:復(fù)雜架構(gòu),拖慢體驗(yàn)還增加負(fù)擔(dān)

除了功能上的硬傷,傳統(tǒng)RAG的工程實(shí)現(xiàn)也存在諸多問題,其中最突出的就是成本高、延遲高。

一個(gè)完整的生產(chǎn)級(jí)RAG流水線,需要涉及文檔提取、分塊、嵌入模型、向量數(shù)據(jù)庫、檢索與重排序等多個(gè)環(huán)節(jié),每個(gè)環(huán)節(jié)都需要投入大量的開發(fā)和維護(hù)成本。更重要的是,為了保證檢索效果,很多團(tuán)隊(duì)會(huì)采用“沙箱模式”,給AI Agent一個(gè)真實(shí)的沙箱環(huán)境,克隆一份文檔代碼庫進(jìn)去,讓它自己操作。

但這種模式在工程上是不可行的。Mintlify團(tuán)隊(duì)的實(shí)踐顯示,僅僅是啟動(dòng)一個(gè)沙箱、克隆倉庫并完成準(zhǔn)備工作,耗時(shí)就高達(dá)46秒。對(duì)于需要即時(shí)響應(yīng)的前端助手來說,用戶早就等不及了。更不用提成本,他們估算,每月85萬次對(duì)話,每年將產(chǎn)生超過7萬美元的基礎(chǔ)設(shè)施費(fèi)用。

這種“高成本、低體驗(yàn)”的困境,讓很多團(tuán)隊(duì)開始反思:我們是不是把簡單的問題復(fù)雜化了?有沒有更簡潔、更高效的解決方案?

二、破局之路:Mintlify的實(shí)踐,用虛擬文件系統(tǒng)替代RAG

面對(duì)傳統(tǒng)RAG的諸多痛點(diǎn),Mintlify團(tuán)隊(duì)沒有繼續(xù)在“優(yōu)化分塊策略”“提升嵌入模型精度”的死胡同里打轉(zhuǎn),而是選擇了一條返璞歸真的道路:用虛擬文件系統(tǒng)替代傳統(tǒng)的RAG架構(gòu),讓AI像人類開發(fā)者一樣,通過shell命令探索文檔。

他們的核心思路很簡單:AI Agent并不需要一個(gè)真實(shí)的物理文件系統(tǒng),它只需要一個(gè)看起來像文件系統(tǒng)的“接口”。這個(gè)接口能夠攔截Agent發(fā)出的類UNIX命令,比如ls、cat、grep、find、cd,然后將這些命令動(dòng)態(tài)翻譯成對(duì)底層向量數(shù)據(jù)庫的查詢。在此基礎(chǔ)上,他們開發(fā)出了ChromaFs,一個(gè)基于現(xiàn)有Chroma向量數(shù)據(jù)庫的虛擬文件系統(tǒng)。

這個(gè)方案不僅解決了傳統(tǒng)RAG的所有痛點(diǎn),還實(shí)現(xiàn)了“低延遲、零成本、高精準(zhǔn)”的目標(biāo),成為了智能檢索返璞歸真的典型實(shí)踐。下面,我們就來詳細(xì)拆解ChromaFs的架構(gòu)和工作原理。

2.1 架構(gòu)核心:復(fù)用現(xiàn)有資源,構(gòu)建虛擬接口

ChromaFs的最大亮點(diǎn),在于它沒有拋棄已經(jīng)建好的Chroma向量數(shù)據(jù)庫,而是在它之上構(gòu)建了一個(gè)虛擬文件系統(tǒng)層。這種“復(fù)用現(xiàn)有資源”的思路,不僅降低了開發(fā)成本,還實(shí)現(xiàn)了邊際計(jì)算成本幾乎為零的目標(biāo)。

具體來說,ChromaFs基于Vercel Labs的一個(gè)TypeScript實(shí)現(xiàn)的bash解釋器,just-bash。這個(gè)庫提供了一個(gè)可插拔的文件系統(tǒng)接口IFileSystem,Mintlify團(tuán)隊(duì)所要做的,就是實(shí)現(xiàn)這個(gè)接口,把文件操作映射到數(shù)據(jù)庫操作上。

just-bash負(fù)責(zé)處理所有命令的解析、管道和標(biāo)志邏輯,比如識(shí)別grep的-r(遞歸搜索)、-i(忽略大小寫)等參數(shù);而ChromaFs則負(fù)責(zé)將每個(gè)底層文件系統(tǒng)調(diào)用,翻譯成對(duì)Chroma數(shù)據(jù)庫的查詢。這樣一來,AI Agent發(fā)出的每一個(gè)shell命令,最終都會(huì)轉(zhuǎn)化為對(duì)向量數(shù)據(jù)庫的操作,既保留了shell命令的精準(zhǔn)性和靈活性,又利用了向量數(shù)據(jù)庫的高效檢索能力。

2.2 工作原理:四大核心環(huán)節(jié),實(shí)現(xiàn)高效檢索

ChromaFs的工作流程主要分為四個(gè)核心環(huán)節(jié),每個(gè)環(huán)節(jié)都針對(duì)傳統(tǒng)RAG的痛點(diǎn)進(jìn)行了優(yōu)化,確保了檢索的高效性、精準(zhǔn)性和低延遲。

(1)引導(dǎo)目錄樹:內(nèi)存中構(gòu)建結(jié)構(gòu),消除網(wǎng)絡(luò)開銷

傳統(tǒng)RAG的一大問題,是丟失了文檔的目錄結(jié)構(gòu)。而ChromaFs的第一步,就是重新構(gòu)建目錄結(jié)構(gòu),并將其緩存到內(nèi)存中,徹底消除目錄操作的網(wǎng)絡(luò)開銷。

系統(tǒng)啟動(dòng)時(shí),會(huì)從Chroma數(shù)據(jù)庫中取出一個(gè)預(yù)先存儲(chǔ)的、代表整個(gè)文檔目錄結(jié)構(gòu)的gzipped JSON文件。這個(gè)文件包含了所有文件的路徑、訪問權(quán)限等信息,示例如下:

{"auth/oauth": { "isPublic": true, "groups": [] },"auth/api-keys": { "isPublic": true, "groups": [] },"internal/billing": { "isPublic": false, "groups": ["admin", "billing"] },"api-reference/endpoints/users": { "isPublic": true, "groups": [] }

服務(wù)器獲取這個(gè)文件后,會(huì)在內(nèi)存中迅速解壓,并構(gòu)建兩個(gè)核心數(shù)據(jù)結(jié)構(gòu):一個(gè)是文件路徑集合(Set),用于快速判斷某個(gè)文件是否存在;另一個(gè)是目錄到子項(xiàng)的映射(Map),用于快速返回目錄下的所有文件和子目錄。

這樣一來,ls、cd、find這類不涉及文件內(nèi)容的命令,就可以完全在內(nèi)存中完成,不需要任何網(wǎng)絡(luò)調(diào)用。這一優(yōu)化,將會(huì)話創(chuàng)建時(shí)間從原來的46秒,直接降到了100毫秒,實(shí)現(xiàn)了即時(shí)響應(yīng)。

更重要的是,這個(gè)目錄樹會(huì)被緩存起來,同一站點(diǎn)的后續(xù)會(huì)話可以完全跳過Chroma數(shù)據(jù)庫的獲取操作,進(jìn)一步提升了響應(yīng)速度。

(2)訪問控制:簡單高效,實(shí)現(xiàn)精細(xì)化權(quán)限管理

在真實(shí)的生產(chǎn)環(huán)境中,文檔的訪問權(quán)限管理是一個(gè)重要的需求。比如,普通用戶不能訪問內(nèi)部的賬單文檔,賬單團(tuán)隊(duì)不能訪問管理員的審計(jì)日志。傳統(tǒng)的沙箱模式,要實(shí)現(xiàn)這種精細(xì)化的訪問控制,需要管理Linux用戶組、chmod權(quán)限,或?yàn)槊總€(gè)客戶層級(jí)維護(hù)隔離的容器鏡像,不僅復(fù)雜,還會(huì)增加成本。

而ChromaFs的訪問控制,簡單到只需要幾行過濾代碼。在構(gòu)建內(nèi)存目錄樹之前,ChromaFs會(huì)使用當(dāng)前用戶的會(huì)話令牌,根據(jù)目錄樹中的isPublic和groups字段,修剪掉用戶無權(quán)訪問的路徑。如果用戶沒有訪問某個(gè)文件的權(quán)限,該文件將完全從目錄樹中排除,AI Agent甚至無法知道這個(gè)文件的存在。

我們可以通過一個(gè)示例訪問控制矩陣,更直觀地理解這種權(quán)限管理方式:

路徑

訪問權(quán)限

普通用戶可見

賬單團(tuán)隊(duì)可見

管理員可見

/auth/oauth.mdx

public

/auth/api-keys.mdx

public

/internal/billing.mdx

admin, billing

/internal/audit-log.mdx

admin

/api-reference/users.mdx

public

/api-reference/payments.mdx

billing

這種權(quán)限管理方式,不僅簡單高效,還無需額外的基礎(chǔ)設(shè)施支持,完美適配了生產(chǎn)環(huán)境的需求。

(3)從分塊重組頁面:還原完整文檔,避免信息碎片化

傳統(tǒng)RAG將文檔分塊后,無法還原文檔的完整結(jié)構(gòu),導(dǎo)致AI無法獲取完整的上下文。而ChromaFs則解決了這個(gè)問題,當(dāng)AI Agent執(zhí)行cat /auth/oauth\.mdx這樣的命令時(shí),ChromaFs會(huì)去數(shù)據(jù)庫里查詢所有屬于這個(gè)文件路徑的文本塊,然后按照chunk_index的順序拼接起來,還原成完整的文檔。

更貼心的是,還原后的文檔會(huì)被緩存起來,后續(xù)如果AI Agent再次讀取這個(gè)文件,或者在grep工作流中需要重復(fù)讀取,就不需要再次訪問數(shù)據(jù)庫,進(jìn)一步提升了響應(yīng)速度。

此外,ChromaFs還支持延遲文件指針。對(duì)于存儲(chǔ)在客戶S3桶中的大型OpenAPI規(guī)范等文件,ChromaFs不會(huì)提前將其全部導(dǎo)入數(shù)據(jù)庫,而是為其注冊(cè)一個(gè)延遲文件指針。AI Agent在執(zhí)行l(wèi)s命令時(shí),能看到這個(gè)文件的存在,但只有在執(zhí)行cat命令時(shí),才會(huì)去S3桶中獲取文件內(nèi)容。這種方式,既節(jié)省了數(shù)據(jù)庫空間,又避免了不必要的資源消耗。

同時(shí),ChromaFs是一個(gè)只讀文件系統(tǒng),所有寫操作都會(huì)拋出EROFS(只讀文件系統(tǒng))錯(cuò)誤。這意味著AI Agent可以自由探索文檔,但永遠(yuǎn)不能修改文檔,這讓系統(tǒng)變得無狀態(tài),無需進(jìn)行會(huì)話清理,也不會(huì)出現(xiàn)一個(gè)Agent破壞另一個(gè)Agent視圖的風(fēng)險(xiǎn)。

(4)優(yōu)化Grep:兩階段過濾,實(shí)現(xiàn)精準(zhǔn)高效搜索

grep是ChromaFs中最核心的命令之一,也是解決傳統(tǒng)RAG精確性不足的關(guān)鍵。但如果粗暴地把每個(gè)文件都通過網(wǎng)絡(luò)拉到本地再執(zhí)行g(shù)rep,性能會(huì)極差。為此,Mintlify團(tuán)隊(duì)設(shè)計(jì)了“兩階段過濾”策略,讓grep既能保證精準(zhǔn)性,又能保證高效性。

我們以grep -ri "access_token"這個(gè)命令為例,來看看ChromaFs是如何優(yōu)化的:

第一階段:粗過濾(Chroma數(shù)據(jù)庫層面)。ChromaFs會(huì)將grep的查詢字符串或正則表達(dá)式,翻譯成Chroma的元數(shù)據(jù)查詢(contains用于固定字符串,contains用于固定字符串,regex用于模式)。通過這種方式,在數(shù)據(jù)庫層面進(jìn)行一次粗篩,快速找出可能包含匹配內(nèi)容的文件列表。比如,執(zhí)行上述命令后,數(shù)據(jù)庫會(huì)快速返回6個(gè)可能包含“access_token”的文件:/auth/oauth.mdx、/auth/api-keys.mdx、/api-reference/users.mdx、/api-reference/payments.mdx、/guides/quickstart.mdx、/guides/webhooks.mdx。

第二階段:細(xì)過濾(內(nèi)存層面)。ChromaFs會(huì)將這些匹配文件的相關(guān)文本塊,批量預(yù)取到Redis緩存中,然后將grep命令重寫為只針對(duì)這些匹配的文件,交給just-bash在內(nèi)存中進(jìn)行精篩。這樣一來,原本可能耗時(shí)巨大的全量網(wǎng)絡(luò)掃描,就變成了一個(gè)高效的數(shù)據(jù)庫索引查詢加一次性的內(nèi)存操作,大型遞歸查詢也能在毫秒內(nèi)完成。

最終,grep會(huì)返回精準(zhǔn)的匹配結(jié)果,比如:

/auth/oauth.mdx: “Use the access_token from the OAuth flow to authenticate API requests.”/api-reference/users.mdx: “The GET /users endpoint returns a list of users. Requires access_token in the Authorization header.”/guides/quickstart.mdx: “Get started by generating an access_token using the OAuth guide.”

這種兩階段過濾的策略,既發(fā)揮了Chroma數(shù)據(jù)庫的高效檢索能力,又保留了grep的精準(zhǔn)性,完美解決了傳統(tǒng)RAG精確性不足的問題。

2.3 實(shí)踐成果:低延遲、零成本,支撐大規(guī)模應(yīng)用

ChromaFs的實(shí)踐效果十分顯著。目前,它已經(jīng)為數(shù)百萬用戶、每天3萬多次對(duì)話的文檔助手提供支持。通過用基于現(xiàn)有Chroma數(shù)據(jù)庫的虛擬文件系統(tǒng)替代沙箱,Mintlify團(tuán)隊(duì)實(shí)現(xiàn)了三大核心成果:

一是即時(shí)會(huì)話創(chuàng)建,會(huì)話啟動(dòng)時(shí)間從46秒降至100毫秒,大幅提升了用戶體驗(yàn);二是零邊際計(jì)算成本,由于復(fù)用了現(xiàn)有的數(shù)據(jù)庫基礎(chǔ)設(shè)施,每一次對(duì)話的額外計(jì)算成本幾乎為零,每年可節(jié)省超過7萬美元的基礎(chǔ)設(shè)施費(fèi)用;三是內(nèi)置RBAC(基于角色的訪問控制),無需任何新基礎(chǔ)設(shè)施,就能實(shí)現(xiàn)精細(xì)化的權(quán)限管理。

更重要的是,ChromaFs讓AI Agent的智能得以在探索和推理上發(fā)揮,而不是浪費(fèi)在猜測“哪個(gè)向量最相關(guān)”上。AI Agent可以像經(jīng)驗(yàn)豐富的開發(fā)者那樣,用ls查看目錄結(jié)構(gòu),用find尋找文件,用grep搜索關(guān)鍵詞,用cat閱讀完整文件,自主地、多步驟地探索文檔,找到用戶需要的信息。

三、深度思考:智能檢索的返璞歸真,我們重新發(fā)現(xiàn)了什么?

Mintlify的實(shí)踐之所以能在社區(qū)引發(fā)廣泛共鳴,不僅僅是因?yàn)樗鉀Q了傳統(tǒng)RAG的痛點(diǎn),更因?yàn)樗|及了一個(gè)更深層次的行業(yè)趨勢:我們正從對(duì)AI的盲目崇拜,回歸到對(duì)信息科學(xué)和軟件工程基本原則的尊重。在這場返璞歸真的浪潮中,我們重新發(fā)現(xiàn)了那些被忽略的技術(shù)基石的價(jià)值。

3.1 重新發(fā)現(xiàn)“文件結(jié)構(gòu)”的價(jià)值:最古老的抽象,最堅(jiān)固的基石

文件系統(tǒng)誕生于半個(gè)多世紀(jì)前,是計(jì)算機(jī)科學(xué)中最古老的抽象之一。但在AI熱潮中,我們卻幾乎忘記了它的價(jià)值,目錄層級(jí)本身,就是一個(gè)由人類精心構(gòu)建的知識(shí)圖譜。

無論是文件系統(tǒng)的目錄結(jié)構(gòu)、代碼庫的模塊劃分、數(shù)據(jù)庫的表結(jié)構(gòu),還是圖書的章節(jié)目錄,這些都是領(lǐng)域?qū)<液馁M(fèi)心血提煉出的知識(shí)體系。它本身就蘊(yùn)含了豐富的語義關(guān)系,能夠幫助我們快速理解信息的組織邏輯,找到所需的內(nèi)容。

而LLM的預(yù)訓(xùn)練數(shù)據(jù)中,包含了海量的代碼、文檔和shell操作記錄,這使得它對(duì)這種結(jié)構(gòu)化信息的理解能力遠(yuǎn)超我們的想象。當(dāng)我們給AI Agent提供一個(gè)虛擬文件系統(tǒng)接口,讓它通過shell命令探索文檔時(shí),它就能利用自身對(duì)結(jié)構(gòu)化信息的理解,像人類一樣高效地獲取信息。

這也讓我們意識(shí)到:與其投入大量資源去優(yōu)化向量模型的微小指標(biāo),不如花更多時(shí)間去設(shè)計(jì)和維護(hù)一個(gè)結(jié)構(gòu)良好、邏輯清晰的知識(shí)庫。一個(gè)好的目錄結(jié)構(gòu)、一套規(guī)范的命名約定,其價(jià)值可能遠(yuǎn)超一個(gè)更先進(jìn)的嵌入模型。

3.2 厘清RAG的真正含義:檢索不是向量搜索,而是“找到信息”

這場返璞歸真的浪潮,也讓我們重新厘清了RAG的真正含義。RAG中的“R”代表“Retrieval”(檢索),而檢索的核心目的,是找到用戶需要的信息,而不是“用向量找到相似的文本塊”。

過去幾年,行業(yè)內(nèi)幾乎將RAG與“向量數(shù)據(jù)庫+文本分塊”畫上了等號(hào),這其實(shí)是一種偶然。它源于LLM興起時(shí),搜索領(lǐng)域的主流研究恰好聚焦在基于向量的問答系統(tǒng)上,于是這個(gè)特定的架構(gòu)被打包命名,并成為了行業(yè)的“標(biāo)準(zhǔn)答案”。

但實(shí)際上,RAG的檢索模塊可以是多種工具的組合。向量搜索依然是處理語義模糊性的一把好手,適合處理“意思差不多”的模糊查詢;而grep、ElasticSearch的BM25算法等關(guān)鍵詞搜索工具,適合處理精確匹配的需求;SQL接口適合處理結(jié)構(gòu)化數(shù)據(jù)的查詢;圖數(shù)據(jù)庫適合處理關(guān)系探索的需求。

未來的智能檢索系統(tǒng),不會(huì)是單一的向量數(shù)據(jù)庫,而是一個(gè)融合了多種檢索工具的“瑞士軍刀”。AI Agent將根據(jù)任務(wù)需求,智能地選擇和組合使用這些工具,實(shí)現(xiàn)更高效、更精準(zhǔn)的檢索。

3.3 確認(rèn)Agentic Workflow:從“單次問答”到“持續(xù)探索”的轉(zhuǎn)變

傳統(tǒng)的RAG是一個(gè)線性的、單向的流水線:Query -> Retrieve -> Augment -> Generate。這個(gè)過程是剛性的,缺乏反饋和迭代,AI只能被動(dòng)地根據(jù)用戶的查詢,返回一次檢索結(jié)果,無法自主探索更多相關(guān)信息。

而Mintlify的方案,則是一種Agentic Workflow(智能體式工作流):AI Agent擁有一個(gè)工具集(ls、grep、cat等),它可以根據(jù)任務(wù)目標(biāo),自主地、多步驟地與環(huán)境(虛擬文件系統(tǒng))交互,觀察結(jié)果,并根據(jù)觀察調(diào)整下一步行動(dòng)。

這是一個(gè)從“單次問答”到“持續(xù)探索”的根本轉(zhuǎn)變。AI Agent從一個(gè)被動(dòng)的信息消費(fèi)者,變成了一個(gè)主動(dòng)的信息發(fā)現(xiàn)者。它可以在探索過程中進(jìn)行推理、規(guī)劃和糾錯(cuò),比如當(dāng)用grep沒有找到目標(biāo)信息時(shí),它可以用find命令擴(kuò)大搜索范圍;當(dāng)找到的信息不完整時(shí),它可以用cat命令閱讀完整文檔,補(bǔ)充上下文。

這種閉環(huán)的、自我引導(dǎo)的搜索循環(huán),其能力是傳統(tǒng)RAG中那些“重排(reranking)”等優(yōu)化手段的超集。它讓AI能夠處理更復(fù)雜的檢索需求,給出更精準(zhǔn)、更完整的回答。

四、未來趨勢:從“喂養(yǎng)”到“賦能”,AI協(xié)作模式的根本性轉(zhuǎn)變

Mintlify的實(shí)踐,不僅為智能檢索提供了一種新的解決方案,更預(yù)示著我們與AI協(xié)作的模式,正在發(fā)生根本性的轉(zhuǎn)變:從被動(dòng)地為LLM“喂養(yǎng)”經(jīng)過預(yù)處理的上下文,轉(zhuǎn)向主動(dòng)地為AI Agent“賦能”,賦予其探索和操作信息環(huán)境的能力。

4.1 RAG 1.0:“喂養(yǎng)”模式的天花板

我們可以將傳統(tǒng)的RAG模式稱為“RAG 1.0”,其核心是“喂養(yǎng)”模式。在這種模式下,我們假設(shè)LLM是一個(gè)需要精心呵護(hù)的嬰兒,必須把知識(shí)嚼碎了(分塊、向量化)才能喂給它。

這種模式下,人的工作重點(diǎn)在于優(yōu)化“嚼碎”和“喂養(yǎng)”的過程,比如研究更好的分塊策略、更強(qiáng)的嵌入模型、更快的向量檢索。但這種模式的天花板是顯而易見的:信息在預(yù)處理階段已經(jīng)失真,結(jié)構(gòu)被破壞,精確性被犧牲,無論如何優(yōu)化分塊和嵌入模型,都無法從根本上解決這些問題。

就像我們給嬰兒喂飯,無論把飯嚼得多么碎,都無法讓嬰兒學(xué)會(huì)自己吃飯。同樣,無論我們把文檔分塊得多么合理、向量嵌入得多么精準(zhǔn),都無法讓AI學(xué)會(huì)自主探索信息。

4.2 Agentic Workflow:“賦能”模式的核心價(jià)值

而“賦能”模式的核心,是Agentic Workflow。在這種模式下,我們視LLM為一個(gè)聰明的、有行動(dòng)能力的代理。我們的工作重點(diǎn),不再是預(yù)處理數(shù)據(jù)本身,而是為這個(gè)代理設(shè)計(jì)和提供強(qiáng)大、穩(wěn)定、易于理解的工具和接口。虛擬文件系統(tǒng),就是這樣一個(gè)完美的接口。

這種模式的價(jià)值,主要體現(xiàn)在三個(gè)方面:

一是提升系統(tǒng)的穩(wěn)健性和可解釋性。每一步操作都是明確和可追溯的,我們更容易調(diào)試和理解系統(tǒng)的行為,而不是面對(duì)一個(gè)難以解釋的“最相似向量”列表束手無策。比如,AI Agent用grep找到某個(gè)結(jié)果,我們可以清晰地看到它的搜索過程和匹配邏輯,一旦出現(xiàn)問題,能夠快速定位并解決。

二是降低開發(fā)和維護(hù)成本。通過復(fù)用現(xiàn)有的基礎(chǔ)設(shè)施和工具,不需要構(gòu)建復(fù)雜的RAG流水線,就能實(shí)現(xiàn)高效的智能檢索。比如ChromaFs,復(fù)用了現(xiàn)有的Chroma數(shù)據(jù)庫,無需額外投入大量資源,就實(shí)現(xiàn)了低延遲、高精準(zhǔn)的檢索功能。

三是拓展智能檢索的應(yīng)用場景。Agentic Workflow讓AI能夠處理更復(fù)雜的檢索需求,比如跨文檔的信息整合、精確的代碼檢索、精細(xì)化的文檔探索等。這些場景,都是傳統(tǒng)RAG難以覆蓋的。

4.3 未來展望:多工具融合,構(gòu)建更強(qiáng)大的AI系統(tǒng)

未來成功的AI應(yīng)用,其檢索模塊必然是多工具融合的。向量搜索依然會(huì)發(fā)揮重要作用,用于處理語義模糊的查詢;grep、ElasticSearch等關(guān)鍵詞搜索工具,用于處理精確匹配的需求;SQL接口用于結(jié)構(gòu)化數(shù)據(jù)查詢;圖數(shù)據(jù)庫用于關(guān)系探索。AI Agent將根據(jù)任務(wù)需求,智能地選擇和組合使用這些工具,實(shí)現(xiàn)“按需檢索”。

同時(shí),信息架構(gòu)(Information Architecture)這一經(jīng)典領(lǐng)域,將會(huì)重新受到重視。一個(gè)結(jié)構(gòu)良好、邏輯清晰的知識(shí)庫,將成為AI高效檢索的基礎(chǔ)。我們會(huì)花更多的時(shí)間去設(shè)計(jì)目錄結(jié)構(gòu)、規(guī)范命名約定、梳理知識(shí)關(guān)聯(lián),而不是一味地追求更先進(jìn)的嵌入模型。

此外,虛擬文件系統(tǒng)這種“模擬真實(shí)環(huán)境”的思路,也會(huì)被應(yīng)用到更多場景中。比如,在代碼輔助工具中,AI Agent可以通過虛擬文件系統(tǒng)探索代碼庫,自主查找函數(shù)、調(diào)試錯(cuò)誤;在文檔管理系統(tǒng)中,AI Agent可以通過虛擬文件系統(tǒng),快速定位和整合分散在多個(gè)文檔中的信息。

五、結(jié)語:技術(shù)浪潮褪去,基石價(jià)值永存

Mintlify的故事,并不是一個(gè)關(guān)于“殺死”RAG或向量搜索的故事,而是一個(gè)關(guān)于“回歸”和“成熟”的故事。它標(biāo)志著我們正在走出對(duì)單一技術(shù)的盲目迷信,開始以一種更系統(tǒng)、更工程化的思維來構(gòu)建AI應(yīng)用。

過去兩年,我們沉迷于“向量蠻力”,以為只要不斷優(yōu)化分塊策略、提升嵌入模型的精度,就能解決所有檢索問題。但實(shí)踐告訴我們,智能檢索的核心,從來不是“用什么技術(shù)”,而是“如何高效、精準(zhǔn)地找到用戶需要的信息”。

當(dāng)技術(shù)浪潮褪去后,被重新發(fā)現(xiàn)的往往是那些最古老、最堅(jiān)固的基石。文件系統(tǒng),這個(gè)誕生于半個(gè)多世紀(jì)前的古老抽象,在AI時(shí)代以一種意想不到的方式,再次證明了其價(jià)值。grep、ls、find這些經(jīng)典的命令行工具,也在AI Agent的手中,煥發(fā)了新的生機(jī)。

RAG退潮,不是智能檢索的倒退,而是一種理性的回歸。它讓我們明白,AI的強(qiáng)大,不在于我們給它喂了多少“嚼碎的知識(shí)”,而在于我們賦予它多少“探索的能力”。

未來,隨著Agentic Workflow的不斷成熟,隨著多工具融合的檢索系統(tǒng)的普及,智能檢索將會(huì)變得更加高效、精準(zhǔn)、可解釋。而那些被我們忽略的技術(shù)基石,也將在AI時(shí)代,繼續(xù)發(fā)揮其不可替代的作用。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
潘石屹兩次蛐蛐許家印

潘石屹兩次蛐蛐許家印

哲空空
2026-04-19 11:07:10
為什么說印度的海岸線,遠(yuǎn)看是老天爺賞飯,近看是逗你玩兒?

為什么說印度的海岸線,遠(yuǎn)看是老天爺賞飯,近看是逗你玩兒?

半解智士
2026-04-16 17:10:39
一戰(zhàn)造10紀(jì)錄比肩霍里!肯納德3分歷史最準(zhǔn) 雷迪克:他侵略性十足

一戰(zhàn)造10紀(jì)錄比肩霍里!肯納德3分歷史最準(zhǔn) 雷迪克:他侵略性十足

顏小白的籃球夢
2026-04-20 07:03:50
血管要有事,眼睛先報(bào)警,出現(xiàn)幾種信號(hào),再拖就是腦梗、失明了

血管要有事,眼睛先報(bào)警,出現(xiàn)幾種信號(hào),再拖就是腦梗、失明了

芹姐說生活
2026-04-17 14:28:16
博士生過剩,高校裝不下了

博士生過剩,高校裝不下了

麥可思研究
2026-04-19 17:10:25
納帥:為格納布里難過,在國家隊(duì)層面我們所有人都會(huì)支持他

納帥:為格納布里難過,在國家隊(duì)層面我們所有人都會(huì)支持他

懂球帝
2026-04-19 19:55:57
NBA年度最佳第六人最終候選:哈達(dá)威、哈克斯、凱爾登-約翰遜

NBA年度最佳第六人最終候選:哈達(dá)威、哈克斯、凱爾登-約翰遜

懂球帝
2026-04-20 06:45:04
雷霆119-84戰(zhàn)勝太陽,一戰(zhàn)讓人看清以下三位球員!

雷霆119-84戰(zhàn)勝太陽,一戰(zhàn)讓人看清以下三位球員!

君子一劍似水流年
2026-04-20 06:34:30
直至陳瑤沖上熱搜,才知為何她人美戲好卻始終不火,吳鎮(zhèn)宇說對(duì)了

直至陳瑤沖上熱搜,才知為何她人美戲好卻始終不火,吳鎮(zhèn)宇說對(duì)了

劇芒芒
2026-04-17 15:13:34
我敢說,大部分會(huì)跟我一樣,選擇黑色衣服那個(gè)女孩!

我敢說,大部分會(huì)跟我一樣,選擇黑色衣服那個(gè)女孩!

草莓解說體育
2026-04-12 17:05:01
剛剛!集體下跌

剛剛!集體下跌

中國基金報(bào)
2026-04-19 19:32:16
豪擲120億!巴鐵要買40架殲-35A?背后金主發(fā)力,巴媒:碾壓印度10年

豪擲120億!巴鐵要買40架殲-35A?背后金主發(fā)力,巴媒:碾壓印度10年

健身狂人
2026-04-19 20:02:22
G1輸球不可怕!可怕的是火箭主帥烏度卡賽后這番話,習(xí)慣性甩鍋!

G1輸球不可怕!可怕的是火箭主帥烏度卡賽后這番話,習(xí)慣性甩鍋!

田先生籃球
2026-04-19 15:17:44
賠光2億后,冉瑩穎獨(dú)自搬家30箱未給鄒市明留體面

賠光2億后,冉瑩穎獨(dú)自搬家30箱未給鄒市明留體面

春之韻
2026-03-18 09:32:52
4.20股市早8點(diǎn)丨“大消息”說來就來

4.20股市早8點(diǎn)丨“大消息”說來就來

沙黽農(nóng)
2026-04-20 06:21:13
1947年,孫殿英被解放軍活捉,劉伯承:此人不可殺,他對(duì)我們有恩

1947年,孫殿英被解放軍活捉,劉伯承:此人不可殺,他對(duì)我們有恩

老謝談史
2026-04-20 07:39:10
悲催!一92歲奶奶輕生,只因深信“壽命太長,會(huì)折了后人的壽”

悲催!一92歲奶奶輕生,只因深信“壽命太長,會(huì)折了后人的壽”

火山詩話
2026-04-19 07:34:33
連入三球,吉布斯-懷特職業(yè)生涯首次上演帽子戲法

連入三球,吉布斯-懷特職業(yè)生涯首次上演帽子戲法

懂球帝
2026-04-19 22:47:08
別再只看中超豪門了!重慶銅梁龍的崛起,藏著中國足球的真正出路

別再只看中超豪門了!重慶銅梁龍的崛起,藏著中國足球的真正出路

圣西羅的太陽
2026-04-19 07:42:38
重慶撒潑“毒母女”一夜全國出名,誰看了不喊一句離譜!

重慶撒潑“毒母女”一夜全國出名,誰看了不喊一句離譜!

脆皮先生
2026-04-19 19:37:38
2026-04-20 08:36:49
侃故事的阿慶
侃故事的阿慶
幾分鐘看完一部影視劇,詼諧幽默的娓娓道來
545文章數(shù) 8223關(guān)注度
往期回顧 全部

科技要聞

50分26秒破人類紀(jì)錄!300臺(tái)機(jī)器人狂飆半馬

頭條要聞

特朗普:美伊20日將舉行談判 再不接受協(xié)議就轟炸伊朗

頭條要聞

特朗普:美伊20日將舉行談判 再不接受協(xié)議就轟炸伊朗

體育要聞

湖人1比0火箭:老詹比烏度卡像教練

娛樂要聞

何潤東漲粉百萬!內(nèi)娛隔空掀桌第一人

財(cái)經(jīng)要聞

華誼兄弟,8年虧光85億

汽車要聞

29分鐘大定破萬 極氪8X為什么這么多人買?

態(tài)度原創(chuàng)

家居
親子
房產(chǎn)
數(shù)碼
公開課

家居要聞

法式線條 時(shí)光靜淌

親子要聞

孩子總打噴嚏、起疹子,時(shí)過敏嗎?

房產(chǎn)要聞

官宣簽約最強(qiáng)城更!海口樓市,突然殺入神秘房企!

數(shù)碼要聞

榮耀手表4更新又跳票?官方回應(yīng)來了

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進(jìn)入關(guān)懷版