生活
先把文件切小塊,再讓模型自己找答案:那篇RAG長文,把知識獲取講成了一條生產線
掘金作者「老王以為」2026年9月20日刊出AI Agent系列第四篇,把RAG知識獲取管道從分塊、嵌入到混合檢索講成一條完整生產線,本文回顧這篇長文為何在開發者社羣被圍觀。
9月20日,掘金上出現一篇三十六分鐘閱讀量的長文。作者「老王以為」的《走進 AI Agent》系列寫到第四篇,主題是RAG基礎,副標題叫「知識獲取管道」。這個系列一路從決策引擎、用戶記憶系統寫下來,第四篇終於碰到了開發者圈這兩年最熱也最實際的問題:怎麼讓 Agent 讀懂公司內部文件,並且在該用的時候把對的段落撈回來。
文章發出後閱讀量不算爆炸,但在持續追這個系列的讀者眼裡,這一篇補上了拼圖的關鍵一角。本文以回顧角度,拆解這篇長文在講什麼、為什麼這個時間點值得寫成六千字以上,以及它和整個系列的接榫方式。
大模型的知識有截止日期,公司的文件每天都在長
先把文章的核心動機補上。大模型的訓練資料有截止日,過了那天之後發生的法規修正、內部流程改版、新產品手冊,模型一概不知道。RAG(檢索增強生成)的思路是把模型的生成能力與外部知識庫拆開:知識庫隨時可以更新,模型一行程式碼不用改。
作者給了一個對前端工程師很友善的類比:RAG 像是幫元件接上一個外部資料源。元件本身不動,換一份資料,渲染出來的結果就完全不同。這個比喻在留言區被認為是全文最好懂的一段。
系統面上,RAG 由兩個角色構成。檢索器負責從知識庫找出相關片段,生成器拿到片段當作上下文來回答。文章用「量子糾纏是什麼」當範例:檢索器從維基百科知識庫取回三個片段,包括2022年諾貝爾物理學獎的實驗驗證,再交給模型生成答案。系統提示詞還特別寫明,資料不足時要明確說出來。
::infigure::
(依站方指示,本篇為純文字模式,以下以文字繼續。)
這篇在系列裡的位置:記住一個人,然後記住一羣人的知識
要看懂第四篇為何長這樣,得先回第三篇。系列第三篇處理的是用戶記憶系統,讓 Agent 在對話結束後仍記得使用者的偏好、習慣與帳號關係。第四篇處理另一半:怎麼讓 Agent 記住領域知識。
作者把整個框架寫成一條公式:Agent 等於決策引擎加資訊視野加執行通道。資訊視野分六層,系統提示詞與工具定義相對靜態,任務軌跡與當前輸入隨對話動態增長,夾在中間的用戶記憶與領域知識則是跨會話的持久化資訊。第三篇深入前者,第四篇與第五篇深入後者。
兩條線最終會在「雙層記憶架構」匯合:結構化記憶常駐上下文提供概覽,上下文感知檢索按需取回細節。這個收束被安排在第五篇,所以第四篇明顯是在鋪管線,先把「知識怎麼進來、怎麼被檢索」走完,下一篇才處理知識的組織與深度檢索,包括 RAPTOR、GraphRAG 等結構化索引。
一條完整的知識獲取管道,從切塊到重排
第四篇的主體依序走過幾個環節:文件分塊、稠密嵌入、稀疏嵌入、混合檢索與重排序、多模態資訊提取。這些名詞對圈外人有點硬,但拆開看其實都是同一條生產線上的工站。
文件分塊是第一站。一份幾百頁的法規文件不能整份塞進上下文,得先切成適當大小的片段。切得太碎會丟失語境,切得太粗又會稀釋相關度,這個取捨是所有 RAG 專案的第一個坑。
嵌入是第二站。稠密嵌入把文字轉成一串向量,讓語意相近的內容在向量空間裡距離接近,適合處理換句話說的問題;稀疏嵌入則保留關鍵詞的精確匹配能力,適合處理專業術語與代號。混合檢索把兩者並用,再靠重排序模型把初步撈回的片段重新排序,把最相關的推到前面。
最後的多模態資訊提取,處理的是真實企業文件裡少不了的表格、圖片與版面資訊。這一段呼應了一個現實:公司知識庫很少有純文字,PDF 排版、掃描件、投影片才是常態。
值得注意的是文章的寫法。作者聲明不假設讀者有演算法或數學背景,每個概念先給直覺與類比再給細節,範例程式統一用 TypeScript,並標明文中程式碼取自 dense-embedding、sparse-embedding、retrieval-pipeline、multimodal-agent 等配套專案的節選,完整專案之後會以開源形式釋出。作者還給了一句很務實的閱讀建議:讀到不懂的地方先往下走,很多概念會在後文反覆出現,第二次見到時會豁然開朗。
面試圈先撞上的牆,社羣文章來補磚
把這篇長文放回這半年的社羣脈絡,會發現它回應的其實是一個已經燒了幾個月的現象。各大廠面試題裡,RAG 相關追問早已成為標配,先前流出的阿裏巴巴邊緣BU一面面經裡,追問就繞著多層Agent架構與RAG切分打轉;更早的美團Agent一面場景題也出現過TB級RAG的實戰考題。求職圈在面試間先撞上這堵牆,教學型長文自然有了讀者。
這也解釋了為什麼一篇閱讀量三十幾的文章值得圍觀。掘金上RAG教學文不少,但多數停在單點工具的使用。這一篇的差別在於它是系列的一環,用戶記憶、領域知識、決策引擎各佔一塊,最後要拼成一個能主動服務的完整架構。對照著看,單篇教你用向量資料庫的文章像零件說明書,這個系列像裝機手冊。
另一個看點是作者的釋出節奏。文末預告了多個配套開源專案,從嵌入到檢索管線都有對應倉庫。這種「文章講原理、倉庫放程式碼」的雙軌做法,近來在開發者社羣愈來愈常見,讀者要的已經很明確:能跑的東西,加上講清楚為什麼這樣跑。
第五篇預計處理知識的組織與深度檢索,兩條記憶線索將在雙層架構正式合流。追這個系列的讀者,等的是那一站。
主題: 社群現象
標籤: #老王以為+rag熱#aiagent系列+知識獲取#掘金長文+開發者圍觀