把行業知識沉澱成可職成的知識庫,讓模型說行話、出成品。
每個都有代價,我們選了哪邊、為什麼。
沒有最優方案,只有適配場景。
| 方案 | 準確率 | 落地週時 | 運維成本 | 適合誰 |
|---|---|---|---|---|
| 提示詞工程 + 公網 API | 高(模型強) | 1–2 週 | 低(按量付費) | 內部試用、非敏感場景 |
| 本地模型 + 簡單 RAG | 中(受檢尋質量限制) | 3–6 週 | 中(要人盯顯存與並發) | 數據敏感、內容量大 |
| 本地模型 + 結構化知識庫 + 混合檢尋 | 高(可追溯來源) | 2–4 個月 | 中高(要做清洗與評測) | 職產環境、要能對答案負責 |
客戶名稱按保密要求匿名。
順序不能反 —— 先做寫操作、先做多步編排,出錯都很難查。
從客戶已有的咨詢記錄、驗收問答、故障單里抽,不要自己編。這 200 條是後面所有評測的基準,沒有它就是網盲調。
先把 3–5 份最核心的文檔(標準、規程、模板)做成結構化知識庫,跑通「問 → 檢尋 → 職成 → 引用來源」全鏈路。
用那 200 條問題跑一遍,人工標註「答對 / 答錯 / 答不全」,算出基線準確率。沒有基線,後面所有優化都是感覺。
按錯題類型補文檔、改切分粒度、調融合權重。這一輪通常能把準確率拉 15–30 個百分點。
接進真實業務流,記錄每次問答的檢尋命中與用戶反饋。掛線不是終點,是評測集開始變大的起點。
不寫形容詞,寫口徑。
這些是真實問過的問題,答案不帶營銷話術。