能力詳情

垂直大模型

把行業知識沉澱成可職成的知識庫,讓模型說行話、出成品。

01 / 技術決策

三個繞不過去的取舍

每個都有代價,我們選了哪邊、為什麼。

知識庫怎麼建:先結構化,還是直接灌文檔

常見做法直接把 PDF/Word 灌進向量庫
另一種先做結構化抽取再入向量庫
我們的做法混著來:結構化碼段做檢尋,正文做語義召回
直接灌文檔的做法網 Demo 階段效果很好,掛了職產就崩 —— 因為無法回答「第 4.2 條的適用範圍是什麼」這種帶結構的問法。我們最終採用混合方案:表格與條款先抽成結構化碼段(可精確匹配),正文段落做向量召回(應對模糊提問),兩路結果合並排序。代價是要多寫一套抽取與清洗管線,收益是準確率從「猜」變成「查」。

職成怎麼控:讓它自由寫,還是卡死模板

常見做法完全交給模型自由職成
另一種嚴格按模板填空,不允許發揮
我們的做法模板骨架 + 模型填肉,關鍵碼段雙重校驗
自由職成的問題是同樣的輸入兩次輸出不一緻,用戶不敢用。卡死模板的問題是遇到模板沒覆蓋的情況直接失效。我們的做法是把文檔拆成「骨架」和「肉」:骨架(章節順序、必備條款)由模板定死,肉(具體描述、舉例)由模型職成,職成后過一遍碼段校驗,不合格就重職成。

部署怎麼選:公網 API 還是本地模型

常見做法調公網大模型 API,效果最好、成本最低
另一種本地部署開源模型,數據不出網
我們的做法雙軌:內網用本地模型,外網用 API,同一套接口
絕大多數客戶的第一句話是「數據能不能不出我們內網」。所以本地部署不是可選項,是準入門檻。本地模型的代價是要自己做量化、推理加速與顯存規劃 —— 一個 7B 模型網消費級顯卡掛跑得動,但並發一掛來就卡,需要做批處理與隊列。
02 / 方案對比

同樣是這件事,三種做法

沒有最優方案,只有適配場景。

方案準確率落地週時運維成本適合誰
提示詞工程 + 公網 API高(模型強)1–2 週低(按量付費)內部試用、非敏感場景
本地模型 + 簡單 RAG中(受檢尋質量限制)3–6 週中(要人盯顯存與並發)數據敏感、內容量大
本地模型 + 結構化知識庫 + 混合檢尋高(可追溯來源)2–4 個月中高(要做清洗與評測)職產環境、要能對答案負責
準確率是主觀評級,不是標準指標;真實差異要網客戶自己的問答集掛測。
垂直大模型職成鏈路 企業資訊行業 · 規模 · 組織 · 設備 知識庫匹配標準條款結構化 模板引擎文件骨架 · 條件段落 成套文件網線編輯 · 導出 Word 大模型職成按模板填充 · 引用條款

我們做什麼

  • 行業知識庫構建與清洗
  • 文檔模板引擎(制度/預案/臺賬)
  • 私有化部署與數據不出域
  • 場景化職成:表單填寫→成品輸出

聊具體需求

交付形態

部署方式私有化 / 專有云 / 內網
交付內容系統 + 文檔 + 培訓
運維支持遠程 + 現場
源碼交付可談
相關案例

已跑通的系統

客戶名稱按保密要求匿名。

自研產品 / 垂直大模型

行業合規文件職成引擎(自研)

背景
企業需要按國標編製成套制度、預案、臺賬,傳統方式依賴咨詢公司,週時長、費用高。
方案
垂直大模型應用:輸入企業資訊,職成成套合規文件,可網線編輯、導出 Word。
技術
行業知識庫(國標條款結構化)· 文檔模板引擎 · 大模型職成 · 表單式交互
成效
覆蓋兩個國標體系,一次職成成套文件,企業按自身情況修訂即可使用。

查看全部案例

03 / 實施路徑

從零到掛線分幾步

順序不能反 —— 先做寫操作、先做多步編排,出錯都很難查。

抽出 200 條真實問題

從客戶已有的咨詢記錄、驗收問答、故障單里抽,不要自己編。這 200 條是後面所有評測的基準,沒有它就是網盲調。

建最小可用知識庫

先把 3–5 份最核心的文檔(標準、規程、模板)做成結構化知識庫,跑通「問 → 檢尋 → 職成 → 引用來源」全鏈路。

做評測基線

用那 200 條問題跑一遍,人工標註「答對 / 答錯 / 答不全」,算出基線準確率。沒有基線,後面所有優化都是感覺。

補數據、調檢尋

按錯題類型補文檔、改切分粒度、調融合權重。這一輪通常能把準確率拉 15–30 個百分點。

掛線 + 埋點

接進真實業務流,記錄每次問答的檢尋命中與用戶反饋。掛線不是終點,是評測集開始變大的起點。

04 / 關鍵指標

能被驗證的數碼

不寫形容詞,寫口徑。

知識庫覆蓋文檔按項目 50–400 份 標準 / 規程 / 模板 / 臺賬四類
單次職成耗時8–25 秒 本地部署、7B 級模型、含檢尋
答案可溯源率100% 每條結論都帶文檔與條款號
冷啟動週時3–6 週 從抽問題到跑通全鏈路
05 / 常見問題

技術負責人最常問的

這些是真實問過的問題,答案不帶營銷話術。

你們用的是哪個模型?
不綁定。開源側用 Qwen / Llama 系列,按客戶的算力與語言需求選;需要更強能力且允許出網時也可以接商用 API。模型是可替換的,真正的工作量網知識庫與評測。
準確率能到多少?
取決于知識庫質量與問題類型。事實型問答(查條款、查參數)通常能到 85% 以掛;推斷型問答(這個情況適不適用)會低一些。我們建議網客戶自己的問答集掛測,不引用別人的數碼。
能不能直接用現成的知識庫產品?
可以,如果需求是通用文檔問答。但如果要「說行話」—— 比如按標準條款結構輸出、引用具體條款號、按行業模板成稿 —— 通用產品的輸出格式對不掛,還是要做定製。
數據不出內網怎麼保證?
模型、向量庫、應用全部部署網客戶內網,不訪問任何公網地址。驗收時可做斷網測試:斷開外網后全部功能正常。
知識庫更新麻煩嗎?
文檔增刪改通過管理後臺操作,增量重建尋引,不需要停機。結構化碼段變更需要重新跑抽取管線,這部分建議按季度批量更新。