企業知識庫與 AI Agent
RAG 知識庫怎麼驗收？從測試題到引用正確率
驗收 RAG 不能只問五個熟悉問題，看到流暢答案就上線。應先建立可重跑的測試集，把「有沒有找對資料」「答案是否被資料支持」「引用是否真的對應」與「不知道時會不會拒答」分開計分。
測試集要包含什麼
- 單一文件可直接回答的事實題。
- 需要跨兩份文件整合的問題。
- 名稱相似但答案不同的產品或制度。
- 已過期版本與最新版本衝突的問題。
- 知識庫沒有答案，應明確拒答的問題。
- 不同角色權限下，結果應不同的問題。
- 拼字、口語、縮寫與上下文不完整的真實問法。
每題保存標準答案、允許的來源、禁止引用的舊來源、使用者角色與風險等級。測試集應來自真實客服紀錄或員工需求，但先去識別化並取得合法使用依據。
五個核心指標
檢索命中
正確來源是否出現在前幾個檢索片段。若這項失敗，先調整文件、切塊、中繼資料或檢索，不要只改生成提示。
答案正確
回答是否符合標準答案與當前有效文件。可由領域人員抽查高風險題，不能完全交給另一個模型評分。
有根據程度
回答中的每個可驗證敘述是否都能由提供的片段支持。流暢但多加一個來源沒有的數字，仍算失敗。
引用正確
引用連結是否可開啟、指到正確版本與具體段落，而且確實支持旁邊的敘述。
拒答與安全
資料不足、無權限或問題超出用途時，系統是否停止猜測並提供下一步。高風險題可轉人工或只顯示原始文件。
不要只靠模型當裁判
模型評分可協助擴大量測，但仍需要人工校準。Google 的judge model 評估文件也要求以人工評分作為 ground truth 來比較裁判模型的結果。建議先由兩位領域人員標註一批題目，確認標準一致，再加入自動評估。
設定發布門檻
依用途設定不同標準。內部搜尋摘要可容許較多人工核對；直接提供法務、醫療、財務或客戶承諾的回答，需要更嚴格門檻與人工覆核。除了平均分數，也要看最差類型，不讓大量簡單題掩蓋少數高風險失敗。
每次更換模型、embedding、切塊、提示、文件版本或權限邏輯，都重跑同一套回歸測試，保存版本與結果。上線後收集使用者回報，再把新失敗案例加入測試集。
可先閱讀RAG 運作方式與企業文件整理清單，權限測試則搭配企業知識庫存取控制。