RAG 評測指標完整指南：檢索、引用、忠實度與無答案
RAG 回答錯誤可能是原始資料過期、切塊遺失上下文、權限篩選錯誤、檢索沒找到、排序太後面，或模型沒有忠實使用來源。只評最終回答會知道「壞了」，卻不知道該修資料、搜尋還是提示。有效驗收要把資料層、檢索層與回答層分開，再用端到端任務成功串起來。
資料層先驗證版本、權限與標準答案
每份知識要有來源、owner、版本、生效失效日、適用對象與權限。測試題應從真實問題抽樣，標註回答所需文件、必要主張與可接受的無答案結果。若文件本身互相衝突或過期，不能要求模型憑空解決資料治理問題。
可先用RAG 就緒度檢查確認基本條件，再用RAG 評測表記錄問題、標準來源、檢索與回答。測試資料不可只挑容易用關鍵字找到的題目，還要涵蓋同義詞、跨文件、表格、版本衝突、權限與根本沒有答案的問題。
檢索層看有沒有找到與排對位置
若每題有標註相關文件，可計算 Hit@k、Recall@k、MRR 或 NDCG。Hit@k 問正確來源是否出現在前 k 筆；Recall@k 看應找到的來源涵蓋多少；MRR 與 NDCG 更關心排序。數字必須和 k、相關性標註、切塊與索引版本一起報告，不同工具的同名指標不一定能直接比較。
Microsoft Foundry 的官方 RAG 評測文件也把 document retrieval 視為流程評測，並區分有 ground truth 的檢索品質與沒有 ground truth 時的語意相關判斷。供應商預設門檻只是工具設定範例，企業仍要依自己的錯誤後果校準。
回答層分開看忠實、完整與引用
忠實度問回答中的可查證主張是否由提供內容支持；完整度問必要資訊是否遺漏；相關性問是否直接回應問題；引用正確率則逐一檢查引用是否真的支持相鄰主張。這些概念互補：回答可以忠實但不完整，也可以事實上正確卻沒有依指定來源作答。
評測時把回答拆成主張，記錄支持、部分支持、衝突或無依據，並保存來源位置。模型評審可先做大規模初判，但高影響案例與抽樣仍需人工複核。NIST 生成式 AI Profile 建議以已知 ground truth 與多種評測方法確認輸出品質與可靠性，這比單一「幻覺率」更可追溯。
無答案、權限與更新要單獨測
建立確定無答案、資料衝突、過期與使用者無權存取的案例。理想行為可能是拒答、說明資料限制、要求澄清或轉人工，不能把回答越多當成越好。跨角色測試必須確認檢索前就套用權限，而且引用、快取、日誌也沒有洩漏結果。
上線後追蹤熱門零結果查詢、無依據主張、失效引用、過期文件與人工修正，再把真實失敗加入測試集。資料或索引改變時重新跑基準，並把結果連到知識庫文件整理指南與系統清冊。