企業 AI 導入與治理
RAG 索引更新怎麼驗收？文件、切塊、Embedding 與回歸指南
RAG 沒有換語言模型，也可能因文件、OCR、切塊、Embedding、metadata filter、reranker 或 top-k 改變而全面漂移。只確認「索引成功」與文件數相同，不能證明新版找得到正確來源、避開舊規則或守住權限。
建立可重現的索引 manifest
每次索引要保存文件 ID、版本、生效日、內容 hash、權限、解析器、切塊、Embedding、維度與建置時間。失敗與跳過文件必須列出，不能只報成功比例。把資料 owner、更新頻率與權限寫進AI 系統清冊。
不同變更需要不同重測
文件更新要測新舊版本衝突與已刪內容；切塊要測跨頁、表格與段落完整；Embedding 或 reranker 要看分群召回與排序；filter 要優先測跨角色與租戶。到AI 系統變更資料庫查看四類 RAG 變更的風險、證據與回切建議。
用標準來源與無答案案例驗收
測試集要包含唯一核准來源、部分證據、語料確定沒有答案、相近但不支持主張、舊版文件及受限資料。用AI 測試案例庫建立逐題預期，分開量前 k 命中、排序、主張忠實度、引用正確與無答案行為。
新舊索引並存比較
不要原地覆寫唯一索引。建立獨立版本，對相同查詢保存候選文件、分數、filter、回答與引用差異；高影響分歧要人工複核。NIST AI RMF Measure 要求在接近部署條件下測試並保存 TEVV 資料，Manage 則包含持續監控、回復與變更管理。
切換、監控與回復
先影子測試，再小流量切換；監控無答案、舊版引用、權限拒絕、延遲與成本。用變更影響分析器產生檢查清單。回切要確認舊索引仍能搭配目前 prompt、模型與 schema，並處理新版期間新增文件，不能把索引回復當成單一開關。
切換後也要保存查詢分布與人工回報。若新內容或使用者問題已改變，原本的固定測試集可能失去代表性；應補充案例並重新標註，而不是持續用舊平均證明新版正常。