AI 模型遷移怎麼做?換模型、供應商與版本的驗收清單
企業換 AI 模型不能只把同一題貼到兩個聊天視窗,再選感覺比較好的答案。真正的系統還包含提示、RAG、工具、權限、後處理、人工關卡與供應商資料處理。NIST AI RMF Manage 要求持續管理第三方模型、監控、事件、回復與變更;它是自願性框架,不是固定遷移步驟或認證。
先寫清楚為什麼換與什麼不能退
先定義成本、延遲、能力、供應商風險或舊版退場等原因,以及不能退步的重大條件。把現行模型、端點、提示、參數、索引、工具與政策登錄到AI 系統清冊,再到AI 系統變更資料庫選取「模型或供應商版本更換」。
鎖定可比較的基準
固定測試集、人工基準、評分規則與重跑次數。開發集可以除錯,最終驗收集不要一直拿來調 prompt。NIST AI 800-2 目前仍是初稿,但它對評測目標、協議、執行與報告的揭露要求,能避免把不同條件下的分數硬比。
看逐題與分群,不只看平均
用AI 測試案例庫重跑正常、邊界、無答案、權限、逾時與人工案例;依角色、語言、文件類型和高影響情境分群。任何未授權動作、敏感資料洩漏或重大錯誤都應獨立阻斷,不能被其他高分抵銷。
同時驗收資料流、成本與營運
確認新供應商的資料保存、訓練使用、區域、子處理者及日誌設定,不把行銷頁宣稱當契約。比較 P50/P95/P99、重試、限流、每個合格成果成本與人工修正時間,並用AI 評測指標資料庫保存分母與限制。
先演練回切再逐步放量
舊模型、索引與相容設定要保留到新版穩定。先影子測試或小範圍開放,監控錯誤、成本、申訴與人工負荷。用AI 變更影響分析器產生重測與證據清單;若無法在承諾時間回切,就不能把「有 rollback」寫進發布批准。
遷移完成後不要立刻刪除基準資料。保留測試版本、逐題結果、人工裁決與限制,等到監控期間結束,再由資料 owner 確認哪些工件可依保存政策封存或移除。