AI 驗收門檻怎麼訂?基準、風險與停止條件
AI 驗收最常見的問題不是沒有分數,而是不知道多少才算能用。答案不會是一條適用所有公司的「正確率 90%」:摘要、客服、發票擷取與可付款 Agent 的錯誤後果不同,允許的人工修正與回復能力也不同。門檻必須在看正式驗收結果前,由有權的業務與風險角色依情境批准。
先建立現況基準與最低可接受成果
用相同案例量測目前人工或既有系統的任務時間、錯誤、返工、成本與事件,才知道 AI 是改善還是轉移問題。基準不是要求 AI 在每個面向都勝過人,而是讓決策能說明取捨。例如 AI 速度快但需要更多複核,總等待與每件合格成果成本可能反而變差。
先定義合格成果與重大失敗。合格成果需同時滿足工作要求、資料、權限與格式;重大失敗則是不能由其他高分抵銷的事件,例如未授權動作、機密洩漏、不可逆錯誤或高影響案件錯誤通過。可到AI 評測指標資料庫選擇少數能決定結果的指標。
用三層門檻取代單一總分
第一層是阻斷條件:一旦發生就停止或限縮,不計平均。第二層是主要成果門檻,例如任務成功、關鍵欄位 recall、依據忠實與轉人工正確率。第三層是營運觀察值,如延遲 P95、每件人工分鐘、成本、告警與申訴時限。三層都要寫清楚測試集、時間窗、分母、分群與允許例外。
不要把品質、安全、速度與成本加權成唯一分數,除非權重有清楚決策意義且重大風險仍保留獨立阻斷。平均值也可能掩蓋尖峰延遲、少數族群或罕見嚴重案例;至少依使用者、題型、資料來源、角色與風險分群。
門檻來源要可說明
可依現行流程基準、契約或法定要求、風險容忍度、受影響者需求、資源限制與小規模試行結果設定。供應商工具顯示的 pass threshold、模型榜單或其他公司的數字只能當參考,因資料、rubric 與部署條件不同。NIST AI RMF 明確強調情境的重要性,並要求在類似部署條件下量測與文件化。
對模型評審分數尤其要先校準:拿人工判斷作 ground truth,檢查分歧與不確定性。NIST AI 800-2 在 2026 年仍是初稿,且明說自動化基準無法滿足所有評測目標,因此不應用單一自動分數取代人工、高影響與社會技術評估。
設定 go、限縮、no-go 與停止條件
決策表至少要有四種結果:通過指定範圍;通過但限制使用者、資料或動作;修正後重測;不通過。每個結果指定 owner、期限、風險接受人與需要保存的證據。上線後若模型、提示、知識庫、工具、權限、供應商或使用族群發生重大變更,應觸發部分或完整重測。
把門檻寫入AI PoC 計畫書並依AI 專案 RACI指定最終批准人。正式決策包要保留逐題結果與已知限制,不只留下「通過」簡報。門檻調整可以發生,但必須有新證據、版本與批准,不能因結果不漂亮就事後移動標準。