AI 事故事後檢討怎麼寫?時間線、根因、影響與改善追蹤
AI 事故結束不代表服務恢復就可以關單。若只寫「模型幻覺」「使用者操作錯誤」或「供應商問題」,下一次提示、索引、權限、工具與人工流程仍可能重複失敗。好的事後檢討不追求故事漂亮,而是讓時間線、影響、根因、控制缺口與改善工作能被驗證。
先建立不可變時間線
記錄偵測、回報、確認、止血、通知、回復與復原時間,以及每次決策的證據與負責角色。不要事後覆寫初始判斷;保留後來為何升級或降級。用AI 事件紀錄模板統一欄位。
分開直接原因與系統原因
錯誤輸出可能是直接現象,系統原因可能包含測試集缺口、文件 owner 不明、權限在檢索後才套用、工具沒有冪等、告警只看平均或人工關卡無人接手。到AI 系統變更資料庫對照近期模型、提示、資料、工具與平台變更。
量化影響與不確定性
說明受影響工作、使用者、資料、外部動作、時間窗與可否更正;未知就標未知,不用單一平均估算所有群體。NIST AI 800-4 將功能、營運、人工、安全、合規與大規模影響列為六類部署後監控語言,也指出分散日誌與人工作業擴展是現實障礙。
將修復轉成可重跑案例
每個重大失敗、近失與控制缺口都應加入AI 測試案例庫,寫出設置、預期、失敗訊號與證據。再用AI 評測指標資料庫選擇不會掩蓋重大錯誤的指標,確認修復不是只擋一個字串或樣本。
改善工作要有 owner 與完成證據
每項改善列 owner、期限、驗收方式、依賴與剩餘風險;完成不是「已修改」,而是測試、監控與演練證明控制有效。NIST SP 800-61r3 將 incident response 整合進持續的資安風險管理,NIST AI RMF 也要求把事件與錯誤回饋到持續改善。
關單前再問三件事:原事故能否被穩定重現、修復是否能阻止原事故與相鄰變體、告警與人工回報是否真的送達適任角色。若答案仍是未知,就把它列為有期限的剩餘風險,不能用「已部署」代替完成證據。