AI 事件應變計畫怎麼寫?從誤傳資料、越權到錯誤動作
AI 事件可能是敏感資料被輸入未核准工具、RAG 跨權限引用、惡意文件改變指令、Agent 執行錯誤動作、模型更新造成品質退化,或成本在重試中暴增。企業不必另建完全獨立的事故中心,但應把 AI 特有證據、角色與復原方式接進既有事件流程。
先定義什麼需要通報
不要只等資料外洩才通報。事件範圍可包含機密或個資誤用、權限越界、應拒答卻回答、高影響錯誤發布、未授權外部動作、提示注入、模型或資料污染、持續品質退化、供應商事故與異常成本。近失事件也要記錄,因為它顯示控制差一點失效。
嚴重度要依影響對象、資料、可撤回性、持續時間與最壞合理後果校準,不直接照抄本站分級。
六個事件階段
準備
維護AI 系統清冊、owner、資料流、供應商窗口、停用開關、人工替代、日誌與演練。NIST SP 800-61 Rev.3 在 2025 年取代 Rev.2,將事件應變整合到 CSF 2.0 的治理、識別、保護、偵測、回應與復原,而不是只把事件處理當事後工作。
發現與初判
保存誰在何時發現、系統與版本、必要輸入輸出、受影響角色與初始證據。不要把完整敏感資料複製到聊天或事件群組;證據保存方式依組織與專業要求處理。
控制
依情況停用功能、撤銷金鑰、限制工具、關閉外部動作、凍結有問題索引、回復前版或改人工。控制措施本身也可能影響服務與證據,需由有權責的人決定。
清除與復原
移除惡意資料、修正權限、更新提示或模型、處理供應商刪除,再用原始與新增回歸測試重新驗收。不能只修好一個示範題就恢復所有使用者。
通知與溝通
依資料、契約、法律與影響決定內外部通知。行政院生成式 AI 參考指引是政府機關使用參考,民間企業可借鏡機密、個資與人為責任原則,但實際通知義務仍應由適任人員判斷。
檢討與改善
記錄直接原因、促成條件、控制為何沒有預防或及時發現,更新清冊、政策、測試、監控與訓練。改善項目要有 owner、期限與驗證方式。
AI 事件需要哪些證據
模型、提示、工具、知識庫與部署版本,相關日誌與追蹤 ID,使用者角色與授權,供應商狀態,輸入輸出的最少必要摘要,外部動作與回應,以及控制與恢復時間軸。日誌若本身含敏感內容,要限制存取與保存。
可使用AI 事件與近失事件紀錄統一欄位;若系統具外部動作能力,搭配AI 監控與日誌指南建立偵測。
演練三個情境
- 員工把客戶名單輸入未核准工具,供應商刪除能力未知。
- 惡意知識文件使 Agent 對外寄出不正確通知。
- 模型版本更新後拒答下降,開始回答不在知識庫的內容。
演練時量測發現、控制、決策、通知與恢復時間,確認真正能找到 owner 和停用方式。OWASP 的 GenAI Incident Response Guide 1.0 可作資安實務參考,但仍要調整到自己的系統與法規情境。