AI 事故怎麼分級?影響、持續性、資料與外部動作的初步判斷
AI 回答錯一個字、跨租戶外洩、Agent 重複付款與分類模型漏轉人工,都叫「AI 出錯」,但第一時間處理完全不同。事故分級不是替事件貼一個漂亮標籤,而是讓團隊知道現在要不要停、找誰、保留什麼、如何避免影響擴大。本站級別只是編輯起點,不是法定事故等級或通知義務判定。
先判斷實際影響與是否仍在發生
確認是否已影響權益、安全、金錢、資料、正式決定或大量使用者,以及錯誤是否持續擴散。不要只看模型信心或 HTTP 狀態;外部系統是否已寫入、是否能更正、是否有人可申訴更重要。可用AI 事故初步分流器產生第一版處理清單。
資料與外部動作優先升級
敏感資料、跨角色存取、秘密外洩、未批准寄送/刪除/付款、重複副作用與無法安全停止,通常需要立即找資安、隱私、工具 owner 或業務負責人。到AI 事故類型資料庫查看 24 種模式的證據、止血與恢復建議。
AI 特有訊號仍要進既有事件流程
NIST SP 800-61r3 已在 2025 年定稿,將 incident response 整合進 CSF 2.0 的治理、辨識、保護、偵測、回應與復原。AI 團隊不應另建一套孤島;模型、提示、索引、工具與人工影響要接進既有資安、隱私、營運及客服流程。
分級會隨證據改變
初始回報可能看似單一錯誤,後來才發現跨版本、跨租戶或已造成正式決定。每次更新要記錄時間、證據與理由,不要覆寫前一判斷。NIST AI RMF Manage 也要求事件、錯誤、回復與溝通被追蹤及記錄。
先止血,但不要破壞證據
停用功能、撤權、切人工或限縮流量時,仍要保留最小必要的輸入輸出、版本、工具軌跡與外部狀態。不要把秘密貼進事故聊天室,也不要為了清畫面而刪掉唯一時間線。用AI 事件紀錄模板建立共同紀錄,再從AI 系統變更資料庫找出最近改動。