AI Agent 未授權動作怎麼處理?寄送、寫入、刪除與付款事故指南
AI Agent 回覆「已完成」不代表外部系統真的成功;回覆失敗也不代表沒有副作用。寄送、寫入、刪除、付款、建單與權限變更發生未批准、重複或部分成功時,第一件事不是再問模型,而是停止工具能力並直接查外部真實狀態。
先停工具與憑證,不只停聊天介面
關閉功能旗標、撤回 scope、停 queue 或降成 read-only/dry-run,避免事故繼續。若同一憑證可被其他流程使用,要協調工具 owner,不可直接造成更大營運中斷。
逐筆重建外部狀態
依工作 ID、idempotency key、收件人、訂單、款項與時間線確認哪些動作已完成、失敗、重複或無法判斷。保存每次工具呼叫與回應,但以外部系統紀錄為準。到AI 事故類型資料庫查看未授權、重複、部分成功與迴圈四種 Agent 模式。
分開處理回復與補償
程式回版不會自動收回已寄出的信、刪除已建的訂單或退回款項。可逆動作走取消/回復;不可逆或跨系統動作要有人工補償、客服與財務紀錄。用AI 事件紀錄模板保存決策與結果。
每筆動作要標記「確認未執行、已執行且已回復、已執行待補償、狀態未知」,並由實際系統 owner 驗證。若外部狀態未知,不能直接重跑相同工作;先使用查詢介面或唯一業務鍵確認,避免第二次副作用。
找到為什麼批准點失效
檢查 Agent 是否把沉默、逾時、舊 token、低權限替代工具或模型文字當成批准。批准必須是可驗證狀態,與工具執行綁定;高影響流程異常時 fail closed。可用AI 測試案例庫重跑未批准、拒絕、逾時、撤回與人工停止。
恢復前測重試與回應遺失
用AI 變更影響分析器加入逾時、回應遺失、重送、並發、部分成功與補償失敗案例,確認 idempotency 與狀態機真的有效。OWASP Agentic AI 資料把工具濫用、身分與權限列為核心風險;本指南只供有權系統的防禦與回應。