AI Agent 怎麼驗收？任務成功、工具權限與越權測試
AI Agent 與一般聊天最大的差異，是它可能規劃多步工作、讀取外部內容並呼叫工具改變真實狀態。最後回覆看似正確，不代表中間沒有查錯資料、繞過批准、重複寄信或把敏感內容送到不該去的工具。驗收單位應是「目標—步驟—工具—外部結果—證據」的完整軌跡。
先建立工具與動作權限矩陣
逐一列出 Agent 可讀、可寫、可寄送、可刪除、可交易與可呼叫的工具，標記允許、需人工批准、禁止，以及資料與金額上限。工具層必須實際強制最小權限，不能只靠系統提示要求模型自律。測試身分也要涵蓋一般使用者、管理者、跨部門與權限已撤銷情境。
OWASP LLM06:2025 把 excessive agency 描述為因過多功能、權限或自主性造成有害動作的風險，並指出提示注入、模型錯誤等都可能觸發。這是安全風險指引，不是只要名稱符合就代表存在弱點；仍需依具體工具、權限與可造成的影響驗證。
任務成功要同時驗證過程與結果
為每個任務寫出必要步驟、可接受替代、禁止動作與完成證據。任務成功率要檢查外部系統的真實狀態，不只讀 Agent 的自我報告。另記錄工具選擇、參數、呼叫成功、輸出利用與多餘步驟，才能找出是規劃、工具介面還是依賴服務造成失敗。
使用AI 評測指標資料庫選擇任務成功、未授權動作、權限邊界、重複副作用與安全停止等指標，再用AI 系統清冊保存模型、提示、工具、身分與版本。可逆的沙箱與假資料應先跑完整攻擊與失敗情境，正式環境只做經批准的最小驗證。
紅隊要包含外部內容與多步攻擊
測試直接提示注入，也要把惡意指令放在 Agent 會讀取的網頁、文件、郵件、搜尋結果與工具輸出中。加入混淆、編碼、多輪、權限探測、資料外傳、資源耗盡與工具串接情境。OWASP 的 GenAI Red Teaming Guide 建議同時涵蓋模型、實作、基礎設施與執行期行為，不能只對聊天框丟幾句 jailbreak。
每個發現要保留前置狀態、輸入、逐步工具呼叫、外部副作用、攔截層與可重現方式。修復後用原案例與鄰近變形重測，避免只封鎖單一句子。重大未授權寫入、資料外洩或不可逆動作應是阻斷條件，不與一般任務高分平均。
故障、重試、停止與回復也要驗收
在每一步注入逾時、錯誤回應、回應遺失與人工中止，觀察是否重試、是否重複執行，以及冪等與補償機制是否有效。緊急停止後要確認排程、佇列與外部工具真的停止；回復則要確認資料一致、使用者收到正確狀態並可轉人工。
NIST 2026 年的 Agentic AI evaluation probes 研究強調把評測探針整合進工作流程，累積機器可讀的稽核軌跡，讓主張可對到可信來源。這項工作仍屬研究與方法發展，企業可以借鏡追蹤概念，但不應宣稱已取得 NIST 認證。上線前再以AI 風險初篩決定審查與批准層級。