治理與責任・預防性/偵測性
使用情境、Owner 與適用範圍
適用:文字生成、RAG 知識庫、擷取/結構化、分類/預測、AI Agent
要降低的風險:沒有人對用途、資料、輸出與停用負責,功能會在未審查情境擴張。
怎麼實施:為每個正式用途登錄業務 Owner、技術 Owner、使用者、允許與禁止用途、資料、影響及停用方式。
怎麼驗證:抽查正式端點、內部工具與工作流是否都能對到現行清冊;請 Owner 說明最近一次覆核與停止方式。
應保存證據:版本化清冊、Owner 接受紀錄、範圍圖、覆核日期、停用演練。
常見失效:清冊只有模型名稱、Owner 已離職、實際用途超出登錄範圍,或找不到可停用的人。
建議參與:業務 Owner、產品、平台、風險/法務
治理與責任・預防性
風險分級與使用情境批准
適用:文字生成、RAG 知識庫、擷取/結構化、分類/預測、AI Agent
要降低的風險:高影響、敏感資料或外部動作在沒有適任審查時直接上線。
怎麼實施:上線前依影響、資料、可逆性、自動化程度與使用者群體決定審查、測試、人工關卡及批准角色。
怎麼驗證:用高風險與低風險案例走一次流程,確認路由、必填證據與無批准時的阻斷。
應保存證據:分級問卷、決策理由、簽核狀態、例外、測試與發布紀錄。
常見失效:由開發者自行勾選通過、分數可以被平均抵銷,或未批准仍可發布。
建議參與:業務 Owner、風險/法務、資安、發布負責人
治理與責任・預防性/偵測性/矯正/復原
政策、例外與到期機制
適用:文字生成、RAG 知識庫、擷取/結構化、分類/預測、AI Agent
要降低的風險:臨時繞過變成永久設定,或使用者不知道哪些行為被禁止。
怎麼實施:把允許/禁止用途、資料、人工責任與通報寫成可執行政策;例外需 Owner、理由、補償控制與到期日。
怎麼驗證:查詢所有有效例外,驗證到期會阻斷或重新審查;訪談使用者是否理解禁止用途。
應保存證據:政策版本、教育紀錄、例外台帳、到期通知、關閉或續批證據。
常見失效:例外無到期、政策只放在文件沒進流程,或到期後權限仍有效。
建議參與:政策 Owner、風險/法務、IAM、業務主管
治理與責任・預防性/偵測性/矯正/復原
系統清冊、生命週期與退場
適用:文字生成、RAG 知識庫、擷取/結構化、分類/預測、AI Agent
要降低的風險:影子 AI、廢棄端點、舊模型或孤兒資料持續產生費用與未管理風險。
怎麼實施:登錄模型、提示、資料、索引、工具、供應商、環境與相依性;定義上線、覆核、停用、保存與退場。
怎麼驗證:以帳單、API gateway、IAM、程式庫與供應商清單對帳,找出未登錄或已退場但仍有流量的資產。
應保存證據:清冊差異、流量與成本對帳、退場工單、憑證撤銷、資料處理紀錄。
常見失效:清冊由人工半年更新一次、模型別名沒有實際版本,或停 UI 但端點與憑證仍可用。
建議參與:平台、採購、資安、資料與業務 Owner
資料與知識・預防性/偵測性/矯正/復原
資料最小化、遮罩與秘密排除
適用:文字生成、RAG 知識庫、擷取/結構化、分類/預測、AI Agent
要降低的風險:輸入、提示、評測或日誌帶入不必要個資、機密與憑證。
怎麼實施:在資料進模型、索引、trace 與供應商前,依用途移除不必要欄位、遮罩識別資料並禁止秘密原文。
怎麼驗證:用合成敏感樣本測輸入、錯誤、輸出、下載與日誌;定期掃描抽樣並由資料 Owner 判讀。
應保存證據:欄位清單、資料流、遮罩規則、測試結果、例外與清除/輪替紀錄。
常見失效:只在畫面遮罩、原始值仍進供應商或日誌,或用黑名單漏掉新格式。
建議參與:資料 Owner、隱私、資安、平台
資料與知識・預防性/偵測性
檢索前 ACL 與租戶隔離
適用:RAG 知識庫、AI Agent
要降低的風險:RAG 在排序後才檢查權限,洩漏跨角色、部門或租戶內容與存在性。
怎麼實施:以呼叫者身分在檢索前套用文件 ACL;租戶索引、快取、記憶與日誌採明確隔離,撤權即時生效。
怎麼驗證:測跨角色、跨租戶、撤權、分享變更、快取命中與錯誤訊息;確認候選文件階段已阻擋。
應保存證據:身分與 ACL 快照、查詢 trace、候選文件、拒絕結果、撤權延遲測試。
常見失效:只要求模型不要透露、權限只套在答案,或共用快取鍵沒有租戶維度。
建議參與:IAM、資料 Owner、RAG/平台工程、資安
資料與知識・預防性/偵測性/矯正/復原
保存、刪除與目的限制
適用:文字生成、RAG 知識庫、擷取/結構化、分類/預測、AI Agent
要降低的風險:輸入、輸出、trace 或供應商資料保存過久、被拿去未核准用途或無法刪除。
怎麼實施:逐資料類型定義用途、位置、保存期、刪除、備份與供應商設定;停止使用與資料主體要求要能被執行。
怎麼驗證:建立可追蹤測試資料,走到到期與刪除,確認索引、快取、備份及供應商複本的處理結果。
應保存證據:保存矩陣、實際設定、刪除請求、完成證明、供應商回覆與殘留差異。
常見失效:只寫政策沒有刪除作業、刪主庫卻留在索引,或供應商預設設定與核准不一致。
建議參與:隱私/法務、資料 Owner、平台、供應商 Owner
資料與知識・預防性/偵測性/矯正/復原
資料品質、版本與來源脈絡
適用:RAG 知識庫、擷取/結構化、分類/預測、AI Agent
要降低的風險:過期、衝突、解析失敗或來源不明的資料被當成現行標準答案。
怎麼實施:保存文件/資料版本、生效日、Owner、來源、解析與索引 manifest;衝突、缺值與失敗列不得靜默略過。
怎麼驗證:以新舊版本、衝突來源、表格、掃描文件與刪除資料測試;抽查輸出能否回到支持主張的版本。
應保存證據:資料字典、來源與 hash、建置 manifest、失敗清單、人工裁決與更正紀錄。
常見失效:只看索引文件數、來源 URL 沒有版本,或把解析失敗資料列當成空值繼續。
建議參與:資料 Owner、內容 Owner、資料/RAG 工程、品質
模型與輸出・預防性/偵測性/矯正/復原
模型、提示與參數版本固定
適用:文字生成、RAG 知識庫、擷取/結構化、分類/預測、AI Agent
要降低的風險:模型別名、prompt 或參數無聲變更,導致結果無法重現或回復。
怎麼實施:以不可變版本識別模型、prompt、工具描述、schema、參數與政策組合;發布記錄實際版本而非只記別名。
怎麼驗證:由正式結果反查完整版本並重跑代表案例;模擬供應商別名變更與舊版回切。
應保存證據:版本 ID、內容 hash、部署 manifest、差異、回歸結果與回切演練。
常見失效:檔名叫 final、只有 Git commit 沒有線上版本,或回復舊 prompt 卻搭到新 schema。
建議參與:ML/Agent 工程、平台、發布負責人、品質
模型與輸出・預防性/偵測性
指令、政策與不可信內容分離
適用:文字生成、RAG 知識庫、AI Agent
要降低的風險:使用者、網頁、文件或郵件中的內容被當成高權限指令。
怎麼實施:系統政策與工具邊界由程式和授權層強制;外部內容標為不可信資料,不得自行改任務、權限或目的地。
怎麼驗證:在文件、網頁、郵件與編碼變體植入合成間接指令,確認不會洩漏、改收件人或呼叫未允許工具。
應保存證據:信任邊界圖、提示/政策版本、測試 corpus、工具 trace、拒絕與人工升級結果。
常見失效:只在 system prompt 寫『忽略惡意指令』、關鍵控制交給模型判斷,或工具可接受任意 URL。
建議參與:資安、Agent/RAG 工程、內容與工具 Owner
模型與輸出・預防性/偵測性
代表性評測與發布閘門
適用:文字生成、RAG 知識庫、擷取/結構化、分類/預測、AI Agent
要降低的風險:只看示範或單一平均分數,重大錯誤仍被其他高分抵銷後上線。
怎麼實施:在測試前定義代表案例、分群、人工基準、門檻與重大阻斷;模型、提示、資料或工具變更都對應重測。
怎麼驗證:以固定驗收集重跑並查看逐題、分群、變異與重大失敗;驗證 no-go 真的阻止發布。
應保存證據:測試集版本、評分規則、逐題結果、人工裁決、門檻、批准與例外。
常見失效:看到結果後改門檻、一直用驗收集調 prompt,或安全失敗被平均品質分數掩蓋。
建議參與:業務 Owner、品質/ML、風險角色、發布負責人
模型與輸出・預防性/偵測性
輸出 Schema 與下游驗證
適用:文字生成、RAG 知識庫、擷取/結構化、分類/預測、AI Agent
要降低的風險:模型輸出被直接當 HTML、SQL、命令、金額或工具參數,造成注入與資料損壞。
怎麼實施:將輸出視為不可信資料;使用嚴格 schema、型別、範圍、編碼、允許值與目的端驗證,顯示內容採安全轉義。
怎麼驗證:測格式錯誤、超長、HTML/命令片段、負數、單位、未知欄位與部分輸出,確認 fail closed。
應保存證據:schema 版本、驗證規則、拒絕樣本、錯誤率、下游寫入前後紀錄。
常見失效:只要求模型輸出 JSON、解析失敗就猜測修正,或同一輸出未轉義直接送多種目的端。
建議參與:應用工程、工具/資料 Owner、資安、品質
身分與工具權限・預防性/偵測性/矯正/復原
最小權限服務身分
適用:RAG 知識庫、擷取/結構化、分類/預測、AI Agent
要降低的風險:AI 共用高權限帳號,任務可讀寫超出用途資料且無法歸責。
怎麼實施:每個工作負載使用獨立身分與最小 scope;區分讀、寫、刪除、寄送與付款,短效憑證並定期覆核。
怎麼驗證:從每個工具和資料源反查實際權限,測未授權操作、撤權與過期;比對最近使用與已核准 scope。
應保存證據:IAM 政策、權限差異、存取日誌、覆核、撤權與失敗測試。
常見失效:所有 Agent 共用管理員 key、只靠前端隱藏按鈕,或停用人員後長效憑證仍有效。
建議參與:IAM、資安、平台、工具與資料 Owner
身分與工具權限・預防性/偵測性/矯正/復原
受管秘密、短效憑證與輪替
適用:文字生成、RAG 知識庫、擷取/結構化、分類/預測、AI Agent
要降低的風險:API key、token 或連線字串進入 prompt、程式庫、日誌與聊天紀錄。
怎麼實施:秘密只由受管秘密系統注入,程式與 prompt 使用參照;限制 scope、保存與顯示,建立輪替與緊急撤銷。
怎麼驗證:以假秘密做提交、輸出與日誌測試;輪替一個測試憑證,確認舊值失效且服務能恢復。
應保存證據:秘密掃描、存取紀錄、scope、輪替演練、撤銷時間與相依服務結果。
常見失效:秘密寫在 system prompt 或環境範例、只遮畫面沒撤銷,或所有環境共用同一 key。
建議參與:資安、平台、秘密 Owner、應用工程
身分與工具權限・預防性/偵測性
工具允許清單與型別化契約
適用:AI Agent
要降低的風險:Agent 可呼叫未核准工具、任意端點或以自由文字組合危險參數。
怎麼實施:每個用途明列允許工具、方法、目的地與參數 schema;伺服器重新驗證身分、範圍、業務規則及輸出。
怎麼驗證:測未知工具、額外欄位、任意 URL、路徑穿越、跨租戶 ID、超限與工具描述遭修改。
應保存證據:工具 registry、schema 版本、政策決策、拒絕 trace、目的地與參數稽核。
常見失效:工具描述等於授權、使用者可傳完整 URL,或模型產生參數後直接由高權限後端執行。
建議參與:工具 Owner、Agent 工程、資安、IAM
身分與工具權限・預防性/偵測性
高影響動作逐次批准與職責分離
適用:AI Agent
要降低的風險:模型把沉默、舊批准或自己的文字當成授權,直接寄送、刪除、付款或改權限。
怎麼實施:高影響動作顯示對象、金額、差異與不可逆性,綁定單次請求與有效期;批准者和執行者依風險分離。
怎麼驗證:測拒絕、逾時、撤回、參數變更、重放、代理批准與無人接手,確認均 fail closed。
應保存證據:批准人、時間、請求 hash、實際參數、執行結果、拒絕與撤回紀錄。
常見失效:一次批准整段對話、按鈕後參數仍可變,或模型自行判定『使用者應該同意』。
建議參與:業務/財務 Owner、IAM、工具 Owner、風險角色
外部動作與交易・預防性/偵測性/矯正/復原
冪等鍵、去重與重放保護
適用:AI Agent
要降低的風險:逾時、重試或回應遺失造成重複寄送、扣款、建單、寫入或刪除。
怎麼實施:以穩定業務鍵產生伺服器端冪等鍵,原子保存請求與結果;相同鍵不同參數拒絕,狀態未知先查詢。
怎麼驗證:測逾時、回應遺失、並發、queue 重送與跨程序重試,確認外部副作用只發生一次。
應保存證據:冪等鍵、請求 hash、去重命中、外部交易、重試與人工處理紀錄。
常見失效:只在瀏覽器停用按鈕、每次重試產生新鍵,或把 HTTP timeout 當成未執行。
建議參與:平台、工具 Owner、業務/財務、品質
外部動作與交易・預防性/偵測性/矯正/復原
狀態機、交易邊界與人工補償
適用:AI Agent
要降低的風險:多步驟流程部分成功,系統卻回報整體完成或直接重跑造成更多不一致。
怎麼實施:定義每步狀態、可重入點、提交邊界、補償與人工接管;以外部正式狀態判斷,不以模型敘述猜測。
怎麼驗證:測每一步失敗、補償失敗、程序中斷與人工接管;逐筆核對外部系統最終狀態。
應保存證據:狀態轉移、工具回應、外部前後狀態、補償批准與未解案件。
常見失效:用 try/catch 當交易、回版就宣稱外部動作已復原,或無法表示『狀態未知』。
建議參與:工作流/工具 Owner、平台、業務、客服/財務
外部動作與交易・預防性/偵測性
Dry-run、沙盒與變更差異預覽
適用:AI Agent
要降低的風險:未看清實際收件人、資料差異與影響,就讓 Agent 在正式系統執行。
怎麼實施:先在隔離環境或 read-only 模式產生計畫與精確 diff;正式執行前由有權者檢視實際參數與範圍。
怎麼驗證:比較 dry-run 與正式執行的參數、資料與權限;測預覽後資料變更時必須重新批准。
應保存證據:預覽版本、差異、批准 hash、環境隔離、正式執行與偏差紀錄。
常見失效:沙盒共用正式憑證、預覽是自然語言摘要,或批准後仍可更換收件人與金額。
建議參與:工具/業務 Owner、平台、資安、批准者
外部動作與交易・預防性/偵測性/矯正/復原
步數、成本、速率上限與安全停止
適用:AI Agent
要降低的風險:Agent 迴圈、錯誤重試或工具風暴持續花費並放大外部副作用。
怎麼實施:設定工作、時間、token、成本、工具次數、寫入量與速率上限;重複狀態、錯誤率或預算超限即停止轉人工。
怎麼驗證:注入空結果、持續錯誤、循環計畫、慢回應與超限,確認 circuit breaker 能阻斷且留下可接手狀態。
應保存證據:上限設定、停止原因、告警送達、成本/呼叫量、外部狀態與人工接管。
常見失效:只有全域月預算、停止只關 UI,或 retry 沒有總上限與 jitter。
建議參與:平台/SRE、Agent 工程、成本與工具 Owner
監控與營運・偵測性/矯正/復原
部署後監控、SLO 與分群
適用:文字生成、RAG 知識庫、擷取/結構化、分類/預測、AI Agent
要降低的風險:服務 HTTP 仍成功,但任務品質、引用、權限、成本或人工負荷已惡化。
怎麼實施:監控任務成功、重大錯誤、依據、安全、延遲、成本、申訴與人工覆核;依版本、角色、語言與高影響情境分群。
怎麼驗證:用合成案例端到端觸發指標、告警與接手;抽樣對照真實工作成果,不只檢查 status code。
應保存證據:指標定義與分母、基準、分群儀表板、告警、值班回應與更正紀錄。
常見失效:只看平均滿意度、沒有版本維度、告警從未演練,或自動評分本身未校準。
建議參與:產品、SRE/平台、品質/ML、業務 Owner
監控與營運・偵測性/矯正/復原
可追溯稽核紀錄與證據完整性
適用:文字生成、RAG 知識庫、擷取/結構化、分類/預測、AI Agent
要降低的風險:出事後無法重建輸入、版本、權限、批准、工具呼叫與外部結果。
怎麼實施:以工作 ID 串接最小必要的輸入輸出、模型/提示/索引/工具版本、政策決策、批准與外部狀態;限制存取與保存。
怎麼驗證:隨機抽一筆正式結果重建完整時間線;測日誌輪替、時鐘、欄位缺失與未授權修改。
應保存證據:trace schema、時間同步、存取紀錄、完整性檢查、保存與刪除證據。
常見失效:只存模型回覆、trace 充滿秘密、不同系統沒有共同 ID,或可由同一執行者覆寫。
建議參與:平台/SRE、資安、隱私、稽核/品質
監控與營運・偵測性/矯正/復原
AI 事件流程、回復與演練
適用:文字生成、RAG 知識庫、擷取/結構化、分類/預測、AI Agent
要降低的風險:事故只停聊天介面,外部副作用、錯誤決定與受影響者沒有被更正。
怎麼實施:把模型、資料、RAG、Agent 與供應商事故接進既有事件流程;列停止、保全、回復、補償、通知與救濟角色。
怎麼驗證:用資料外洩、越權動作、錯誤決定與供應商中斷做桌上或技術演練,驗證告警到關單全流程。
應保存證據:runbook、演練時間線、回復結果、外部補償、受影響者處理與改善追蹤。
常見失效:只有工程 rollback、沒有法務/客服/業務角色,或事故關單只看服務恢復。
建議參與:事件指揮、資安、平台、業務、隱私/法務、客服
監控與營運・預防性/偵測性/矯正/復原
供應商變更監控、韌性與退場
適用:文字生成、RAG 知識庫、擷取/結構化、分類/預測、AI Agent
要降低的風險:供應商改模型、限制、資料處理或停止服務,組織無法辨識、降級或遷移。
怎麼實施:盤點相依性、實際版本、資料流、子處理者與合約;建立契約測試、變更通知、核准備援、降級與資料取回/刪除。
怎麼驗證:模擬端點中斷、限流、輸出改變與退場;確認固定版本、切換、資料匯出及舊憑證撤銷。
應保存證據:供應商清單、契約/設定、變更差異、備援演練、資料匯出與刪除證明。
常見失效:狀態頁等於監控、模型別名等於固定版本,或備援從未用相同資料與權限測試。
建議參與:供應商 Owner、採購/法務、平台、資安、資料 Owner