AI 系統怎麼監控？日誌、品質、成本與風險警戒完整指南
傳統監控常看服務是否在線、延遲與錯誤率；AI 系統還要回答輸出品質是否退化、引用是否正確、應拒答時有沒有回答、哪個模型與資料版本造成問題，以及每個合格成果花多少成本。沒有可觀測性，團隊只能等使用者回報再重現。
建立一條端到端追蹤
為每次工作建立 trace ID，連接使用者角色、應用版本、模型、提示、檢索、工具呼叫、外部回應、人工決定與最終業務結果。不要只記模型輸入輸出，因為錯誤可能來自過期文件、權限、資料轉換或下游 API。
日誌欄位要以診斷目的為準，能用雜湊、識別碼、分類或長度就不要保存完整內容。個資與機密的保存、存取和刪除依組織適用的法律與契約審查。
四層監控指標
系統健康
請求量、延遲、錯誤、逾時、重試、配額、可用性與外部依賴。重試必須能辨識同一工作，否則一次故障可能變成重複寄送、寫入或付款。
AI 與 RAG 品質
任務成功、引用正確、無答案、拒答、人工修正、檢索命中與過期內容。抽樣真實工作並定期重跑固定測試集；使用RAG 評測紀錄表保存版本與判定。
成本與用量
輸入輸出用量、模型、快取、失敗重試、外部 API、儲存、基礎設施與人工複核。FinOps Foundation 建議把 AI 成本與業務成果連結，追蹤每個情境或成果單位，而不只看總 token。
風險與控制
權限拒絕、敏感資料偵測、提示注入、應拒答卻回答、工具動作、速率限制、人工批准與停止門檻。OWASP Excessive Agency 的緩解建議包含最小權限、限制功能、記錄監控擴充工具與下游系統，以及速率限制。
警戒要能連到動作
每個警戒指定門檻、owner、通知、初步查詢、暫停或降級方式與結案條件。高錯誤率可能自動切回人工，權限越界應立即停止相關功能；成本超標可以降低額度或改批次，但不能在品質與安全未知時只換便宜模型。
用AI 事件紀錄模板統一事件時間軸，並把事件連回AI 系統清冊中的版本、owner 與資料。
日誌不等於保存所有內容
完整 prompt 和回答可能含個資、機密、金鑰或第三方資料。先定義診斷需要、遮罩、取樣、加密、角色、保存與刪除。生產與測試分開，客服或分析人員只看需要欄位。不要讓監控平台成為新的高權限資料集中地。
模型與資料變更監控
保存每次模型、提示、知識庫、工具與規則版本，重大變更前後比較固定測試集與真實樣本。供應商若會自動更新模型，確認通知、鎖版、回復與重新驗收能力。NIST AI RMF Playbook 的 Manage 功能建議在整個生命週期追蹤負面風險與效益，並在部署後持續監控。
最小可行儀表板
第一版只要能按情境與版本查看：合格成果量、任務成功、人工修正、拒答、權限事件、延遲、失敗重試、單位成果成本與最近事故。每週看警戒、每月看價值與成本、重大變更重新測試。
若尚未建立指標，從企業 AI KPI 指南選四層各一項，再用AI 專案預算估算器設定成本警戒。