企業 AI 導入 KPI 怎麼訂？價值、品質、採用與風險四層指標
只看登入次數，無法證明 AI 有價值；只看節省工時，也可能忽略人工修正、錯誤與風險。企業 AI KPI 應同時涵蓋價值、品質、採用與風險，並與導入前基準比較。指標是決策工具，不是為了把所有數字都做成漂亮儀表板。
第一層：業務與工作價值
先量最接近原始問題的結果，例如每件處理時間、等待時間、一次完成率、返工、案件量、回覆速度或找到文件的時間。若要換算金額，分開標示「可釋放工時」與「實際財務效益」，避免把每一分鐘都當成現金收入。
例如會議紀錄助手的價值指標可以是紀錄完成時間與待辦漏項，而不是生成字數；RAG 搜尋則看找到正確文件的時間與轉專家率。可從30 個企業 AI 使用情境查看每個情境適合的第一組 KPI。
第二層：輸出與系統品質
依任務選擇正確率、引用正確率、完整度、無答案判斷、人工修正率、延遲、可用性與單次成本。生成式 AI 不適合只用一個平均分數，因為高風險錯誤可能被大量簡單題掩蓋。
測試集應分正常、邊界、過期、權限不足、無答案與惡意輸入，並保存模型、提示、知識庫與評測版本。NIST 的生成式 AI 文件強調部署前測試與真實情境評估；上線後還要持續抽樣真實工作，確認資料與使用方式改變後品質沒有漂移。
第三層：採用與流程行為
追蹤符合資格的工作中有多少真正使用、使用後是否完成、人員在哪一步放棄、是否轉人工，以及不同角色的採用差異。低採用可能是訓練不足，也可能代表工具比原流程更慢、答案不可信或權限設計錯誤。
不要用登入數逼員工「刷使用」。應訪談未使用者、觀察流程並記錄替代工具。若出現大量未核准 AI，可參考Shadow AI 盤點與治理找出需求缺口。
第四層：風險與治理
至少追蹤敏感資料誤用、權限越界、應拒答卻回答、錯誤對外發布、事故與近失事件、通報到處置時間、過期內容引用、供應商變更與未完成複查。風險事件不能只算總數，還要依嚴重度、影響範圍與根因分類。
NIST AI RMF 將治理、情境、測量與管理連結，表示 KPI 必須對應責任與處置。若某個指標超過門檻，要事先知道由誰暫停、回復、通知與重新驗收。
如何設定基準與門檻
導入前先量兩到四週，保存案件量、時間、品質與例外。PoC 期間同時跑人工基準或抽樣複核，不只比較不同模型。指標要寫清楚分母、資料來源、期間、排除條件與 owner，否則不同週的數字可能不可比較。
門檻可分三類：上線門檻、警戒門檻與停止門檻。例如引用錯誤率超過警戒值時增加抽查，出現跨權限資料時立即停用。門檻應依影響校準，不能直接照抄別家公司數字。
一頁式 KPI 範例
- 價值：平均處理時間、每月完成量、返工率。
- 品質：任務成功率、引用正確率、人工修正率、延遲。
- 採用：符合資格工作的使用率、完成率、轉人工率。
- 風險：敏感資料事件、權限越界、停止門檻觸發數、平均處置時間。
先用AI 使用情境優先順序工具選定場景，再依企業 AI 導入路線圖建立基準。進入正式營運前，用PoC 到上線清單確認每個 KPI 都有資料來源與處置責任。