任務品質
任務成功率
驗收問題：系統是否完成使用者原本要完成的工作？
量測方式：先寫出每個案例的成功條件，再以成功案例數 ÷ 有效測試案例數；重大失敗另列，不只看平均。
適合使用：所有 AI 應用的主指標，尤其適合有明確工作成果的流程。
常見誤區：把語句流暢或流程跑完誤當任務成功，忽略結果是否可用。
保留證據：版本化測試集、逐題結果、失敗分類、複核者與執行版本。
企業 AI 評測指標與驗收資料庫
依文字生成、RAG、擷取、分類與 AI Agent，查詢 36 個品質、依據、安全、營運、成本與人工指標。
這是 ALLinAI 編輯決策輔助資料，不是通用基準、法定門檻、產品排名、認證或所有系統都必須採用的清單。請在測試前，依特定部署情境、既有流程與錯誤後果設定門檻；最後檢視：2026-07-15。
1
先定義工作與決策
寫清楚使用者、資料、系統邊界、重大失敗，以及這次要決定 PoC、上線、限縮或停止。
2
再選少數可行動指標
任務成功是主線；依據、安全、營運、成本與人工指標依情境補足，不把所有數字平均。
3
保存逐題證據
保留資料集、版本、參數、失敗分類、人工複核與批准，讓結果可重現、可重測。
搜尋與篩選 36 個指標
顯示 36 個指標
任務品質
重大錯誤率
驗收問題：會造成權益、金錢、法遵、安全或不可逆影響的錯誤有多少？
量測方式：測試前定義重大錯誤類型；重大錯誤案例數 ÷ 有效案例數，並逐案記錄嚴重度與控制是否攔截。
適合使用：任何高影響或對外正式用途。
常見誤區：用很高的整體正確率掩蓋少量但不可接受的嚴重失敗。
保留證據：錯誤分類表、案例輸入輸出、影響評估、攔截與修正紀錄。
任務品質
欄位／標籤正確率
驗收問題：被擷取的欄位或預測標籤是否符合人工確認的標準答案？
量測方式：依欄位與類別分開計算正確率；必要時同時看 precision、recall、F1 與混淆矩陣。
適合使用：發票、表單、合約擷取，或案件分類與路由。
常見誤區：只報整體平均，讓少數類別、空值與關鍵欄位的錯誤被隱藏。
保留證據：標註規則、標準答案、分群結果、混淆矩陣與爭議標註處理。
任務品質
回答完整度
驗收問題：回答是否涵蓋任務要求與標準答案中的關鍵資訊？
量測方式：把必要要點拆成評分規則，由人工或經校準的評測器逐點判斷；同時保留遺漏項目。
適合使用：摘要、研究、客服與需要多項要件的回答。
常見誤區：用篇幅當完整度；更長的回答也可能漏掉關鍵限制。
保留證據：必要要點 rubric、逐題判斷、遺漏類型與抽樣人工覆核。
任務品質
指令遵循率
驗收問題：輸出是否遵守格式、語氣、範圍、禁止事項與必要步驟？
量測方式：把指令拆成可判斷條件，逐條記錄通過、失敗或不適用；禁止事項應另設重大失敗。
適合使用：格式固定、需守政策或會觸發後續流程的生成任務。
常見誤區：只看 JSON 能不能解析，卻不驗證內容與限制是否正確。
保留證據：系統提示版本、條件清單、逐條結果、解析錯誤與例外紀錄。
任務品質
重複測試一致性
驗收問題：相同或等價輸入重跑時，關鍵結論與動作是否穩定？
量測方式：對代表性案例重跑多次，量測關鍵欄位、結論、工具選擇或評分落在容許範圍的比例。
適合使用：模型具隨機性、流程很長，或使用者需要可預期結果時。
常見誤區：把文字不同都算失敗，或反過來忽略結論與動作已改變。
保留證據：執行參數、重跑次數、差異分類、模型與提示版本。
資料與依據
檢索命中率
驗收問題：回答所需的正確來源是否出現在前 k 筆檢索結果？
量測方式：先標註每題相關文件，再計算 Hit@k 或 Recall@k；依文件類型、權限與題型分群。
適合使用：RAG 回答錯誤時，用來區分是沒找對資料還是生成沒用好資料。
常見誤區：只測容易搜尋的題目，或在沒有標準相關文件時把主觀相似度當命中。
保留證據：查詢、相關文件標註、前 k 筆結果、索引與切塊版本。
資料與依據
檢索排序品質
驗收問題：最有用的來源是否排在模型實際能使用的位置？
量測方式：有分級相關標註時使用 MRR 或 NDCG；同時人工檢視前幾筆是否過時、重複或超出權限。
適合使用：命中了正確文件但回答仍常被無關內容干擾時。
常見誤區：直接比較不同工具顯示的分數，卻忽略 k、標註與計算定義不同。
保留證據：分級相關標註、排名結果、參數、語料與指標定義。
資料與依據
主張依據忠實度
驗收問題：回答中的可查證主張是否能由提供來源直接支持？
量測方式：把回答拆成可查證主張，逐項判斷支持、部分支持、衝突或無依據，再計算支持比例。
適合使用：任何要求依指定文件回答、引用或提出建議的系統。
常見誤區：把事實正確與依據忠實混為一談；即使剛好正確，也可能不受指定來源支持。
保留證據：主張—來源對照、判斷規則、原文片段位置與複核紀錄。
資料與依據
引用正確率
驗收問題：引用連結、文件、頁碼或段落是否真的支持前述內容？
量測方式：抽取每個引用與相鄰主張，逐一檢查來源存在、可存取、版本正確且內容支持。
適合使用：對外研究、客服、法規或內部政策查詢。
常見誤區：只檢查有沒有引用圖示，沒有檢查引用內容。
保留證據：引用清單、來源版本、支持判斷、失效連結與修正紀錄。
資料與依據
資料新鮮度覆蓋率
驗收問題：需要最新資料的案例，是否使用仍在有效期或最新版的來源？
量測方式：為受時效影響的來源設定 owner、有效日或更新週期，計算合格來源占比並測試舊版衝突案例。
適合使用：價格、產品、政策、法規、庫存與流程文件等會變動的知識。
常見誤區：只看索引更新時間，不看原始內容是否已過期。
保留證據：來源 owner、版本、生效失效日、同步紀錄與過期告警。
資料與依據
無答案處理正確率
驗收問題：資料不足、衝突或超出範圍時，系統能否拒答並提出安全下一步？
量測方式：建立確定無答案、資訊衝突與超出權限案例，判斷是否誠實表達限制、避免猜測並正確轉人工。
適合使用：資料庫不完整或錯誤後果高的問答。
常見誤區：把拒答越少當成越好，導致系統在沒有依據時硬答。
保留證據：無答案案例集、拒答規則、錯誤回答、轉人工與使用者提示。
安全與權限
提示注入抵抗率
驗收問題：惡意輸入或外部內容能否改寫系統規則、洩漏資訊或誘發危險動作？
量測方式：以直接、間接、多輪與混淆案例測試；分別記錄規則破壞、資料外洩與動作執行是否發生。
適合使用：會讀取外部文件、網頁、郵件或工具輸出的系統。
常見誤區：只測一句常見 jailbreak，然後宣稱系統安全。
保留證據：攻擊案例版本、輸入輸出、攔截層、工具日誌、修復與重測結果。
安全與權限
未授權動作率
驗收問題：Agent 是否在沒有明確權限或批准時執行寫入、寄送、刪除、付款等動作？
量測方式：建立允許、需批准、禁止三類案例；計算禁止或未批准動作被執行的比例，重大事件採零容忍門檻。
適合使用：任何能呼叫外部工具或改變真實狀態的 Agent。
常見誤區：只看 Agent 最後回覆，沒有查實際工具呼叫與外部狀態。
保留證據：權限矩陣、逐次工具呼叫、批准人、外部變更、回復與事件紀錄。
安全與權限
敏感資料洩漏率
驗收問題：系統是否在輸出、引用、日誌或工具參數中暴露不該看見的資料？
量測方式：用假資料與跨角色案例測試輸入、輸出、日誌、快取與錯誤訊息；逐項判斷是否超出最小必要範圍。
適合使用：處理個資、機密、憑證或跨部門知識的系統。
常見誤區：只掃最終文字的格式，未檢查工具參數、追蹤與支援後台。
保留證據：資料分類、角色權限、測試假資料、日誌檢查、事件與刪除證明。
安全與權限
不安全內容率
驗收問題：在指定政策與受眾下，不允許的危害或違法內容是否被生成或放行？
量測方式：依用途政策建立正常、邊界、規避與多輪案例；記錄攔截、誤擋、漏擋和升級處理。
適合使用：公開服務、未成年或可被大規模濫用的生成系統。
常見誤區：把供應商的通用安全分類直接當成公司的完整政策。
保留證據：政策版本、測試案例、分類結果、人工複核與申訴修正紀錄。
安全與權限
權限邊界通過率
驗收問題：不同角色只能檢索、看見或操作被授權的資源嗎？
量測方式：建立使用者—資源—動作矩陣，測試允許與禁止組合；禁止組合不得因語意相似或跨輪對話繞過。
適合使用：跨部門知識庫、多租戶與使用外部工具的 Agent。
常見誤區：只測正常角色成功，沒有測禁止角色是否被拒絕。
保留證據：權限矩陣、身分與角色、查詢結果、工具拒絕、變更與例外批准。
安全與權限
安全停止與回復成功率
驗收問題：超限、異常或人工停止時，系統能否停止且不留下不一致狀態？
量測方式：在不同步驟注入逾時、拒絕、重複與人工中止；檢查停止時間、已執行動作、補償與資料一致性。
適合使用：長流程、批次、Agent 與會修改外部資料的應用。
常見誤區：有停止按鈕就算通過，卻沒驗證外部動作是否真的停止或回復。
保留證據：故障注入、狀態轉移、外部紀錄、補償結果與演練報告。
營運與可靠性
回應延遲 P50／P95／P99
驗收問題：多數與尖峰使用者要等多久，是否符合工作流程時限？
量測方式：在代表性負載下量測端到端與各步驟延遲，報告 P50、P95、P99，不只看平均。
適合使用：互動服務、尖峰批次或有 SLA 的流程。
常見誤區：只測開發環境單一請求，忽略併發、冷啟動與供應商限流。
保留證據：負載模型、時間窗、分位數、步驟追蹤、模型版本與異常樣本。
營運與可靠性
可用性與有效成功率
驗收問題：在需要的時間內，請求是否完成並產生可用結果？
量測方式：分開記錄服務可達、技術成功與業務成功；依時間窗計算並標記事故與降級模式。
適合使用：正式上線與依賴外部 API 的服務。
常見誤區：HTTP 200 就算成功，忽略空白、截斷、錯誤格式或結果不可用。
保留證據：SLO 定義、監控、錯誤分類、事故時間線與降級結果。
營運與可靠性
重試與重複副作用率
驗收問題：逾時或重試是否造成重複寄送、重複寫入或重複交易？
量測方式：故意製造逾時與重送，計算重複副作用件數；檢查冪等鍵、狀態查詢與人工對帳。
適合使用：任何會寫入外部系統、發訊息或觸發交易的流程。
常見誤區：只測順利路徑，沒有測回應遺失但動作已完成的情境。
保留證據：請求 ID、冪等鍵、工具與外部系統日誌、對帳及修復紀錄。
營運與可靠性
漂移告警有效性
驗收問題：輸入、資料或結果改變時，告警能否及時指出需要重測的真正變化？
量測方式：定義分布、錯誤、來源與人工修正的基準；回放已知變化，追蹤告警命中、漏報與誤報。
適合使用：資料、模型、提示、知識庫或使用方式會持續改變的系統。
常見誤區：只監控 token 或流量，不連到品質與風險結果。
保留證據：基準窗、變更事件、告警、調查、重測與門檻調整批准。
營運與可靠性
追蹤紀錄完整率
驗收問題：能否從結果追溯到輸入、檢索、模型、提示、工具、批准與版本？
量測方式：定義必要追蹤欄位，抽樣正式請求檢查可關聯與可讀性；敏感資料應遮罩而非完全失去證據。
適合使用：需除錯、稽核、事件應變或多步 Agent。
常見誤區：記很多日誌卻沒有共用請求 ID，或把機密原文全部落檔。
保留證據：追蹤欄位規格、抽樣結果、保存權限、遮罩測試與查詢演練。
營運與可靠性
降級與替代流程成功率
驗收問題：模型或依賴失效時，能否安全轉人工、規則流程或替代供應商？
量測方式：關閉關鍵依賴並演練降級；判斷使用者是否收到正確狀態、工作能否繼續且不重複執行。
適合使用：關鍵流程、外部 API 依賴或不可長時間中斷的服務。
常見誤區：只在文件寫有備援，從未在接近正式環境演練。
保留證據：演練腳本、RTO/RPO 假設、切換結果、資料一致性與改善項目。
成本與效率
每個合格成果成本
驗收問題：產生一個通過品質與風險門檻的成果，完整成本是多少？
量測方式：期間內模型、檢索、平台、人工複核與失敗重做成本 ÷ 合格成果數。
適合使用：比較模型、流程、供應商與人工方案。
常見誤區：只算 token 單價，忽略資料、人工、監控與失敗成果。
保留證據：成本來源、時間窗、合格定義、成果數與分攤規則。
成本與效率
每件人工複核分鐘
驗收問題：人員要花多少時間確認、修正與完成一件 AI 成果？
量測方式：從真實工作抽樣，分開量測查核、修改、退回與升級時間，報告中位數與高分位。
適合使用：聲稱節省工時、有人在迴路或需要專業簽核的流程。
常見誤區：把人工審查視為零成本，或用理想示範取代真實人員。
保留證據：任務計時、角色、修正類型、等待時間與工作量分布。
成本與效率
Token 與呼叫效率
驗收問題：完成合格任務需要多少輸入輸出 token、模型與工具呼叫？
量測方式：依合格成果彙總 token、重試、檢索與工具呼叫；比較相同品質門檻下的版本。
適合使用：提示、上下文或 Agent 步驟快速膨脹時。
常見誤區：追求 token 最少卻讓品質下降、重試增加或人工負荷上升。
保留證據：逐步用量、價格版本、重試、品質結果與成本歸屬。
成本與效率
安全快取再利用率
驗收問題：重複工作能否在權限與新鮮度允許時安全重用結果？
量測方式：計算符合權限、版本與有效期的快取命中；另測跨角色污染、過期與撤銷後失效。
適合使用：高重複查詢、昂貴檢索或大量共同提示。
常見誤區：只追求命中率，導致舊資料或他人結果被錯誤重用。
保留證據：快取鍵、角色範圍、有效期、失效事件、命中與錯誤重用紀錄。
成本與效率
失敗與未使用成果浪費率
驗收問題：花費中有多少落在失敗、被丟棄或沒有業務用途的結果？
量測方式：無效請求、失敗重跑、未採用成果與閒置容量成本 ÷ AI 總成本，按原因分類。
適合使用：用量成長但價值沒有同步成長時。
常見誤區：把所有呼叫都當採用，或只靠供應商帳單無法對應工作成果。
保留證據：請求—成果關聯、採用狀態、失敗原因、帳務標籤與改善紀錄。
成本與效率
預算偏差與成本上限事件
驗收問題：實際成本是否在批准情境與用量上限內？
量測方式：比較週期實際與基準預算，拆解價格、流量、上下文、重試與人工差異；超限事件另記。
適合使用：PoC 轉正式、跨部門擴張或變動計價服務。
常見誤區：只看月底總額，無法在異常重試或濫用發生時及早停止。
保留證據：預算版本、單價與匯率假設、用量告警、超限批准與根因。
人工與使用影響
人工修正率
驗收問題：AI 成果有多少需要人員改動才能正式使用？
量測方式：定義輕微、重大、退回與重做，計算各類比例；同時看修改時間與錯誤種類。
適合使用：草稿、摘要、擷取與分類等由人員接手完成的工作。
常見誤區：只看有沒有按接受，未量測使用者其實花多久重寫。
保留證據：原始輸出、最終版本、差異分類、修改者與耗時。
人工與使用影響
錯誤採納率
驗收問題：AI 明顯錯誤時，人員是否仍未查核就接受或執行？
量測方式：在知情且合乎倫理的測試中置入可辨識錯誤，量測採納、查核、否決與升級；避免把人員當成責任轉嫁。
適合使用：人在迴路被當作主要安全控制的高影響流程。
常見誤區：只寫『須人工複核』，沒有驗證人員有時間、資訊、能力與否決權。
保留證據：測試設計、告知與保護、採納行為、訪談、教育與介面改善。
人工與使用影響
轉人工正確率
驗收問題：不確定、高風險或超出範圍的案件是否被正確送給適任人員？
量測方式：建立應轉與不需轉案例，計算 precision、recall；另量測等待時間、資料是否完整與是否找對角色。
適合使用：客服、審查、法規、醫療、財務與例外很多的流程。
常見誤區：只降低轉人工率，讓困難案件被 AI 強行處理。
保留證據：轉人工規則、案件、接手角色、等待時間、處理結果與漏轉事件。
人工與使用影響
使用者理解度
驗收問題：使用者是否知道 AI 的角色、限制、來源與下一步責任？
量測方式：以任務測試與短問卷確認使用者能說明何時要查核、如何轉人工、結果是否為正式決定。
適合使用：對外服務、AI 建議或可能被誤認為專業結論的介面。
常見誤區：只確認畫面上有警語，沒有測使用者是否看懂並採取正確行動。
保留證據：研究腳本、受試者範圍、理解題、觀察、介面版本與改善。
人工與使用影響
工作負荷與品質變化
驗收問題：導入後是否真的減少總負荷，或只是把工作改成更難的查錯與例外處理？
量測方式：比較導入前後任務時間、等待、返工、例外、認知負荷與工作品質；依角色分群。
適合使用：任何以提升效率、減少人力或改善體驗為目標的專案。
常見誤區：只算模型生成速度，忽略查核、改錯、申訴與技能流失。
保留證據：基準期、角色別工時、返工、錯誤、訪談與改善追蹤。
人工與使用影響
申訴與救濟成功率
驗收問題：受影響者能否理解、質疑、改正錯誤並取得人工處理？
量測方式：測試告知、申訴入口、案件路由、處理時限、結果更正與後續系統修正；重大案例逐案檢討。
適合使用：結果會影響資格、價格、服務、權益或正式紀錄時。
常見誤區：只有客服信箱就宣稱可申訴，未驗證案件能否真正改正結果。
保留證據：告知版本、案件紀錄、時限、處理人、結果更正與根因改善。