企業 AI 評測怎麼做？從測試集、指標到 go／no-go 決策
企業 AI 評測不是請幾位同事「試用看看」，也不是抄一個模型排行榜分數。要回答的是：在公司的資料、使用者、權限與錯誤後果下，這套完整系統能否穩定完成工作，而且失敗時能被發現、停止與修正。NIST AI RMF 的 Measure 功能要求記錄測試集、指標與 TEVV 工具，並在接近部署條件的環境量測；它是自願性風險管理框架，不是產品認證。
先把評測對象與決策寫清楚
同一個模型放進摘要、RAG 問答與可寄信的 Agent，評測單位完全不同。先寫版本化系統邊界：使用者、輸入、提示、模型、檢索、工具、資料、人工關卡與輸出會去哪裡。接著寫這次決策是進 PoC、限制試用、正式上線、擴大範圍，還是更換模型。若決策不明，團隊很容易選一堆漂亮但無法決定 go／no-go 的指標。
可先用AI 使用情境一頁簡報寫目的、非目標與錯誤影響，再到AI 評測指標資料庫依系統與面向挑選少數主指標。每個指標都要有 owner、方法、資料來源、門檻、例外與證據位置。
測試集要覆蓋真實、邊界與失敗情境
從正式工作抽樣一般案例，再補上少見但高影響的邊界、資料不足、來源衝突、禁止內容、權限跨越、提示注入、逾時與轉人工案例。測試資料要能代表部署環境，並記錄來源、標註規則、版本與是否含個資。調參時反覆看的開發集要和最後驗收集分開，避免團隊只把已知題目調到漂亮。
標準答案不一定只有一句文字。擷取可用欄位答案，分類可用標籤，RAG 可標註相關文件與必要主張，Agent 則要列出允許、需批准與禁止的工具動作。無法用數字判斷的項目可用明確 rubric 與雙人抽查；NIST 也強調量測可採定量、定性或混合方法。
門檻要在看結果前決定
不要把所有指標平均成一個總分。任務成功、重大錯誤、權限、安全、延遲、成本與人工負荷的後果不同。可設定三層：必須通過的阻斷條件、允許限縮範圍修正的條件，以及上線後持續觀察的指標。重大未授權動作、機密洩漏或不可逆錯誤通常需要逐案處理，不能靠其他高分抵銷。
門檻應從人工基準、既有流程、風險容忍度與實際錯誤成本推導，不是從供應商預設的 1–5 分及格值照抄。NIST 2026 年 AI 800-2 初稿也提醒，自動化基準不能滿足所有評測目的；引用時要標示仍為初稿，並保留人工與真實情境驗證。
產出可重現的決策包
評測完成後保存系統版本、資料集版本、執行參數、逐題結果、失敗分類、人工覆核、限制與批准人。決策只能是有條件的：在哪些使用者、資料、流量與權限下可用，哪些情境禁止，何時必須轉人工，什麼變更會觸發重測。把結論連到AI PoC 計畫書與AI 系統清冊，上線後再以正式事件與抽樣結果校準測試集。