LLM 評測指標怎麼選？正確性、拒答、穩定與人工修正
LLM 可以把錯誤說得非常流暢，因此「看起來不錯」不是可驗收指標。企業真正要比較的是完整應用在特定任務的合格成果、不可接受錯誤、人工修正與營運成本。模型級排行榜可作為初步研究，但不能取代提示、資料、工具與使用者組成的系統級評測。
從任務成功與錯誤後果開始
先把一件工作完成的條件拆開，例如摘要要涵蓋關鍵結論且不得新增事實；客服草稿要回答問題、遵守政策並正確轉人工；擷取要讓關鍵欄位可直接進入後續流程。每題可記錄成功、部分成功、失敗與不適用，再分開統計重大錯誤。不要把重大財務數字錯誤與一個標點錯誤放進同一個平均。
分類或固定欄位任務可以用 precision、recall、F1 與混淆矩陣，但要按重要類別分群。生成任務則適合以必要要點、正確性、指令遵循與禁止事項 rubric 評估。到AI 評測指標資料庫挑選時，主指標應能直接連到 go／no-go，而非因為工具剛好有提供就全部採用。
把拒答與不確定性當成能力
資料不足、問題超出用途或要求危險動作時，正確結果可能是拒答、說明限制或轉人工。測試集要刻意加入無答案、互相矛盾、模糊與超出權限案例，分別量測錯誤硬答、過度拒答與轉人工正確率。只追求回答率會鼓勵模型猜測；只追求安全拒答又可能讓服務失去用途。
NIST 生成式 AI Profile 建議以已知 ground truth 與多種方法評估輸出準確、品質、可靠性與真實性，並結合人工監督與自動評測。這份文件是 AI RMF 的自願性生成式 AI Profile，不是固定及格線。
自動評測器也需要評測
字串比對適合格式與標準答案明確的任務；規則評測器適合禁止欄位或 JSON schema；模型評審可處理語意與 rubric，但可能受提示、順序、模型版本與自身偏誤影響。若用模型當評審，要先拿人工評分作 ground truth，量測一致性與分歧，再保留高風險、邊界與抽樣案例給人複核。
Google Cloud 的官方文件也要求用人工評分作為評審模型的 ground truth，並提供 balanced accuracy、F1 與混淆矩陣等校準方法。這是特定平台的實作方式，不代表所有評測器共用同一尺度。跨工具比較時必須保留 rubric、模型與參數版本。
穩定與人工修正不可漏
對相同及等價輸入重跑，觀察關鍵結論、格式與工具選擇是否落在容許範圍；文字不同不一定失敗，但決策或數字漂移就可能重要。同時量測人工修正率、每件修正分鐘與錯誤採納率。若 AI 生成只花十秒，專業人員卻要十分鐘查核，效率假設就需要重算。
把指標與門檻寫進AI PoC 上線清單，並使用AI 專案預算估算器計算每個合格成果的完整成本。最後保留逐題失敗，而不是只交一張平均分儀表板。