AI 供應商 PoC 怎麼比？同案例、成本、品質、安全與可移轉性
比較 AI 供應商時，最常見的方法是各看一次 demo、貼幾個問題，再用月費和主觀印象選出「最好」。這種比較把模型能力、產品設定、提示工程、資料品質、人工投入與供應商協助混在一起，也忽略安全、限流、版本、資料處理與退場。好的 PoC 不是選一個永遠最強的品牌，而是確認哪個方案在公司的指定工作、限制和風險下最可驗收。
NIST AI RMF 資源中心提供自願性 AI 風險管理框架與 Playbook，可協助把治理、情境、量測與處理連起來。NIST SP 1326說明 ICT 供應商盡職調查；NCSC 安全 AI 開發指引則強調供應鏈、文件化、資產追蹤與任務關鍵系統的 failover。這些是評估方法參考，不是產品背書、固定排名或採購批准。
先固定要解決的工作與基線
選一個具體流程，例如「根據已核准知識庫產生客服回覆草稿」，寫出使用者、輸入、合格輸出、人工關卡、錯誤後果、目前工時／品質／成本和禁止用途。沒有現況基線，就算供應商分數很好，也不知道是否真的改善工作。
用企業 AI 使用情境資料庫縮小用途，再把需求寫進AI PoC 計畫模板。PoC 應先驗證最大不確定性，例如文件權限、長尾中文、外部動作或尖峰容量，而不是一次建出完整正式系統。
所有候選使用同一案例與邊界
固定代表性案例、資料截點、評分規則、人工基準、重大錯誤、測試次數與允許調整時間。每個供應商使用相同資料權限和輸出要求；若一方得到專家提示調校，其他方案也要記錄等量支援，否則比較的是顧問投入而非產品。
保存實際模型／端點、版本、參數、提示、RAG 設定、工具、日期與方案。遠端別名若會變，至少記錄供應商回報身分與變更偵測。把正常、邊界、無答案、跨權限、注入、逾時與人工接手放入AI 測試案例庫，不要只挑適合 demo 的成功題。
同時量測品質、安全、營運與人工成本
品質可看任務成功、事實與引用支持、格式、重大錯誤與人工接受；安全看敏感資料、權限、未批准工具與停止；營運看 P50／P95／P99、限流、錯誤、重試、queue 與可觀測性；成本則計算每個合格成果的模型、平台、建置、監控與人工修正，不只比較 token 單價。
平均分數不能抵銷重大失敗。測試前定義哪些情況是 no-go、限縮或重測，例如跨租戶資料、未批准付款、無法追溯版本、重大錯誤漏轉人工。可用AI 評測指標資料庫選最少但會改變決策的指標，再由領域人員盲評與裁決分歧。
把資料處理與供應商證據放進 PoC
在實際 PoC 帳戶核對訓練用途、保存、區域、子處理者、SSO／MFA、API scope、日誌、匯出與刪除。文件、設定、測試分開記；供應商證書不等於公司提示、RAG 和權限已安全。只用合成或已批准資料，不為了測試而把真實 token、客戶名單或機密合約上傳。
從AI 供應商盡職調查資料庫挑出與用途相關的問題，指定應補文件、設定匯出和失敗案例。未知項目不打安全分，而是標示對資料、功能、權限與時間表的限制。
比較可移轉性與供應商失效情境
要求匯出提示、設定、RAG 文件與中繼資料、測試案例、日誌與工作紀錄；確認輸出 schema 和 API 契約能否被替代。演練限流、主要模型撤除、區域中斷、資料刪除和舊憑證撤銷；觀察能否切到人工、規則、唯讀或替代模型，以及切換後品質與成本。
若候選方案都依賴同一上游，不要把它們視為完全獨立備援。若資料格式專有、模型行為難以重現或終止協助未定價，把鎖定成本列入總成本與剩餘風險，而不是只寫「未來可遷移」。
用條件式決策，不做永遠排名
結果至少分成：已證明適合、需限縮後可用、補件／修正後重測、目前 no-go。記錄用途、版本、證據、分群結果、重大失敗、總成本、未知、補償控制、Owner、批准條件與重驗觸發。模型、價格、資料用途、子處理者或公司流程改變後，舊排名就不應繼續沿用。
可用AI 供應商評估規劃器依系統與風險產生 PoC、契約和退場起點，再把實際結果連到AI 風險台帳指南。最終選擇由有權業務、技術、資料、資安、採購與適用法務角色完成；本站不替任何供應商背書，也不保證一份 PoC 能涵蓋所有正式情境。
PoC 報告最低欄位
至少記錄候選方案與版本、正式用途、資料與權限邊界、案例集版本、指標和分母、重大停止條件、逐題／分群結果、人工投入、每個合格成果成本、供應商證據、資料處理設定、容量／事故／退場演練、未知缺口及條件式決策。這樣下一次續約或模型變更時，團隊才有可重跑的基線，而不是一張已過期的總分表。