AI PoC 如何正式上線?從測試、權限到監控的 18 項清單
AI PoC 能回答「這個想法可能有效」,正式上線還要回答「真實使用者、真實資料、服務中斷與版本變更時,系統能否被安全管理」。以下 18 項可作跨部門交接清單;實際標準應依產業、資料與影響調整,不能取代資安、法務、隱私或專業驗收。
A. 用途與責任
- 用途邊界:文件列出允許與禁止用途,不把原 PoC 默默擴張成其他決策。
- 系統 owner:有人負責品質、預算、風險與停止決定。
- 資料 owner:每個資料來源有人批准、更新與撤除。
- 人工關卡:高影響輸出由指定角色複核,升級與拒答路徑已實測。
若這四項尚未明確,先回到企業 AI 導入六階段路線圖補齊治理,不要只由開發者默認承擔。
B. 資料與權限
- 資料合法與最小化:只處理用途必要資料,保存、刪除與使用依據已審查。
- 版本與來源:知識文件有生效日、適用範圍、原文連結與過期處理。
- 角色權限:使用者、管理者、服務帳號與外部工具採最小權限,跨角色測試完成。
- 租戶與秘密:密鑰不在程式、提示或日誌中,環境與租戶隔離方式已確認。
RAG 專案可先跑RAG 知識庫就緒度檢查,確認 owner、權限、版本、測試集與拒答機制。
C. 品質與安全測試
- 代表性測試集:包含正常、邊界、過期、無答案、權限不足與不同角色。
- 惡意測試:測過提示注入、惡意文件、敏感資料索取與外部工具濫用。
- 可追溯輸出:需要事實依據的回答能回到來源;不能確認時會拒答。
- 停止門檻:品質或風險超標時能暫停、回復前版並重新驗收。
OWASP 的大型語言模型應用風險清單可協助設計攻擊案例,但真正驗收要對應自己的資料流與權限。NIST 生成式 AI 風險管理文件也強調部署前測試、內容來源、第三方風險與事件揭露。
D. 系統與營運
- 容量與成本:測過尖峰、逾時、配額、重試與單次成本,設有預算警戒。
- 外部失敗:模型、向量庫、API 或自動化平台中斷時,不會重複付款、發布或破壞資料。
- 日誌與隱私:成功、失敗、版本與責任可查,敏感內容不被過度記錄,保存期限已設定。
- 支援與回復:值班、通報、備份、降級、人工替代與災難復原已演練。
CISA 與英國 NCSC 的安全 AI 系統開發指引以 secure design、development、deployment、operation and maintenance 涵蓋整個生命週期。這表示安全不是上線前掃描一次,而要延伸到更新、監控與事故處理。
E. 供應商與持續治理
- 供應商與變更:資料用途、分包商、事故通知、模型更新、服務水準、匯出與退場都有書面依據。可用AI 供應商評估清單補件。
- KPI 與複查:價值、品質、採用、風險指標都有 owner、資料來源、門檻與複查週期。
正式上線批准應保存版本、測試證據、已知限制、例外接受人與到期日。不能把「已知風險」寫在會議紀錄後就不再處理;應指定改善、接受、轉移或停止的決策。
建議的上線會議
由業務 owner 說明價值與流程,資料 owner 說明來源與權限,技術團隊展示測試、監控與回復,資安與法務提出未解問題,最後由有權責的人做有條件批准或停止。會後把決策與證據放入可追蹤位置。
上線後依企業 AI KPI 指南每週看警戒、每月看價值、依風險定期重測;模型、提示、資料、外部工具或用途重大改變時重新驗收。需要協助梳理整套流程,可查看企業 AI 導入服務。