AI Prompt 版本管理怎麼做?System Prompt、政策與回歸實務
System prompt、工具描述與安全政策會直接改變 AI 的任務、拒答與行動邊界。把 prompt 複製到文件、檔名寫 final-v3,無法回答線上到底用了哪一版,也無法證明一次文字修改沒有破壞其他流程。Prompt 版本管理的核心不是選一套工具,而是讓每次結果都能連回確切設定與批准。
把完整組合當成版本
版本不只是一段 system prompt。模型、參數、提示模板、少量示例、工具描述、輸出 schema、安全政策與後處理都要一起識別。用不可變版本 ID 與內容 hash,記錄作者、原因、適用系統與生效時間;秘密值只保存參照,不進 prompt 版本庫。
差異要能對應風險
文字 diff 只能顯示改了哪些字,不能顯示行為影響。改語氣仍要測格式與完整度;改安全政策要測允許/拒絕邊界;改工具描述要測未批准動作與錯誤參數。可先到AI 系統變更資料庫選取變更類型,再用變更影響分析器產生最低重測範圍。
用固定案例做回歸
保存代表性任務、曾出錯案例、權限、安全、無答案與人工升級。對有隨機性的輸出重跑並看變異;高影響案例由人工複核。NIST AI 800-2 初稿強調評測目標、實作、追蹤與報告要完整揭露,適合用來檢查 prompt A/B 是否真的可比較。
將 prompt 與發布工件綁定
正式結果應能查到 prompt 版本、模型、測試集與程式版本。上線前記錄 go/限縮/重測/no-go 決策;上線後把錯誤、使用者回報與人工修正連回版本。可用AI 事件紀錄模板保存事故,再把修復案例加入AI 測試案例庫。
回復不能只靠貼回舊文字
舊 prompt 可能依賴已更換的模型、工具或 schema。回復點要包含整個相容組合,並先演練可在預定時間恢復。若變更涉及權限或外部動作,異常時應 fail closed,不能因 prompt 載入失敗就落到沒有控制的預設值。