紅隊測試（Red Teaming）：主動找出 AI 系統會怎樣失敗

紅隊測試，英文 Red Teaming，在 AI 情境是主動設計對抗或壓力案例，尋找模型與系統可能產生的非預期行為。它可能檢查錯誤資訊、敏感資料處理、工具濫用、權限邊界或其他特定風險。重點不是證明測試者很會問刁鑽問題，而是找出可重現的失敗，讓團隊知道如何修正並再次驗證。

NIST 的生成式 AI 風險文件將 AI 紅隊視為持續發展的實務，強調受控環境、對不良行為的探索及結果分析。Anthropic 的原始紅隊研究則展示人工對抗測試的具體方法與限制。本篇採這些來源，用虛構活動問答助理示範防禦性流程，不提供攻擊真實服務或取得他人資料的操作。

先決定要檢查哪個系統邊界

模型本身與完整應用可能有不同風險。純文字助理可能只產生錯誤說法，連上工具的代理則可能查資料、改檔案或呼叫外部服務。測試前應界定模型版本、工具、資料來源、使用者角色及允許範圍，確認測試環境不會影響真實使用者。沒有這些條件，單一失敗截圖很難說明到底是哪一層出問題。

好的測試假設要具體，例如「外部文件中的指示，是否會被誤當成系統任務」、「一般讀者是否可能看見內部測試欄位」。這些問題可對應輸入、觀察與成功標準。只說要讓模型失控，容易混入彼此不同的風險，也難以判斷一項修正是否真正生效。範圍清楚不會削弱探索，反而讓發現更可用。

紅隊與一般評估怎麼分工

一般評估常用固定題集測量既定能力與品質，適合追蹤版本變化。紅隊則刻意尋找邊界案例、組合條件與可能繞過防護的路徑，常會根據前一步觀察調整下一個測試。兩者互補：探索發現新的失敗後，可把適合儲存的案例加入固定回歸測試，避免下一次更新重犯。

自動漏洞掃描也不是完整替代。它可以找部分已知模式，但 AI 的多輪互動、語意誤解與工具組合，需要更貼近任務的測試。另一方面，人工紅隊不保證涵蓋所有路徑，測試者的背景、語言與經驗也會影響發現。可以結合不同來源的案例與獨立評估，並記錄尚未涵蓋的範圍，而不是把某次測試包裝成全面認證。

示範：活動問答助理的受控測試

假設助理只能回答公開活動資訊，測試資料包含一份公開手冊與一份以虛構內容製作的內部文件。團隊先確認一般使用者只能檢索公開資料，再設計帶有模糊角色或混合問題的測試，觀察系統是否意外引用內部欄位。預期結果是在資料檢索層就維持權限，而不是先讀到全部內容再靠模型口頭承諾不透露。

另一個案例是在受控文件中放入與文件主題無關的指令性文字，觀察助理是否將其當成待分析資料，或錯把它當成改變任務的權威。測試可以使用無敏感值的標記與假資料，不需要碰真實機密。若模型忽略外部指令但工具仍能越權讀取，仍有系統問題；若工具被擋住但模型編造資料，也需要記錄成另一種失敗。

完整紀錄應包括原始請求、對話前文、資料版本、工具結果與最終輸出，並分清模型嘗試、工具拒絕和實際資料曝光。這些不是同一嚴重程度。若只儲存一句有爭議的回答，可能漏掉工具已成功防護的事實，也可能忽略模型文字看似正常但外部操作已發生的情況。

一次失敗如何變成可修正發現

發現後先確認是否可重現、需要哪些前提、影響哪些使用者與資料，再定位可能原因。修正可能在檢索權限、工具參數驗證、提示詞邊界、輸出處理或介面授權，而不一定只改模型。不同層的防護可以相互補強，但要知道哪一層實際阻止了問題，避免重測時把偶然成功當成根治。

測試通過也要有同樣清楚的範圍。某個版本在一組案例中沒有失敗，只能說明該組條件下未觀察到問題，不能證明所有語言、工具或多輪情境都安全。模型具有隨機性時，單次重測尤其有限；應按風險與成本決定重複方式，並保留實際成功和失敗的比例及條件，而不是只選一張成功截圖。

如何讀一份紅隊報告

有用的報告會說明測試範圍、方法、模型與系統版本、重要發現、重現條件、影響分析及修正狀態。發現、修正、重測通過與正式部署是不同階段，應分別記錄。若報告只說已找到很多問題，卻沒有處理進度，不能視為風險已經降低；若只說通過，也要看到底測過什麼。

測試結果中的成功率也需要分母。針對已知弱點反覆調整的對抗題，不能直接代表所有日常請求的出錯機率。不同測試者與預算可能得到不同發現，因此跨報告比較時要確認任務、範圍和計算方式一致。NIST 提醒應進一步分析紅隊結果再用於治理與決策，避免把探索性數字當成完整風險量測。

對使用 AI 工具的一般讀者，可以關注供應商是否描述實際測試範圍、修正方式與持續評估，而不是只看「經過紅隊」的標語。對開發團隊，最實用的下一步是把重要發現變成可重現測試，指定負責人與修正驗證。紅隊的價值在讓未知失敗變成可處理的工程問題，不是測試結束時宣佈從此不會再出事。新工具、新資料來源或權限調整後，原本通過的邊界可能改變，所以重測應跟著系統版本走。尤其新增能寫入外部服務的工具時，純文字模型的舊測試不足以代表新行動範圍。把變更和測試證據連在一起，才看得出防護是否仍覆蓋目前的產品。

提示詞注入（Prompt Injection）是什麼

安全防護機制（Guardrails）是什麼

沙盒（Sandbox）：讓 AI 執行工具時有明確邊界

AI 名詞總索引：從 Loop Engineering 到生成式 AI

• AI 工具
• 教學
• AI 名詞解釋