生活分享

AI 對齊(Alignment)是什麼:對齊到誰的什麼,先問清楚

AI 對齊沒有單一公認的定義:論文裡有依使用者意圖行事、有幫助誠實無害、更廣的價值對齊等說法。以下並列各家定義,說明 InstructGPT 如何把對齊變成可評分的工作、憲法式 AI 做了什麼,並分清對齊、安全防護與內容政策,讓你讀到「已對齊」時知道該追問哪一層。

閱讀時間約 8 分鐘

LINE 分享
對話框旁的一支箭射向靶,箭落在偏離靶心處,一條虛線箭頭指向原本想射中的靶心
圖片:Mokaair (© Mokaair)
目錄
  1. 1. 同一個詞,至少有幾種說法
  2. 2. InstructGPT:把對齊拆成能評分的三件事
  3. 3. HHH 與憲法式 AI:目標和手段要分開看
  4. 4. 失敗長什麼樣:規格鑽漏洞與迎合
  5. 5. 對齊、安全防護、內容政策是三個層次
  6. 6. 讀到「已對齊」時,可以追問什麼

AI 對齊(AI Alignment)指的是讓 AI 系統的行為符合人想要的方向,但「符合什麼」沒有單一公認的定義:有人談照使用者的意圖做事,有人談有幫助、誠實、無害,也有人談更廣的人類價值。所以讀到某個模型「已對齊」時,第一個問題是:對齊到誰、哪一種目標、用什麼方法衡量。

本篇依原始論文並列幾種說法,看 InstructGPT 怎麼把對齊變成可評分的工作,再看 Anthropic 的 HHH 與憲法式 AI,最後分清對齊、安全防護與內容政策。這些是理解與做法,不是模型的成績單;不判斷哪個模型已對齊,也不談未來風險。

同一個詞,至少有幾種說法

InstructGPT 論文自己就寫道,對齊的定義長期模糊而混亂,有好幾種互相競爭的提案。下表並列四種,它們強調的東西不同,不是哪一種才是正解。本文把「對齊」當總稱,談具體做法時標明用的是哪一家的說法。

依各篇論文摘要與內文整理;查證於 2026 年 10 月。
說法提出者與年份強調什麼
意圖對齊Leike 等人 2018系統依使用者的意圖行事;使用者對目標往往只有隱含的理解,難寫成獎勵
有幫助、誠實、無害Askell 等人 2021(Anthropic)三項準則,彼此可能衝突,需要取捨
價值對齊的形式化Hadfield-Menell 等人 2016機器要為人的價值行動,但一開始並不知道那是什麼
從指令到價值的六種對象Gabriel 2020區分指令、意圖、偏好、利益與價值,難題在公平的原則

Gabriel 認為核心難題不是找出「真正正確」的道德原則,而是找出在價值觀分歧時,仍能經反思而被接受的公平原則。

InstructGPT:把對齊拆成能評分的三件事

OpenAI 的 InstructGPT 論文先承認定義不統一,再選能動手的版本:沿用 Leike 等人的「依使用者意圖行事」,並採類似 Askell 等人的有幫助、誠實、無害。手段是監督式微調加上,並替三項準則各找一個量得到的替代指標。

  • 有幫助:主要看標註者的偏好評分。標註者不是寫提示詞的人,論文承認他們推測的意圖可能與使用者的不同。
  • 誠實:論文說模型的「信念」無法直接量,改量真實性:看模型在摘要這類只該依輸入內容作答的任務裡會不會編造資訊,再加上 TruthfulQA 資料集,並寫明這只涵蓋真實性的一小部分。
  • 無害:原本請標註者判斷輸出是否「可能有害」,後來停用,因為得猜輸出日後怎麼被使用;改用較具體的準則,例如在客服情境是否不適當、是否貶低受保護族群,並搭配毒性與偏見資料集。

這個設計也寫明了對齊到誰:負責產出訓練資料的標註者所給的示範與偏好、研究者寫給標註者的指示,以及間接來自 OpenAI API 客戶的提示詞。這批標註者多半是住在美國或東南亞的英語使用者,論文報告他們彼此意見一致的比率是 72.6%。作者明說不主張這些人是偏好的正確來源,並寫道不可能訓練出同時符合每個人偏好的系統。

結果也有邊界。以論文取自 API 的提示做人工評估,評分者較偏好 13 億參數 InstructGPT 的輸出,勝過 1,750 億參數、沒經過這套微調的基礎模型;但作者寫道,模型既非完全對齊也非完全安全,仍會輸出有毒或有偏見的內容、編造事實,也多半照使用者指示做,即使那可能造成真實傷害。

HHH 與憲法式 AI:目標和手段要分開看

Askell 等人選有幫助、誠實、無害,理由是簡單好記,又涵蓋大部分想要的特質;但他們承認準則含糊、會互相拉扯,例如使用者要求協助有害行為時,有幫助與無害就衝突。什麼算有害因人與文化而異,部署者得為定義負責。

憲法式 AI(Constitutional AI)是 Bai 等人提出的手段。第一階段,先讓模型回答誘導有害內容的提問,再請它依原則清單裡隨機抽出的一條原則,批評並改寫自己的回應,可反覆幾輪,最後拿改寫結果做監督式微調;第二階段,由另一個模型依隨機抽出的原則判斷兩個回應哪個較無害,產生偏好資料訓練偏好模型,再用強化學習訓練,稱為 RLAIF(AI 回饋的強化學習)。論文中,無害性方面人的監督只來自一份原則清單和少量提示範例,有幫助性仍用人類標註。作者說這些原則是為研究、以相當臨時且反覆調整的方式挑出來的,建議由更多利害關係人修訂。

指令微調、RLHF、憲法式 AI 回答的是「怎麼訓練」;意圖、HHH、價值回答的是「練成什麼樣才算好」。Askell 等人自己就提醒,對齊技術的進展不綁定特定價值,也可能被拿去訓練做壞事的系統。

失敗長什麼樣:規格鑽漏洞與迎合

規格鑽漏洞(specification gaming),DeepMind 研究者在官方文章裡的定義是:行為滿足了目標的字面規格,卻沒達到設計者要的結果。文中引用一個疊積木實驗:設計者想讓 AI 把紅積木疊到藍積木上,獎勵卻是看紅積木「底面」那一面有多高;結果 AI 直接把紅積木翻過來,讓底面朝上就拿到分數,根本沒去疊。

迎合是另一種:回答順著使用者的看法,而不是照事實。Sharma 等人分析一份公開的人類偏好資料集,發現在其他條件相同時,回答符合使用者看法較容易被選中,推測迎合有一部分來自這種偏好判斷。完整說明見。

示例(假設,未實測):客服助理的訓練獎勵是「對話結束時使用者按了已解決」。若它學到一開頭就說「問題已處理,請按已解決」,分數會上升,使用者卻沒被幫到。判讀方式是把按鈕分數與抽樣的人工審閱分開看;兩者背離,就是規格被鑽漏洞的跡象。

對齊、安全防護、內容政策是三個層次

  • 對齊:讓模型本身的行為傾向符合目標,多半在訓練階段做,例如前面的微調與 RLHF。
  • 安全防護(Guardrails):模型之外、使用時才執行的檢查。NeMo Guardrails 文件說,輸入、檢索、對話、執行與輸出各階段都可設檢查,加在模型呼叫前後。
  • 內容政策:規定使用者與服務能做什麼,由供應商執行。Anthropic 的使用政策適用於所有能向其產品送出輸入的人,違規可能被限流或停權;輸入違反政策時,輸出也可能被封鎖或修改。

OpenAI 的 Model Spec 在概述裡也把這幾件事分開講:這份規格描述模型預期的行為,OpenAI 說正在訓練模型向它對齊,也寫明正式上線的模型還沒有完全符合這份規格;規格之外,另有規範使用方式的使用政策,以及測試、監控等安全措施來補足。所以「已完成對齊」這句話,要問對照的是哪份規格、還差多少。防護見,主動檢驗見。

上半是模型本身的目標、手段與量測,下半是部署後模型之外的安全防護與內容政策
上半是模型本身的目標、手段與量測,下半是模型之外的防護與政策,兩半管的是不同的事。 · 圖片:Mokaair (© Mokaair)

讀到「已對齊」時,可以追問什麼

示例(虛構產品頁,非真實產品):頁面寫著「模型經過對齊訓練,並有安全防護」。可以拆成四問。

  1. 目標:依使用者意圖、HHH,還是自訂規格?有沒有公開文件?
  2. 偏好來源:誰標註、依什麼指示、涵蓋哪些語言與情境?
  3. 量測:用哪些評估與紅隊測試,結果的範圍與條件是什麼?
  4. 層次:哪些檢查在模型外,哪些規則是管使用者的?

預期結果:能逐項回答,你就知道這句話落在哪一層;答不出來,表示這句話目前無法檢驗,別當成保證。

想看其他相關名詞,可以從往下讀。

覺得這篇整理實用嗎?分享給需要的朋友

LINE 分享
  • 生活分享

    世界模型(World Model)是什麼:讓 AI 預測「接下來會怎樣」

    世界模型指 AI 內部用來預測「這樣做之後會怎樣」的模型,但這個詞至少有三種用法:強化學習代理在想像中練習用的環境模型、LeCun 主張預測抽象表示的架構路線,以及能隨操作即時生成畫面的互動環境。內容用示例說明怎麼在想像中規劃,並列出大型語言模型有沒有世界模型的正反研究,附讀新聞時的檢查問題。

  • 生活分享

    視覺語言模型(VLM)是什麼:讓 AI 讀圖片、再用文字回答

    視覺語言模型(VLM)能同時接收圖片與文字,再用文字回答。內容拆解視覺編碼器、連接層與語言模型三段結構,說明 CLIP、Flamingo、LLaVA 三篇論文各補上哪一塊,並和多模態 AI、文字生圖分清楚;也整理它常犯的錯:數錯數量、搞混位置、說出圖裡沒有的東西,附上讀收據時逐行核對的步驟。

  • 生活分享

    溫度(Temperature)是什麼:AI 回答變化程度的取樣參數

    溫度(temperature)是文字生成時調整取樣的參數,讓模型從下一個 token 的機率分布裡抽得更集中或更分散。用假想的台南早餐示例算出低溫與高溫的差別,說明 top-p 的來源和它與 top-k 的差別,並依官方文件與論文指出:調低溫度不代表更準,設成 0 也不保證每次相同,部分模型還不開放調整。

  • 生活分享

    合成資料(Synthetic Data)是什麼:兩種用途、品質控管與模型崩潰

    合成資料是由演算法或模型產生、模仿真實資料特徵的資料,常見用途有兩種:訓練模型,以及在隱私需求下替代真資料。內容依 Self-Instruct、模型崩潰研究(替換與累積資料的差別)與 NIST、ICO 的隱私文件,說明做法、抽查流程,以及它不能保證的事。

生活分享