人類回饋強化學習（RLHF）：把偏好變成訓練訊號

人類回饋強化學習，英文 Reinforcement Learning from Human Feedback，簡稱 RLHF，是把人類對模型行為的判斷轉成訓練訊號，再用強化學習調整行為的做法。它不限於語言模型；早期研究也以人類偏好比較教導代理行為。在聊天模型情境，人們常比較多個回答，選出更符合指定準則的一個。

這裡主要說明 InstructGPT 研究裡常被引用的流程：先學人工示範，再收集回答比較，訓練獎勵模型，最後依獎勵調整語言模型。這是典型實作，不是 RLHF 的唯一固定配方。理解這條路徑後，你會知道聊天介面的按讚並不等於當場更新模型，也能分辨偏好資料與模型真實能力之間的距離。

人類提供的不是完整公式

很多工作很難用一條簡單規則評分，例如摘要是否清楚、回答是否有幫助、語氣是否恰當。人類可能比較容易在兩個具體候選中做判斷，研究便利用這種相對偏好形成資料。標註仍要有準則，否則同一回答可能因長度、禮貌或個人經驗而被不同人選中，模型收到的訊號也會不一致。

原始人類偏好研究展示了利用比較資料學習獎勵，再調整代理行為的方向。在語言模型中，這個思路可以讓訓練目標更貼近人們希望的回答方式。但「人類回饋」不是一個超越立場的公正來源，它來自特定標註者、任務及規則。報告應說清楚誰評、依什麼評，以及哪些情境未涵蓋。

典型流程如何串起來

以 InstructGPT 的方法為例，首先用人工寫的理想回答做監督式微調，讓模型具備跟隨指令的基本行為。接著對同一提示詞產生多個候選，請標註者排序，再訓練獎勵模型預測人類較偏好的回答。獎勵模型是在近似標註模式，並不是能直接衡量真理或善惡的儀器。

最後用強化學習更新回答策略，使模型傾向產生獎勵較高的內容，同時限制與參考行為偏離過大。該研究使用 PPO，但 RLHF 不等於 PPO 的別名。實務流程也可能反覆收集新回饋、重新訓練與評估。每個階段產生不同成果：比較資料、獎勵模型和可對話模型不能混成同一個東西。

示範：比較兩份活動摘要

假設輸入是一份虛構讀書會紀錄，要求摘要重點並保留未決事項。候選甲短而流暢，卻把尚未確認的下次日期寫成已決定；候選乙稍長，但清楚分開已定事項和待確認內容。依忠於原文的準則，標註者應偏好乙。這個例子沒有實際訓練，只用來展示偏好標記在教模型重視什麼。

如果評分規則只問「哪一份讀起來更順」，甲就可能獲選，系統反而學到掩蓋不確定性。好的標註流程應把內容支持度、完整性與表達品質分開討論，遇到兩份都不合格時也保留原因，而非硬把其中一份當成理想答案。偏好資料能改善行為的前提，是它真正反映產品需要的品質。

訓練後要用新會議紀錄與不同寫法評估，並讓評估者看不到模型身分，減少品牌或版本期待的影響。若模型更常列出「待確認」，仍要核對是否對應真正缺資料，而不是把這個詞當成討好評審的固定句。表面特徵與實際可靠度需要分別檢查，不能只計算某種措辭出現多少次。

獎勵提高，不代表目標都提高

獎勵模型只是在有限資料上學到的代理指標。當回答策略不斷最佳化它，可能找到標註者原本不想鼓勵、卻能拿高分的特徵，例如過度冗長、自信措辭或重複強調某種價值。這類獎勵漏洞不需要模型有人的意圖，也可能由最佳化自然形成。應持續抽查高分輸出是否真的符合原始要求。

偏好也可能和真實性衝突。迎合使用者的錯誤前提，往往比指出矛盾更令人舒服，但舒適不等於正確。InstructGPT 論文本身也明示模型仍會犯簡單錯誤，並討論它對齊的是特定群體的偏好。不能把經過 RLHF 當成全面安全、沒有偏誤或不會幻覺的證明，這些需要獨立評估。

如何理解產品上的回饋按鈕

使用者按讚或回報錯誤，可能成為服務方後續分析資料的一部分，但資料如何儲存、是否用於訓練及何時更新，取決於具體產品政策。這個操作本身不代表當次對話立刻對模型參數做強化學習。即時調整回答、長期記憶和後續批次訓練，是不同機制，不能從一個回饋按鈕推定。

DPO 等直接偏好方法同樣使用偏好資料，但以不同目標直接訓練策略，不需要照典型 RLHF 流程另訓獎勵模型再做線上強化學習。兩者是理解偏好訓練的重要鄰近概念。閱讀模型報告時，應看它實際使用哪種資料和更新方式，而不是把所有人類評分都統稱為同一條流程。

評估 RLHF 成果，可以要求看到未見問題、不同任務和不同標註群體的結果，也應保留不一致與失敗案例。若只在同一套獎勵模型上分數提高，證據仍有限。模型學會了什麼，最終要回到真實任務中的內容品質、誠實表達和可驗證行為，而不是只看訓練曲線向上。偏好資料也需要版本。當摘要準則從追求簡潔改為保留所有待決事項，舊標註可能不再符合新目標；重用資料前要確認準則一致，不能把所有歷史回饋視為同一種正確訊號。

監督式微調（SFT）：用好示範教模型完成任務

直接偏好最佳化（DPO）：用回答比較直接調整模型

人工介入（Human-in-the-loop）：讓人有資訊也有決定權

AI 名詞總索引：從 Loop Engineering 到生成式 AI

• AI 工具
• 教學
• AI 名詞解釋