以語言模型擔任評審（LLM-as-a-Judge）是什麼

LLM-as-a-Judge 是用大型語言模型擔任評審，依明確條件檢查回答、比較候選內容或給出評分。它能協助處理難以用單純字串比對判斷的語意問題，例如摘要是否遺漏重要條件、說明是否符合讀者需求。但評審本身仍是模型，也可能誤解、偏好某種風格或被待評內容影響。

以下用展覽說明改寫的原創案例示範：兩份文字哪一份更忠於提供的資料、又適合一般觀眾閱讀？這不是尋找永遠公正的自動裁判，而是建立有邊界、能校準的評估工具。資料查證截至 2026 年 9 月 14 日。

先說清楚要評的是哪一種品質

Zheng 等人的 MT-Bench 與 Chatbot Arena 研究探討以強語言模型評估開放式回答，並指出位置、冗長和自我偏好等限制。MLflow 的官方評估文件也提供模型評審與自訂評分器的實作。這些資料支持模型評審的用途，同時提醒效果依任務與設定而定，不能直接推論所有評審都可靠。

展覽改寫可以分成忠實性、完整性與可讀性。忠實性看是否新增來源沒有的資訊；完整性看必要條件是否保留；可讀性看一般觀眾是否容易理解。如果只問「哪份比較好」，評審可能偏好長而華麗的版本，卻沒有充分檢查來源一致性。

也要區分事實與偏好。讀者喜歡某種語氣，是偏好訊號；作品年份是否正確，需要來源。一個評審可以協助檢查兩種面向，但應使用不同準則與證據。讓可讀性高分抵銷錯誤年份，可能完全違背使用這份說明的目的。

用參考資料建立可核對的評審任務

原創資料是：「展品為木製模型，由社區工作坊共同完成；目前展示的是試作版本，尚未對外販售。」候選甲保留試作與未販售資訊，文字較短；候選乙寫得更吸引人，卻說已可購買。評審的任務是逐項核對事實，指出不受資料支持的句子，而不是只選看起來最像正式文案的答案。

預期結果應明確指出候選乙新增販售狀態，違反忠實性條件；即使它較有感染力，也不能通過這項必要檢查。評審可另對可讀性提出建議，但不能用風格取代事實證據。這個例子沒有真實展品與實測成績，只是展示評分準則如何改變判斷。

輸入給評審時，應包含原始任務、必要參考資料、候選答案與評分規則。缺少原始要求，可能看不出答案是否答非所問；缺少來源，則可能靠自身知識猜測事實。評審看到的上下文與被評系統不必完全相同，但必須足以完成指定判斷。

讓評語有證據，也保留無法判定

比起只要一個總分，可以要求每項條件給出通過、未通過或資訊不足，並指出對應的候選句子與參考依據。這讓人能檢查評審是否真的看對內容。數字分數不是不能用，但若分級定義模糊，小數點再精細也沒有增加判斷的可信度。

例如參考資料沒有提到作品作者姓名，評審應說無法核對，而不是憑印象宣佈候選內容正確。若任務允許引用外部來源，還要確認評審是否真的取得來源，並記錄使用方式。模型產生的合理解釋仍可能是錯的，評語本身也需要抽樣核對。

有些條件根本不需要 LLM。輸出是否符合固定欄位、網址格式是否有效、清單項目是否重複，可以用程式檢查。把固定條件交給可重現的程式檢查，讓模型處理語意與表達，通常比較容易維護，也能減少評審因簡單計數或格式判斷出錯而干擾總結果。

用交換順序和人工樣本校準

位置偏差是指候選順序可能影響評審偏好。可以把相同候選交換前後位置再評一次，檢視是否出現無法由內容解釋的變化。冗長偏差則可能讓長答案獲得較好評價，即使它只是重複內容。這些檢查是設計建議，不代表任何特定模型必然有相同程度的偏差。

人工校準可以先由熟悉任務的人評一組案例，再比較模型評審在哪些地方不同意。若人類之間也常有分歧，可能是準則不清楚，需要先修定義，而不是直接選一個人當永遠正確答案。校準的目的是使評分符合工作需求，並知道在哪些情境仍不可靠。

也可以加入容易被形式迷惑的案例，例如短但忠實、長卻新增事實、語句拗口但資訊完整。若評審總把漂亮文案判為合格，就要把必要條件設為單獨判斷，並檢查提示與資料呈現。不能只在一個平均一致率上滿意，卻忽略關鍵錯誤類別。

把評審當作系統的一部分管理

評審模型、提示詞和評分規則都需要版本。被評模型完全沒變，評審換版本後分數也可能改變。比較改版成績時，應固定或記錄評審條件，並保留候選內容與評語，讓人能判斷變化來自待評系統，還是評審本身的標準變化。

待評文字也可能含有要求評審給高分的句子。它應被視為待分析內容，不應取得指揮評審的權限。可以使用明確分隔、固定評分程式與結果抽查，但仍不能保證完全免疫。對重要決策，應搭配獨立證據與人工責任，而不是把所有決定交給一個自動分數。

模型評審最適合的角色，是在大量內容中提供可擴充的語意訊號，協助找出需要關注的案例。當它有清楚準則、足夠參考、人工校準和版本紀錄，就能成為實用工具；缺少這些條件時，評分很可能只是另一段看起來有道理的生成文字。

模型與代理評測（Evals）是什麼

基準測試（Benchmark）是什麼

提示詞注入（Prompt Injection）是什麼

AI 名詞總索引：從 Loop Engineering 到生成式 AI

• AI 工具
• 教學
• AI 名詞解釋