推論時計算（Test-time Compute）：把算力花在這一道題

推論時計算，英文 Test-time Compute，指模型在使用或評估時，為處理當前輸入投入的計算。它與訓練時更新參數的運算不同。增加推論時計算，可以是讓單一路徑推導更久，也可以產生多個候選、讓驗證器比較，或根據錯誤反覆修正。這個詞描述資源和策略，不是一個固定的模型名稱。

多花計算可能改善某些推理任務，但不是保證越久越正確。Snell 等人的研究討論如何按問題特性分配計算，Self-Consistency 研究則以多條推導和答案一致性展示一種路徑。本篇用虛構活動排程解釋這些方向，沒有重現論文實驗，也不把數學評測上的發現直接當成所有日常任務的結果。

算力可以往不同方向花

順序式策略讓一個候選逐步發展，例如先提出排程、檢查衝突，再修改。平行式策略則產生不同候選，再由某種標準選擇。兩者可以混合：先試不同方向，再對較有希望的方案深入驗證。增加回應字數只是其中一種可能伴隨現象，不能等同所有推論時計算；生成更多廢話也會花運算，卻未必有用。

驗證本身同樣需要資源。某些任務有明確檢查器，如程式測試、數學答案或排程約束；其他任務只能用模型評分或人工判斷。若評分器不可靠，產生很多候選再選最高分，可能只是更有效挑出評分器偏好的錯誤。討論計算策略時，必須把候選生成和選擇機制一起說明。

順序修正和平行探索的例子

假設要安排工作坊與座談，兩者共用場地，還需留佈置時間。順序策略先排出方案，發現場地重疊後移動座談，再檢查講者時段。它能沿目前方案逐步修正，但也可能困在一個根本不適合的起點，一直小幅調整卻沒有換方向。這時再多修幾次未必比重新提出方案有效。

平行策略可以先產生不同活動順序，分別檢查場地和講者限制，再挑選可行者。優點是探索不同起點，代價是每個候選都要計算與驗證。若所有候選都沿用同一個錯誤前提，它們可能高度一致但全部錯誤。因此「多數候選選同一答案」只是選擇訊號，不能當成獨立事實證據。

示範：給定預算下怎麼安排

輸入可先列出活動、可用時段與不可修改限制，再設定允許的運算或等待範圍。系統先產生候選，用程式核對場地重疊與佈置時間，通過後再比較偏好條件。預期輸出是可行排程與檢查結果；若所有候選都失敗，應指出哪個限制造成衝突，而不是把未驗證方案當成最佳結果交出。

可以比較一條長修正路徑、幾個短候選與混合策略，使用相同資料和總體資源目標。這裡不指定候選數，因為實際成本取決於模型、輸入長度及驗證工具。只說兩種方法都等了同樣時間，不代表計算量相同；平行執行可能縮短等待，卻消耗更多總運算。延遲與成本必須分開紀錄。

再加入無解題，例如可用場地時段根本不足。這時好的策略是及早辨認不可行，而不是不斷生成變體。若檢查器已能確定某個必要條件不成立，應把這個證據回給使用者。停止也是計算分配的一部分，能把資源留給有機會改善的題目，而非把所有預算都用完才算盡力。

為什麼難度會影響效果

Snell 等人的研究發現，不同難度與計算預算下，適合的推論策略可能不同。容易題可能不需要很多候選；某些可解但需要多步的題目，額外搜尋或修正較有價值；超出模型能力的題目，增加計算也可能收效有限。這些是研究條件下的觀察，不是只看題目長短就能自動套用的通用規則。

研究也指出估計題目難度本身可能昂貴。在真實應用裡，系統沒有標準答案可先用來分級，所以必須用可取得的訊號估計，並把這些額外成本算進去。若展示只計算最後求解，卻省略事先為每題產生大量樣本的代價，部署時可能遠沒有想像中省。閱讀結果要確認成本邊界是否一致。

如何在實際工作上評估

先分辨失敗源自知識缺漏還是推導不足。模型不知道最新活動公告時，多算不會自動取得新事實；應提供可靠來源或搜尋工具。若所有資料已給定，但模型常漏掉條件，多一步檢查或可執行驗證器可能有幫助。讓資源對應失敗原因，比一律使用最高思考設定更容易得到可解釋改善。

評估可以儲存問題、資料版本、候選、選擇標準、總等待及資源使用。對正確性有明確答案的任務，直接核對結果；對寫作或摘要，則需一致的人類評分準則。不要只比較回答長度，也不要只看模型自評信心。推論時計算是一種工程取捨，需要用最終品質和實際成本共同判斷。

若額外計算產生的高品質示範之後拿去訓練另一個模型，那是把推論成果轉成訓練資料，與當次推論是不同階段。蒸餾可能讓後續回答用較少運算達到類似任務表現，但仍需另外驗證。這也說明訓練時計算與推論時計算可以互相配合，卻不能在描述成果時混成同一個數字。一般使用者可以先提供足夠資料和驗收條件，再比較不同處理方式的成果。當模型提出新假設，應確認它有依據；當它說已檢查，應看檢查是否可重現。真正值得付出的額外計算，應帶來更完整或更可靠的結果，而不是只有更久的進度動畫。

推理模型（Reasoning Model）：多想幾步能解決什麼

知識蒸餾（Knowledge Distillation）：讓學生模型學教師

以語言模型擔任評審（LLM-as-a-Judge）是什麼

AI 名詞總索引：從 Loop Engineering 到生成式 AI

• AI 工具
• 教學
• AI 名詞解釋