上下文學習（In-context Learning）是什麼：當場適應新規則

上下文學習（In-context Learning，簡稱 ICL）描述模型利用當次輸入提供的資訊，調整對新問題的回應方式。在語言模型研究裡，常見形式是給幾組示範，再請模型處理未示範的輸入；這個過程通常不更新模型參數，而是在推論時依上下文完成適應。

「學習」容易讓人以為能力已永久寫進模型。更精確的理解是：在這一輪可用資訊的條件下，模型表現出新的任務行為。以下用一套虛構書籍分類標籤做例子，幫你分辨它可能學到格式、標籤對應或規則，並瞭解為什麼一題答對不足以證明真正掌握。

少樣本提示是操作方式，上下文學習是關注的現象

當你把幾組範例放進提示詞，這個做法叫少樣本提示；當模型據此調整對新輸入的處理，研究者會討論上下文學習。兩個詞常一起出現，但焦點不同。一個關心如何提供輸入，另一個關心模型如何利用輸入、能推廣到哪些新情況。

Brown 等人的研究以文字互動指定任務與示範，在不做梯度更新的情況下測試模型。這是理解 ICL 的重要起點，但並不等於所有任務都能只靠提示學會，也不等於一份對話可以代替正式訓練。不同任務與模型對上下文的使用方式仍需實際評估。

你也不必替每次聊天貼上 ICL 標籤。日常最有價值的問題是：模型在沒有這份說明前能做什麼，加入後改變了什麼，以及移除後是否仍保持相同行為。把條件說清楚，比籠統宣稱「它被我教會了」更能幫助下一次使用。

用自訂標籤看出它依賴的資訊

假設你整理家中書櫃，決定把適合下班短讀的書標成「葉」，需要長時間投入的書標成「山」。這些標籤是你自行指定的，字面本身不能可靠地推出分類規則。你提供幾本虛構書的描述與標籤，再請模型判斷新的書籍描述。

如果新輸入說「每篇獨立，讀完一篇即可停下」，預期可能是「葉」；若描述是「章節互相依賴，需持續閱讀」，預期可能是「山」。這只是示意分類，沒有宣稱閱讀方式存在客觀唯一答案。為了能驗證，你應先自行寫下規則和標準判斷。

接著把標籤名稱互換，讓短讀對應「山」、長讀對應「葉」，觀察模型能否跟著新的對應走。若互換後仍把「山」當成長讀、「葉」當成短讀，可能沿用先前上下文，而沒有正確套用目前規則。若換標籤後仍能處理新描述，則提供了較好的適應證據，但不能由此推論它對所有抽象規則都同樣可靠。

別把表面模仿誤當成完整理解

Min 等人的研究在特定分類與選擇任務中，發現示範提供的標籤空間、輸入分佈與整體格式對表現很重要；某些實驗裡，打亂示範標籤未造成預期中的大幅影響。這是有條件的研究結果，不是鼓勵使用者故意提供錯誤答案，更不能推廣成「範例正不正確都沒差」。

這項結果提醒我們，模型可能從例子獲得不同線索。書籍示範可能告訴它只能輸出「葉」或「山」，也可能暗示描述通常有多長、如何排列欄位。輸出格式變整齊，不必然表示分類理由也正確，所以要分開觀察可接受標籤、事實擷取與規則判斷。

如果所有「葉」類例子都很短，所有「山」類例子都很長，模型還可能學到文字長度的捷徑。可以準備一段很長但內容適合短讀的描述，以及一段很短但要求連續閱讀的描述。這種反例比重複相似的普通案例，更能檢查它是否依賴了你不想要的線索。

設計一個不自我欺騙的小測試

先準備規則、示範組與保留測試組。示範組用來說明分類，測試組則包含不同措辭、資訊不足與可能衝突的描述。不要讓同一本書換個名稱就同時出現在示範和測試裡，否則很難知道它是理解規則還是記住近似文字。

然後在乾淨對話中比較幾種條件：只有分類名稱、加入明確規則、再加入示範。每次使用相同測試組，記錄預期標籤與實際回覆。這裡沒有執行測試，因此不提供準確率；你觀察到的差異才是這套提示在所用模型上的證據。

遇到資訊不足的描述，例如只寫「內容豐富」，應允許模型說無法判定。若你要求只能二選一，它可能被迫猜測，使表面上的完成率很高。評估 ICL 時，除了答對幾題，也應看它是否知道哪些輸入沒有足夠資訊套用規則。

上下文適應、記憶與微調的界線

假設這套標籤下次還要用，最直接的方法是保存規則與示範，在新工作中重新帶入。這是管理上下文。若應用程式把你的偏好存到外部資料庫並取回，則涉及記憶；若把大量標註資料用於更新模型參數，則是訓練或微調。三者可能搭配，但各自改變的東西不同。

上下文中的自訂規則也不會自動補足外部知識。模型可以照你提供的書籍描述分類，卻未必知道尚未提供的新書內容。若它憑書名猜測章節安排，那是來源問題，不是 ICL 成功。需要真實書籍資訊時，應另外取得可靠資料，再套用分類規則。

同一組示例若換了排列順序，輸出也可能改變。因此比較示例設計時，應連同順序與待處理問題一起保留，才能知道這次改善來自哪些輸入條件。這種當次表現的變化，仍不表示模型已把規則永久寫進參數。

對一般使用者而言，ICL 最值得掌握的是「提供可用線索，驗證新輸入」。不要用模型自稱已理解當成成績，也不要把成功的一次互動當成永久能力。保留規則、反例和測試條件，才能讓當場適應變成可重複的工作方式。

少樣本提示（Few-shot Prompting）是什麼：用例子教清楚格式

微調（Fine-tuning）：讓既有模型更適合你的任務

代理記憶（Agent Memory）是什麼：保存、取回與更新資訊

AI 名詞總索引：從 Loop Engineering 到生成式 AI

• AI 工具
• 教學
• AI 名詞解釋