生活分享

上下文壓縮(Context Compaction)是什麼:讓長任務接得下去

上下文壓縮是將長對話或工作紀錄整理成較短的續作資訊,讓模型在有限視窗內繼續任務;它不是無損備份,也不會擴大模型本身的容量。本文用搬家規劃的情境,示範交接摘要應保留目標、已確認決策、否定條件與未完成事項,並分清摘要、刪除舊工具結果和外部記憶。附壓縮前後核對方法,避免把待確認事項變成已完成的承諾。

更新日期: 閱讀時間約 7 分鐘

一大疊搬家文件通過漏斗,變成小型交接卡,旁邊保留裝著原始資料的盒子。
圖片:Mokaair (© Mokaair)

上下文壓縮(Context Compaction)是把過長的對話或工作紀錄,整理成較短而足以支援後續任務的資訊。常見方式是產生交接摘要,讓下一輪使用摘要加上新訊息繼續工作。它減少需要處理的歷史內容,但沒有把模型的上下文視窗變大。

「壓縮」容易讓人聯想到檔案壓縮後可以完整還原;對話摘要通常不是這回事。它會選擇與改寫資訊,可能丟失細節。以下用搬家規劃的示意情境,說明如何保留決策與限制、確認壓縮品質,以及何時需要回查原始紀錄。

不同實作都在減少當次歷史負擔

Anthropic 的 compaction 文件描述由系統在觸發條件達成時產生摘要,再以摘要繼續對話的流程。LangChain 的中介軟體文件也提供摘要歷史訊息的實作。兩者顯示這是可由應用程式管理的上下文處理步驟,觸發方式與保留範圍則依系統而異。

更廣義的上下文管理還包括移除舊工具輸出、只保留近期訊息或將資料移到外部儲存。這些方法常搭配使用,但代價不同。刪除一段重複日誌,和把整段討論改寫成摘要,不是相同操作;前者移除內容,後者可能重新表達內容與關係。

對一般使用者而言,介面只顯示「已整理先前內容」時,不應自動假設所有細節仍可由模型取用。應確認工具是否能查回原始訊息,或自行保留關鍵文件。能否在畫面捲回歷史,和模型下一輪能否重新讀取原文,是需要分開確認的能力。

長對話經挑選後形成交接狀態,核對否定條件再續作;原始報價另行保留供回查。
摘要是續作工作單,原始資料仍應有回查途徑。 · 圖片:Mokaair (© Mokaair)

續作摘要要保留什麼,取決於下一步

搬家討論可能包含房間配置、候選日期、已聯絡廠商、取消的選項與尚未確定的預算。如果摘要只寫「使用者正規劃搬家」,雖然很短,卻無法支援下一步。好摘要應讓接手者知道哪些決定已成立、哪些仍待處理,以及不能違反哪些條件。

例如「電梯尚未預約,因此搬家日期暫定」裡,尚未與暫定都是重要資訊。壓成「已安排搬家日期」會把依賴關係改掉。還有「不搬走舊書桌」「廠商甲已排除」這些否定與撤回資訊,也應在相關工作仍持續時保留,否則模型可能重新提議被否決的方向。

摘要不必重述每段寒暄,但要保留回查線索。像廠商報價可以記錄文件名稱、有效條件與待核對欄位,而不是只寫一個數字。後續若要比較費用,就能回到原始報價確認搬運樓層、包材及額外服務,避免用失去條件的數字做錯比較。

把搬家對話轉成可核對的交接

以下是原創操作示例。先請助理整理五類資訊:任務目標、已確認決策、尚未解決問題、不得違反的限制,以及下一步所需資料。要求每項狀態依原文表述,沒有確認紀錄就標成待確認,不因為它曾提出建議便視為你已同意。

接著自行核對幾個關鍵點:搬家日期是否仍暫定、電梯是否尚未預約、舊書桌是否保留、廠商甲是否已排除。預期產物是一份可以直接交給新對話接手的工作單。這些具體檢查點比「請確認摘要完整」更有用,因為模型和使用者都知道完整代表什麼。

最後在新對話貼入交接,請它列出下一步。合理的續作應先處理電梯預約或資料缺口,不能說已完成預約,也不能重選被排除的廠商。若續作走錯方向,要分辨是摘要漏寫、寫錯,還是新一輪沒有遵守摘要;如此才能修正正確的環節。

壓縮太早、太狠或反覆改寫的代價

若一開始就把所有細節壓得很短,還沒確定哪些資訊重要,就可能丟掉後來才需要的條件。搬家報價中的樓層與停車距離,前期看似瑣碎,決定廠商時卻很重要。比較穩妥的方式是保留原始來源,摘要只負責索引與目前狀態。

反覆以摘要再產生摘要,也可能逐漸把不確定資訊寫得更肯定。第一次寫「可能需要拆裝」,第二次變成「需要拆裝」,第三次又變成「已安排拆裝」。避免這種漂移的方法,是保留重要事實的來源位置,並在重大決策前重新核對原文,而不是無限相信最新摘要。

壓縮也不是一律越短越好。應以後續任務能否正確繼續為標準,允許關鍵條件佔據必要篇幅。刪掉大量重複輸出可能很划算,刪掉一個否定詞卻可能改變整項工作。真正需要優化的是有用資訊的密度,不是單純追求最少 token。

壓縮、外部記憶與快取各自解決不同問題

外部記憶處理的是資訊如何在對話之外保存與取回;壓縮處理的是這次要攜帶多少歷史。你可以把原始報價存在外部資料夾,摘要裡只留名稱與待辦,再需要時讀取。這樣搭配能維持工作連續性,但前提是取回工具確實存在且有權限。

提示快取則通常關係到重複內容的處理或計費效率,不應被當成已刪除歷史的替代備份。快取命中與內容能否正確被摘要、能否找回原文,屬於不同問題。看到產品同時提到這些功能時,應逐一確認它們改變了哪一層行為。

對長任務最實用的習慣,是在換階段時留下狀態交接,並保存重要來源。壓縮後先要求助理重述目前限制與下一步,再讓它繼續。這項小檢查能及早發現錯誤交接,避免一份看似精簡的摘要把後續工作帶往已經取消的方向。

若系統允許自訂壓縮規則,可把常被遺漏的狀態欄位列為必留項目;但修改後仍需用新的長對話檢查,不能只看摘要字數變少便認定品質提升。

概念與使用情境比較;查證於 2026 年 9 月。
方法留下什麼主要風險
摘要壓縮重述後的關鍵狀態條件與不確定性流失
清除舊輸出保留其他訊息刪除後可能無法回查
外部記憶可另行取回的資料取回錯誤或過期

  • 生活分享

    世界模型(World Model)是什麼:讓 AI 預測「接下來會怎樣」

    世界模型指 AI 內部用來預測「這樣做之後會怎樣」的模型,但這個詞至少有三種用法:強化學習代理在想像中練習用的環境模型、LeCun 主張預測抽象表示的架構路線,以及能隨操作即時生成畫面的互動環境。內容用示例說明怎麼在想像中規劃,並列出大型語言模型有沒有世界模型的正反研究,附讀新聞時的檢查問題。

  • 生活分享

    視覺語言模型(VLM)是什麼:讓 AI 讀圖片、再用文字回答

    視覺語言模型(VLM)能同時接收圖片與文字,再用文字回答。內容拆解視覺編碼器、連接層與語言模型三段結構,說明 CLIP、Flamingo、LLaVA 三篇論文各補上哪一塊,並和多模態 AI、文字生圖分清楚;也整理它常犯的錯:數錯數量、搞混位置、說出圖裡沒有的東西,附上讀收據時逐行核對的步驟。

  • 生活分享

    溫度(Temperature)是什麼:AI 回答變化程度的取樣參數

    溫度(temperature)是文字生成時調整取樣的參數,讓模型從下一個 token 的機率分布裡抽得更集中或更分散。用假想的台南早餐示例算出低溫與高溫的差別,說明 top-p 的來源和它與 top-k 的差別,並依官方文件與論文指出:調低溫度不代表更準,設成 0 也不保證每次相同,部分模型還不開放調整。

  • 生活分享

    合成資料(Synthetic Data)是什麼:兩種用途、品質控管與模型崩潰

    合成資料是由演算法或模型產生、模仿真實資料特徵的資料,常見用途有兩種:訓練模型,以及在隱私需求下替代真資料。內容依 Self-Instruct、模型崩潰研究(替換與累積資料的差別)與 NIST、ICO 的隱私文件,說明做法、抽查流程,以及它不能保證的事。

最新旅遊情報攻略

資料來源

生活分享