預訓練（Pretraining）：模型的基礎能力從哪裡來

預訓練，英文 Pretraining，是在特定任務的調整之前，先讓模型從資料學得可重用規律與表示的訓練階段。在語言模型裡，常見做法是預測接下來的 token，或根據上下文還原被遮住的內容。模型透過反覆比較預測與目標來更新參數，逐漸形成可用於多種任務的能力，而不是先由人逐條寫好所有語言規則。

「預」是相對後續用途而言，不代表這個階段比較簡單或只做暖身。它可能佔模型建置的大部分工作，資料整理與計算都很重要。本篇以 BERT 原始論文和 Hugging Face 的語言建模文件說明常見訓練目標，範例都是簡化的教學情境，不把某一個模型的流程當成所有 AI 都必經的唯一道路。

模型究竟在練什麼

因果語言建模通常利用前文預測下一個 token。例如給出「活動因大雨」，目標可能來自原文接下來的內容。模型不是先拿到完整的人類意圖標籤，而是從文字序列本身取得預測練習。這類由資料生成目標的方式常稱為自我監督，並不表示資料完全不需要人處理，也不表示模型能自主判斷哪些文字是真實或值得學習。

遮罩語言建模則把部分內容遮住，讓模型從其餘上下文預測被遮的部分。BERT 的原始設計使用這類目標，結合雙向上下文學習表示，與只看前文預測後文的方式有所不同。兩種例子都能學到語言規律，但架構、目標與適合的下游任務不同，不能看到都叫預訓練就假定它們產生相同能力。

資料與參數如何互相影響

訓練時，模型先產生預測，損失函式衡量與目標的差距，再由最佳化程式調整參數。學習率、資料順序、批次與訓練長度會影響更新過程，但一般讀者不必記住所有公式，先抓住一件事：預訓練會改變模型內部參數。之後只在聊天框貼一份文件，通常是在提供當次上下文，並沒有執行同樣的參數更新。

資料內容也會影響模型較常接觸哪些語言、寫法與主題。如果某種臺灣口語、罕見專有名詞或文件格式在資料中不足，模型可能處理得較不穩定。更多資料並不自動等於更好的資料；重複、噪音與錯誤內容可能佔用訓練能力。談模型的能力來源時，需要把資料分佈與訓練目標一起看，不能只問參數有多大。

示範：從句子練習到新輸入

假設一個教學模型讀到許多公告句子，例如「活動因大雨延期」與「報名截止後不再受理」。下一個 token 預測會讓它學習在某些上下文後，哪些片段較常出現。之後遇到一段新的公告開頭，模型可能產生合理續文。但如果新活動其實照常舉行，它仍可能接出「延期」，因為合理延續不等於知道這場活動的真實決策。

若改用遮罩練習，把「報名截止後不再受理」中的某部分遮住，模型要利用前後文還原內容。預期學習成果是更能表示句子的關係，不是背出每份公告的出處。這兩個例子刻意使用同一類文字，方便看出訓練目標不同；它們沒有實際執行訓練，也不能用來推算真實模型的準確度或所需資料量。

再把一份剛修訂的公告貼給既有模型，它可以根據上下文回答，但那是推論階段使用新資料。除非另外啟動訓練流程，不能說模型因這一輪對話就完成預訓練或永久學會所有內容。產品是否把對話收集作後續訓練，是另一個資料使用政策問題，與當次模型計算機制也需要分開理解。

學過不等於可靠記憶庫

模型可能記住某些訓練內容，也可能只學到概括規律，不能假定每一段文字都能被精準取回。回答一個問題時，產生的語句也不會自動附上對應訓練文件。對需要最新資訊或來源定位的任務，外部檢索仍很重要；預訓練能力與檢索能力可以互補，並不是模型越大就越不需要證據。

評估還要避免把測試題混入訓練資料。如果模型已看過題目或答案，成績可能高估它處理新問題的能力。對一般使用者而言，可用自己新整理、答案能獨立檢查的案例觀察表現；對訓練團隊則需要資料去重、切分與版本紀錄。只報一個高分而不說明評估來源，難以判斷能力能否轉移到實際情境。

預訓練之後，還能做什麼

預訓練模型可以再接受領域資料的持續訓練，也可用特定任務示範做微調，或進行偏好最佳化等後訓練。不同團隊對階段名稱的切分可能不完全一致，重點是實際使用什麼資料、最佳化什麼目標，以及哪些參數被更新。把所有後續改進都籠統說成預訓練，會掩蓋模型能力是在哪裡形成的。

選擇應用方案時，可以先問缺的是通用語言能力、特定輸出行為，還是最新外部知識。前兩者可能需要適合的基礎模型或微調，最後一項通常需要資料管道。一般組織未必需要從頭預訓練；直接使用合適基礎模型，再設計檢索與評估，常能更快驗證需求。是否投入訓練，仍應由實際問題與資源決定。

閱讀模型介紹時，也別把「預訓練資料截至某日」當成它對那天之前所有事情都知道。日期最多提供資料時間範圍的一部分線索，涵蓋率、來源品質與模型是否學到都仍不確定。對重要主張，要求可核對的外部來源，比猜測模型當年可能讀過什麼更實際。

微調（Fine-tuning）：讓既有模型更適合你的任務

模型參數（Model Parameters）是什麼

上下文學習（In-context Learning）是什麼：當場適應新規則

AI 名詞總索引：從 Loop Engineering 到生成式 AI

• AI 工具
• 教學
• AI 名詞解釋