生活分享

Amazon Bedrock 知識庫新增單次 RAG 與純檢索模式,開發者可依問題難易選擇檢索方式

AWS 宣布,Amazon Bedrock Managed Knowledge Base 透過 AgenticRetrieveStream 支援單次 RAG 與純檢索,並保留既有的代理式檢索。打造企業內部 AI 問答助理的開發者,可以用同一個 API 處理簡單查詢與複雜比較。AWS 表示,簡單問題的回應可因此更快、模型用量更少。

閱讀時間約 5 分鐘

Amazon Bedrock 知識庫新增單次 RAG 與純檢索模式,開發者可依問題難易選擇檢索方式
圖片:Mokaair (Original editorial artwork)

發生了什麼事

AWS 在官方部落格宣布,Amazon Bedrock Managed Knowledge Base 現在透過 AgenticRetrieveStream 支援單次檢索增強生成(RAG)與純檢索請求。RAG 是先從企業的文件資料中找出相關段落,再讓 AI 模型根據這些段落寫出答案的做法。知識庫則是存放這些文件、供 AI 查詢的資料庫。

根據 AWS,單次 RAG 只搜尋知識庫一次,再由基礎模型(負責理解問題並產生文字的大型 AI 模型)根據找到的段落產生答案。純檢索則只回傳相符段落、不產生答案,讓應用程式或使用者直接處理原文。這兩種模式加入了既有的代理式檢索,也就是由服務自行規劃並執行多次搜尋後再回答。

AWS 說明,代理式檢索會由基礎模型把問題拆成子查詢、搜尋相關知識庫,並評估結果是否足夠。必要時,它會在設定的迭代上限內調整搜尋;段落脈絡不足時,也可以取回完整文件。啟用產生回答時,服務會整合檢索到的資訊並附上引用,追蹤事件則會顯示規劃與檢索的步驟。

三種模式如何選擇

AWS 表示,maxAgentIteration 的範圍現為 0 至 5,只靠這一個參數就能決定每個請求採用哪種模式。一次迭代等於一次基礎模型呼叫。數值 n 最多允許 n 減 1 輪代理式規劃,最後一次迭代保留給產生回答。AWS 另指出,第一次規劃前執行的初始推測式檢索不計入迭代次數。

AWS 所述三種檢索模式比較
maxAgentIteration行為(依 AWS 說明)適用情境
0一次檢索,不呼叫基礎模型,等同直接呼叫 Retrieve API取得段落、檢視原文
1一次檢索加一次回答,無規劃與查詢改寫範圍明確的直接問題
2 至 5最多 n 減 1 輪規劃後再回答多部分、比較型、跨知識庫問題

對一般使用者與開發者的實際影響

對企業內部問答助理而言,簡單查詢與複雜比較現在可以共用同一個 API。AWS 指出,單次 RAG 只用一次基礎模型呼叫,與代理式檢索相比可降低延遲與模型用量;純檢索則完全不呼叫基礎模型。

AWS 舉例說明三種用法。詢問「獨資經營者開立商業帳戶需要哪些文件」時,可用 maxAgentIteration=1 並開啟產生回答。比較獨資與有限責任公司開戶要求的問題,可用 maxAgentIteration=4。需要閱讀政策原文時,則用 0 並關閉產生回答。

限制與注意事項

  • AWS 表示,模式的選擇屬於應用程式邏輯,此參數並不會自動路由請求。
  • 在 maxAgentIteration=0 時,把 generateResponse 設為 true 屬無效設定,會回傳 4xx 錯誤。
  • 純檢索的段落出現在串流的 result 事件中,且不含 score 或 location 欄位,與直接呼叫 Retrieve 的回應格式不同。
  • AWS 表示,其示例助理不核准帳戶,也不取代銀行的審查與授權流程。
  • AWS 提醒,較高的迭代上限不見得總是產生更好的答案,應以具代表性的問題評估。

如何開始(依 AWS 說明)

  1. 準備一組來自自家文件的代表性問題與預期答案,包含需要跨多份文件才能回答的問題,以及文件無法回答的問題。
  2. 依 AgenticRetrieveStream API 參考,在請求中設定 maxAgentIteration 與 generateResponse。
  3. 在同一個知識庫上比較單次 RAG 與現有的代理式設定,衡量回應延遲與請求成本,並檢查答案是否正確、是否有檢索段落支持。
  4. 依結果為每個工作流程選擇符合品質需求的最低迭代上限。

常見問題

單次 RAG 是否只能使用單一知識庫?

不是。AWS 表示,三種模式(包含 maxAgentIteration 為 0 與 1)都支援多個知識庫。代理式模式多出的是查詢拆解、證據評估與迭代搜尋。

既有的代理式請求會受影響嗎?

依 AWS 說明,使用 2 至 5 的既有請求會維持目前行為。因此開發者可以選擇性地導入新模式,不必重新設計整個應用程式。

純檢索模式會呼叫語言模型嗎?

不會。AWS 表示,maxAgentIteration=0 不呼叫任何基礎模型,行為等同直接呼叫 Retrieve API,但回應格式不同。

數值該設高還是設低?

AWS 表示,數值越低,呼叫越快、越可預測;數值越高,規劃器越能拆解並調整搜尋,處理真正困難的問題。AWS 建議簡單的查詢先從低數值開始,當複雜問題的準確度比延遲更重要時再調高。

查看同分類最新消息

資料來源

生活分享