Google Cloud Managed Airflow 新增主控台 Agent 與 Data Agent Kit:協助除錯、升級檢查與 DAG 開發,MCP 伺服器已正式推出

Google Cloud 表示,Managed Airflow 現提供涵蓋管線生命週期的 AI Agent 協助,包括主控台的 Managed Airflow Agent 與 IDE 的 Data Agent Kit;其 MCP 伺服器已正式推出。

新聞日期: 閱讀時間約 6 分鐘

目錄
  1. 1. 這次 Managed Airflow 的 Agent 功能改變了什麼?
  2. 2. 升級到 Airflow 3 與事件驅動排程怎麼做?
  3. 3. 有哪些工具與使用位置?
  4. 4. 實際工作流程會有什麼影響?

Google Cloud 在官方部落格宣布,Managed Service for Apache Airflow(前身為 Cloud Composer)現提供涵蓋管線整個生命週期的 Agent 協助。Airflow 是排程與執行資料處理流程的開源工具,每條流程以 DAG(有向無環圖,即用程式碼定義的任務步驟與先後順序)描述。文章中明確標示為「已正式推出」的只有 Managed Airflow MCP 伺服器;主控台 Agent 與 Data Agent Kit 的推出階段、方案與地區,文中並未說明。Google Cloud 指出,管線失敗時最難的通常是找出問題所在,往往需要深厚的 Airflow 經驗,而且常在值班處理事故時進行;最終決定仍由人負責。

這次 Managed Airflow 的 Agent 功能改變了什麼?

根據 Google Cloud,主控台中的 Managed Airflow Agent 負責調查失敗任務、建議環境改善,並檢查 DAG 是否準備好升級到較新的 Airflow 版本。在 IDE 或程式碼 Agent 中,Data Agent Kit 則負責撰寫、遷移與部署 DAG。

部落格以虛構公司 Cymbal Shops 示範:原本在 Airflow 2.11.1 上以每小時批次處理點擊事件,流量增加後單一小時資料從約 350 MB 增至約 1.4 GB,任務超出 worker(實際執行任務的運算節點)的 4 GB 記憶體。文章指出,自動擴展無法解決,因為每個任務仍只在單一 worker 上執行。

Agent 的建議包括直接將檔案載入 BigQuery、分批處理,或增加 worker 記憶體;另建議把 worker 記憶體由 4 GB 提高到 8 GB,並指出資料庫保留未啟用、環境未具高韌性、沒有排程快照三項缺口。文章說明 Agent 為唯讀,變更由使用者自行執行。

升級到 Airflow 3 與事件驅動排程怎麼做?

文章指出,Airflow 3 原生支援事件驅動排程,也就是有新資料進來才啟動,而不是固定每小時跑一次:資產監看器(asset watcher)監聽如 Pub/Sub 訂閱的外部來源,有新訊息就更新資產,排程在該資產上的 DAG 便啟動執行。升級前,Agent 以 Airflow 3.3.1 為目標檢查相容性,找出兩項阻礙(手動清理資料庫的維護 DAG、使用已移除的 execution_date 的 DAG),另有四個 DAG 需把 schedule_interval 改為 schedule。

之後 Data Agent Kit 的遷移技能(migrations skill)會調整 DAG、部署並驗證。範例中改以 PubsubPullTrigger 搭配 AssetWatcher,由 triggerer(Airflow 在背景等待事件的元件)每 10 秒檢查訂閱,並用動態任務對應讓每個新檔案各有一個任務,檔案上限為 128 MB。

Google Cloud 部落格的虛構情境對照(數字為示意)
面向Airflow 2 每小時批次(範例)Airflow 3 事件驅動(範例)
工作單位一個時鐘小時:平常約 350 MB,活動高峰約 1.4 GB單一檔案,每個數 MB(最多 128 MB)
每任務尖峰記憶體隨流量增長;黑色星期五預估遠高於 8 GB穩定,遠低於 1 GB
從點擊到 BigQuery超過一小時數分鐘
八倍尖峰流量負載測試—DAG 執行更頻繁,單任務記憶體不變

有哪些工具與使用位置?

依 Google Cloud 部落格整理
工具使用位置功能推出狀態
Managed Airflow AgentGoogle Cloud 主控台調查失敗任務、環境建議、升級相容性檢查文中稱「現提供」,未說明方案或地區
Data Agent KitIDE/程式碼 Agent撰寫、遷移、部署 DAG未說明推出階段;提供 VS Code 擴充與多款 Agent 外掛
Managed Airflow MCP 伺服器相容 MCP 的任何 Agent列出與觸發 DAG、查看狀態、檢視失敗任務已正式推出;以 IAM 控管
Common AI providerAirflow 3 DAG 內LLM 分支、Agentic 重試、結構漂移偵測文中僅列為可用能力

實際工作流程會有什麼影響?

Google Cloud 指出,主控台 Agent 以使用者權限檢視生產環境遙測且不更動任何設定,而程式碼變更則在 IDE 中審閱、測試與部署。文章稱「Agent 提出建議、人做決定」,並說靜態檢查能在數分鐘內評估遷移工作量。

若想嘗試,Google Cloud 列出的 Data Agent Kit 安裝管道包括文件、VS Code 擴充、支援 Antigravity、Claude Code、Gemini CLI 與 Codex CLI 的外掛,以及開源 Airflow agent skills;細節請參閱 Google Cloud 文件。

常見問題

Managed Airflow Agent 會自動修改我的環境嗎?

依 Google Cloud 的說明,主控台 Agent 為唯讀,只診斷與建議;範例中工程師自行調整 worker 記憶體並審閱每項變更。

MCP 伺服器能做什麼?

MCP 是讓 AI Agent 連接外部工具的協定。Google Cloud 表示,Managed Airflow MCP 伺服器已正式推出,讓相容 MCP 的 Agent 列出與觸發 DAG、檢查執行狀態並檢視失敗的任務執行個體。存取由 IAM 控制,唯讀工具有標記。

文中的數字可以當作實際效能嗎?

不行。部落格註明 Cymbal Shops 為虛構公司,Agent 輸出以及流量與記憶體數字皆為縮短且示意性質。

這些功能的價格或台灣可用性如何?

Google Cloud 的文章未提及價格、方案層級或地區資訊,請以 Google Cloud 官方文件為準。

查看同分類最新消息

覺得這篇整理實用嗎?分享給需要的朋友

資料來源

本文依據上方所列參考來源與標示之核對日期整理;票價、時刻、功能規格或服務條款可能變動,出發、預訂或購買前請至相關官方網站確認最新資訊。

生活分享