Google Cloud Managed Airflow 新增主控台 Agent 與 Data Agent Kit:協助除錯、升級檢查與 DAG 開發,MCP 伺服器已正式推出
Google Cloud 表示,Managed Airflow 現提供涵蓋管線生命週期的 AI Agent 協助,包括主控台的 Managed Airflow Agent 與 IDE 的 Data Agent Kit;其 MCP 伺服器已正式推出。
新聞日期: 閱讀時間約 6 分鐘
Google Cloud 在官方部落格宣布,Managed Service for Apache Airflow(前身為 Cloud Composer)現提供涵蓋管線整個生命週期的 Agent 協助。Airflow 是排程與執行資料處理流程的開源工具,每條流程以 DAG(有向無環圖,即用程式碼定義的任務步驟與先後順序)描述。文章中明確標示為「已正式推出」的只有 Managed Airflow MCP 伺服器;主控台 Agent 與 Data Agent Kit 的推出階段、方案與地區,文中並未說明。Google Cloud 指出,管線失敗時最難的通常是找出問題所在,往往需要深厚的 Airflow 經驗,而且常在值班處理事故時進行;最終決定仍由人負責。
這次 Managed Airflow 的 Agent 功能改變了什麼?
根據 Google Cloud,主控台中的 Managed Airflow Agent 負責調查失敗任務、建議環境改善,並檢查 DAG 是否準備好升級到較新的 Airflow 版本。在 IDE 或程式碼 Agent 中,Data Agent Kit 則負責撰寫、遷移與部署 DAG。
部落格以虛構公司 Cymbal Shops 示範:原本在 Airflow 2.11.1 上以每小時批次處理點擊事件,流量增加後單一小時資料從約 350 MB 增至約 1.4 GB,任務超出 worker(實際執行任務的運算節點)的 4 GB 記憶體。文章指出,自動擴展無法解決,因為每個任務仍只在單一 worker 上執行。
Agent 的建議包括直接將檔案載入 BigQuery、分批處理,或增加 worker 記憶體;另建議把 worker 記憶體由 4 GB 提高到 8 GB,並指出資料庫保留未啟用、環境未具高韌性、沒有排程快照三項缺口。文章說明 Agent 為唯讀,變更由使用者自行執行。
升級到 Airflow 3 與事件驅動排程怎麼做?
文章指出,Airflow 3 原生支援事件驅動排程,也就是有新資料進來才啟動,而不是固定每小時跑一次:資產監看器(asset watcher)監聽如 Pub/Sub 訂閱的外部來源,有新訊息就更新資產,排程在該資產上的 DAG 便啟動執行。升級前,Agent 以 Airflow 3.3.1 為目標檢查相容性,找出兩項阻礙(手動清理資料庫的維護 DAG、使用已移除的 execution_date 的 DAG),另有四個 DAG 需把 schedule_interval 改為 schedule。
之後 Data Agent Kit 的遷移技能(migrations skill)會調整 DAG、部署並驗證。範例中改以 PubsubPullTrigger 搭配 AssetWatcher,由 triggerer(Airflow 在背景等待事件的元件)每 10 秒檢查訂閱,並用動態任務對應讓每個新檔案各有一個任務,檔案上限為 128 MB。
| 面向 | Airflow 2 每小時批次(範例) | Airflow 3 事件驅動(範例) |
|---|---|---|
| 工作單位 | 一個時鐘小時:平常約 350 MB,活動高峰約 1.4 GB | 單一檔案,每個數 MB(最多 128 MB) |
| 每任務尖峰記憶體 | 隨流量增長;黑色星期五預估遠高於 8 GB | 穩定,遠低於 1 GB |
| 從點擊到 BigQuery | 超過一小時 | 數分鐘 |
| 八倍尖峰流量負載測試 | — | DAG 執行更頻繁,單任務記憶體不變 |
有哪些工具與使用位置?
| 工具 | 使用位置 | 功能 | 推出狀態 |
|---|---|---|---|
| Managed Airflow Agent | Google Cloud 主控台 | 調查失敗任務、環境建議、升級相容性檢查 | 文中稱「現提供」,未說明方案或地區 |
| Data Agent Kit | IDE/程式碼 Agent | 撰寫、遷移、部署 DAG | 未說明推出階段;提供 VS Code 擴充與多款 Agent 外掛 |
| Managed Airflow MCP 伺服器 | 相容 MCP 的任何 Agent | 列出與觸發 DAG、查看狀態、檢視失敗任務 | 已正式推出;以 IAM 控管 |
| Common AI provider | Airflow 3 DAG 內 | LLM 分支、Agentic 重試、結構漂移偵測 | 文中僅列為可用能力 |
實際工作流程會有什麼影響?
Google Cloud 指出,主控台 Agent 以使用者權限檢視生產環境遙測且不更動任何設定,而程式碼變更則在 IDE 中審閱、測試與部署。文章稱「Agent 提出建議、人做決定」,並說靜態檢查能在數分鐘內評估遷移工作量。
若想嘗試,Google Cloud 列出的 Data Agent Kit 安裝管道包括文件、VS Code 擴充、支援 Antigravity、Claude Code、Gemini CLI 與 Codex CLI 的外掛,以及開源 Airflow agent skills;細節請參閱 Google Cloud 文件。
常見問題
Managed Airflow Agent 會自動修改我的環境嗎?
依 Google Cloud 的說明,主控台 Agent 為唯讀,只診斷與建議;範例中工程師自行調整 worker 記憶體並審閱每項變更。
MCP 伺服器能做什麼?
MCP 是讓 AI Agent 連接外部工具的協定。Google Cloud 表示,Managed Airflow MCP 伺服器已正式推出,讓相容 MCP 的 Agent 列出與觸發 DAG、檢查執行狀態並檢視失敗的任務執行個體。存取由 IAM 控制,唯讀工具有標記。
文中的數字可以當作實際效能嗎?
不行。部落格註明 Cymbal Shops 為虛構公司,Agent 輸出以及流量與記憶體數字皆為縮短且示意性質。
這些功能的價格或台灣可用性如何?
Google Cloud 的文章未提及價格、方案層級或地區資訊,請以 Google Cloud 官方文件為準。
同主題延伸閱讀
Claude Code 2.1.330:企業管理主控台登入、easel 圖表模組、排程任務延長至 30 天
Anthropic 在 Claude Code 2.1.330 更新日誌中列出企業管理主控台登入、內建圖表模組 easel、排程任務最長 30 天,以及更嚴格的 rm 指令審核。
AWS Quick 更新:對話建立流程、多代理協作、新增 Meta ads 與 Amplitude 連接器,AWS 稱所有 Quick 區域即日可用
AWS 推出分散式 KV 快取 Agent Skill:AWS 稱自架 LLM 成本最多降 40%、首字延遲最多降 80%
Amazon SageMaker HyperPod Slurm 推出叢集擴充功能:可觀測性與使用者管理兩項託管擴充,全 HyperPod 支援區域可用
資料來源
本文依據上方所列參考來源與標示之核對日期整理;票價、時刻、功能規格或服務條款可能變動,出發、預訂或購買前請至相關官方網站確認最新資訊。