Google Cloud Managed Airflow 新增控制台 Agent 与 Data Agent Kit:协助调试、升级检查与 DAG 开发,MCP 服务器已正式推出

Google Cloud 表示,Managed Airflow 现提供覆盖管道生命周期的 AI Agent 协助,包括控制台的 Managed Airflow Agent 与 IDE 中的 Data Agent Kit;其 MCP 服务器已正式推出。

新闻日期: 阅读时间约 5 分钟

目录
  1. 1. 这次 Managed Airflow 的 Agent 功能改变了什么?
  2. 2. 升级到 Airflow 3 与事件驱动调度怎么做?
  3. 3. 有哪些工具与使用位置?
  4. 4. 实际工作流程会有什么影响?

Google Cloud 在官方博客宣布,Managed Service for Apache Airflow(前身为 Cloud Composer)现提供覆盖管道整个生命周期的 Agent 协助。Airflow 是调度与运行数据处理流程的开源工具,每条流程以 DAG(有向无环图,即用代码定义的任务步骤及先后顺序)描述。文章中明确标示为“已正式推出”的只有 Managed Airflow MCP 服务器;控制台 Agent 与 Data Agent Kit 的推出阶段、方案与地区,文中并未说明。Google Cloud 指出,管道失败时最难的通常是找出问题所在,往往需要深厚的 Airflow 经验,而且常在值班处理事故时进行;最终决定仍由人负责。

这次 Managed Airflow 的 Agent 功能改变了什么?

根据 Google Cloud,控制台中的 Managed Airflow Agent 负责调查失败任务、建议环境改进,并检查 DAG 是否已准备好升级到较新的 Airflow 版本。在 IDE 或代码 Agent 中,Data Agent Kit 则负责编写、迁移与部署 DAG。

博客以虚构公司 Cymbal Shops 作演示:原本在 Airflow 2.11.1 上按小时批量处理点击事件,流量增加后单个小时的数据从约 350 MB 增至约 1.4 GB,任务超出 worker(实际执行任务的计算节点)的 4 GB 内存。文章指出,自动扩缩容无法解决,因为每个任务仍只在单个 worker 上运行。

Agent 的建议包括直接将文件加载到 BigQuery、分批处理,或增加 worker 内存;另建议把 worker 内存从 4 GB 提高到 8 GB,并指出数据库保留未启用、环境未具高韧性、没有定时快照三项缺口。文章说明 Agent 为只读,变更由用户自行执行。

升级到 Airflow 3 与事件驱动调度怎么做?

文章指出,Airflow 3 原生支持事件驱动调度,也就是有新数据进来才启动,而不是固定每小时运行一次:资产监视器(asset watcher)监听如 Pub/Sub 订阅这样的外部来源,有新消息就更新资产,调度在该资产上的 DAG 便启动运行。升级前,Agent 以 Airflow 3.3.1 为目标检查兼容性,找出两项阻碍(手动清理数据库的维护 DAG、使用已移除的 execution_date 的 DAG),另有四个 DAG 需把 schedule_interval 改为 schedule。

之后 Data Agent Kit 的迁移技能(migrations skill)会调整 DAG、部署并验证。示例中改用 PubsubPullTrigger 搭配 AssetWatcher,由 triggerer(Airflow 在后台等待事件的组件)每 10 秒检查订阅,并用动态任务映射让每个新文件各有一个任务,文件上限为 128 MB。

Google Cloud 博客的虚构情境对照(数字为示意)
方面Airflow 2 每小时批处理(示例)Airflow 3 事件驱动(示例)
工作单位一个时钟小时:平时约 350 MB,活动高峰约 1.4 GB单个文件,每个数 MB(最多 128 MB)
每任务峰值内存随流量增长;黑色星期五预计远高于 8 GB稳定,远低于 1 GB
从点击到 BigQuery超过一小时数分钟
八倍峰值流量负载测试—DAG 运行更频繁,单任务内存不变

有哪些工具与使用位置?

依 Google Cloud 博客整理
工具使用位置功能推出状态
Managed Airflow AgentGoogle Cloud 控制台调查失败任务、环境建议、升级兼容性检查文中称“现提供”,未说明方案或地区
Data Agent KitIDE/代码 Agent编写、迁移、部署 DAG未说明推出阶段;提供 VS Code 扩展与多款 Agent 插件
Managed Airflow MCP 服务器兼容 MCP 的任意 Agent列出与触发 DAG、查看状态、查看失败任务已正式推出;由 IAM 管控
Common AI providerAirflow 3 DAG 内LLM 分支、Agentic 重试、结构漂移检测文中仅列为可用能力

实际工作流程会有什么影响?

Google Cloud 指出,控制台 Agent 以用户权限查看生产环境遥测且不更改任何配置,而代码变更则在 IDE 中审阅、测试与部署。文章称“Agent 提出建议、人做决定”,并说静态检查能在数分钟内评估迁移工作量。

若想尝试,Google Cloud 列出的 Data Agent Kit 安装渠道包括文档、VS Code 扩展、支持 Antigravity、Claude Code、Gemini CLI 与 Codex CLI 的插件,以及开源 Airflow agent skills;细节请参阅 Google Cloud 文档。

常见问题

Managed Airflow Agent 会自动修改我的环境吗?

据 Google Cloud 说明,控制台 Agent 为只读,只诊断与建议;示例中工程师自行调整 worker 内存并审阅每项变更。

MCP 服务器能做什么?

MCP 是让 AI Agent 连接外部工具的协议。Google Cloud 表示,Managed Airflow MCP 服务器已正式推出,让兼容 MCP 的 Agent 列出与触发 DAG、检查运行状态并查看失败的任务实例。访问由 IAM 控制,只读工具有标记。

文中的数字可以当作实际性能吗?

不行。博客注明 Cymbal Shops 为虚构公司,Agent 输出以及流量与内存数字均为缩略且示意性质。

这些功能的价格或地区可用性如何?

Google Cloud 的文章未提及价格、方案层级或地区信息,请以 Google Cloud 官方文档为准。

查看同分类最新消息

觉得这篇整理实用吗?分享给需要的朋友

资料来源

本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。

生活分享