Google Cloud Managed Airflow 新增控制台 Agent 与 Data Agent Kit:协助调试、升级检查与 DAG 开发,MCP 服务器已正式推出
Google Cloud 表示,Managed Airflow 现提供覆盖管道生命周期的 AI Agent 协助,包括控制台的 Managed Airflow Agent 与 IDE 中的 Data Agent Kit;其 MCP 服务器已正式推出。
新闻日期: 阅读时间约 5 分钟
Google Cloud 在官方博客宣布,Managed Service for Apache Airflow(前身为 Cloud Composer)现提供覆盖管道整个生命周期的 Agent 协助。Airflow 是调度与运行数据处理流程的开源工具,每条流程以 DAG(有向无环图,即用代码定义的任务步骤及先后顺序)描述。文章中明确标示为“已正式推出”的只有 Managed Airflow MCP 服务器;控制台 Agent 与 Data Agent Kit 的推出阶段、方案与地区,文中并未说明。Google Cloud 指出,管道失败时最难的通常是找出问题所在,往往需要深厚的 Airflow 经验,而且常在值班处理事故时进行;最终决定仍由人负责。
这次 Managed Airflow 的 Agent 功能改变了什么?
根据 Google Cloud,控制台中的 Managed Airflow Agent 负责调查失败任务、建议环境改进,并检查 DAG 是否已准备好升级到较新的 Airflow 版本。在 IDE 或代码 Agent 中,Data Agent Kit 则负责编写、迁移与部署 DAG。
博客以虚构公司 Cymbal Shops 作演示:原本在 Airflow 2.11.1 上按小时批量处理点击事件,流量增加后单个小时的数据从约 350 MB 增至约 1.4 GB,任务超出 worker(实际执行任务的计算节点)的 4 GB 内存。文章指出,自动扩缩容无法解决,因为每个任务仍只在单个 worker 上运行。
Agent 的建议包括直接将文件加载到 BigQuery、分批处理,或增加 worker 内存;另建议把 worker 内存从 4 GB 提高到 8 GB,并指出数据库保留未启用、环境未具高韧性、没有定时快照三项缺口。文章说明 Agent 为只读,变更由用户自行执行。
升级到 Airflow 3 与事件驱动调度怎么做?
文章指出,Airflow 3 原生支持事件驱动调度,也就是有新数据进来才启动,而不是固定每小时运行一次:资产监视器(asset watcher)监听如 Pub/Sub 订阅这样的外部来源,有新消息就更新资产,调度在该资产上的 DAG 便启动运行。升级前,Agent 以 Airflow 3.3.1 为目标检查兼容性,找出两项阻碍(手动清理数据库的维护 DAG、使用已移除的 execution_date 的 DAG),另有四个 DAG 需把 schedule_interval 改为 schedule。
之后 Data Agent Kit 的迁移技能(migrations skill)会调整 DAG、部署并验证。示例中改用 PubsubPullTrigger 搭配 AssetWatcher,由 triggerer(Airflow 在后台等待事件的组件)每 10 秒检查订阅,并用动态任务映射让每个新文件各有一个任务,文件上限为 128 MB。
| 方面 | Airflow 2 每小时批处理(示例) | Airflow 3 事件驱动(示例) |
|---|---|---|
| 工作单位 | 一个时钟小时:平时约 350 MB,活动高峰约 1.4 GB | 单个文件,每个数 MB(最多 128 MB) |
| 每任务峰值内存 | 随流量增长;黑色星期五预计远高于 8 GB | 稳定,远低于 1 GB |
| 从点击到 BigQuery | 超过一小时 | 数分钟 |
| 八倍峰值流量负载测试 | — | DAG 运行更频繁,单任务内存不变 |
有哪些工具与使用位置?
| 工具 | 使用位置 | 功能 | 推出状态 |
|---|---|---|---|
| Managed Airflow Agent | Google Cloud 控制台 | 调查失败任务、环境建议、升级兼容性检查 | 文中称“现提供”,未说明方案或地区 |
| Data Agent Kit | IDE/代码 Agent | 编写、迁移、部署 DAG | 未说明推出阶段;提供 VS Code 扩展与多款 Agent 插件 |
| Managed Airflow MCP 服务器 | 兼容 MCP 的任意 Agent | 列出与触发 DAG、查看状态、查看失败任务 | 已正式推出;由 IAM 管控 |
| Common AI provider | Airflow 3 DAG 内 | LLM 分支、Agentic 重试、结构漂移检测 | 文中仅列为可用能力 |
实际工作流程会有什么影响?
Google Cloud 指出,控制台 Agent 以用户权限查看生产环境遥测且不更改任何配置,而代码变更则在 IDE 中审阅、测试与部署。文章称“Agent 提出建议、人做决定”,并说静态检查能在数分钟内评估迁移工作量。
若想尝试,Google Cloud 列出的 Data Agent Kit 安装渠道包括文档、VS Code 扩展、支持 Antigravity、Claude Code、Gemini CLI 与 Codex CLI 的插件,以及开源 Airflow agent skills;细节请参阅 Google Cloud 文档。
常见问题
Managed Airflow Agent 会自动修改我的环境吗?
据 Google Cloud 说明,控制台 Agent 为只读,只诊断与建议;示例中工程师自行调整 worker 内存并审阅每项变更。
MCP 服务器能做什么?
MCP 是让 AI Agent 连接外部工具的协议。Google Cloud 表示,Managed Airflow MCP 服务器已正式推出,让兼容 MCP 的 Agent 列出与触发 DAG、检查运行状态并查看失败的任务实例。访问由 IAM 控制,只读工具有标记。
文中的数字可以当作实际性能吗?
不行。博客注明 Cymbal Shops 为虚构公司,Agent 输出以及流量与内存数字均为缩略且示意性质。
这些功能的价格或地区可用性如何?
Google Cloud 的文章未提及价格、方案层级或地区信息,请以 Google Cloud 官方文档为准。
同主题延伸阅读
Claude Code 2.1.330:企业管理控制台登录、easel 图表模块、定时任务延长至 30 天
Anthropic 在 Claude Code 2.1.330 更新日志中列出企业管理控制台登录、内置图表模块 easel、定时任务最长 30 天,以及更严格的 rm 命令审核。
AWS Quick 更新:对话创建流程、多智能体协作、新增 Meta ads 与 Amplitude 连接器,AWS 称所有 Quick 区域即日可用
AWS 推出分布式 KV 缓存 Agent Skill:AWS 称自建 LLM 成本最多降 40%、首字延迟最多降 80%
Amazon SageMaker HyperPod Slurm 推出集群扩展功能:可观测性与用户管理两项托管扩展,所有 HyperPod 支持区域可用
资料来源
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。