Google Cloud Managed AirflowにコンソールAgentとData Agent Kitが登場:デバッグ、アップグレード確認、DAG開発を支援、MCPサーバーは一般提供開始
Google Cloudによると、Managed Airflowではパイプラインのライフサイクル全体でAIエージェントの支援が利用可能に。コンソールのManaged Airflow AgentとIDE向けData Agent Kitがあり、MCPサーバーは一般提供が始まった。
ニュース日: 読了目安 8 分
目次
Google Cloudは公式ブログで、Managed Service for Apache Airflow(旧Cloud Composer)がパイプラインのライフサイクル全体にわたるAgent支援を提供すると発表した。Airflowはデータ処理の流れをスケジュール・実行するオープンソースのツールで、各フローはDAG(有向非巡回グラフ。タスクの手順と順序をコードで定義したもの)として記述する。記事で「一般提供」と明記されているのはManaged Airflow MCPサーバーのみで、コンソールAgentとData Agent Kitの提供段階、プラン、リージョンについては記載がない。Google Cloudは、パイプライン障害で最も難しいのは問題の所在を突き止めることで、Airflowの深い経験が必要になり、しかも当番対応中に行うことが多いと指摘する。最終的な判断は人が行う。
今回のManaged AirflowのAgent機能で何が変わるのか?
Google Cloudによると、コンソールのManaged Airflow Agentは失敗タスクの調査、環境改善の提案、DAGが新しいAirflowバージョンへのアップグレードに対応できるかの確認を担当する。IDE(コードを書くための統合開発環境)やコーディングAgent上では、Data Agent KitがDAGの作成、移行、デプロイを担当する。
ブログは架空の企業Cymbal Shopsを例に説明している。Airflow 2.11.1でクリックイベントを毎時バッチ処理していたが、トラフィック増加で1時間分のデータが約350MBから約1.4GBに増え、タスクがworker(タスクを実際に実行する計算ノード)の4GBメモリを超えた。各タスクは依然として単一のworkerで実行されるため、オートスケーリングでは解決しないと記事は指摘する。
Agentの提案には、ファイルを直接BigQueryへロードする、バッチを分割する、workerのメモリを増やすなどが含まれる。またworkerメモリを4GBから8GBに引き上げることを勧め、データベース保持が無効、環境が高い耐障害性を備えていない、スケジュールされたスナップショットがないという3つの不備も指摘した。記事によればAgentは読み取り専用で、変更はユーザー自身が実行する。
Airflow 3へのアップグレードとイベント駆動スケジューリングはどう進めるのか?
記事によると、Airflow 3はイベント駆動スケジューリングをネイティブにサポートしており、毎時固定で実行するのではなく、新しいデータが届いたときに起動する。アセットウォッチャー(asset watcher)がPub/Subサブスクリプションなどの外部ソースを監視し、新しいメッセージがあればアセットを更新して、そのアセットにスケジュールされたDAGが実行される。アップグレード前にAgentはAirflow 3.3.1を対象に互換性を確認し、2件の阻害要因(データベースを手動でクリーンアップするメンテナンスDAG、削除済みのexecution_dateを使うDAG)を見つけたほか、4つのDAGでschedule_intervalをscheduleに変更する必要があるとした。
その後、Data Agent Kitの移行スキル(migrations skill)がDAGを調整し、デプロイして検証する。例ではPubsubPullTriggerとAssetWatcherを組み合わせ、triggerer(Airflowがバックグラウンドでイベントを待つコンポーネント)が10秒ごとにサブスクリプションを確認する。動的タスクマッピング(新しいファイルごとに個別のタスクを割り当てる仕組み)で新しいファイル1つにつき1タスクを割り当て、ファイルの上限は128MBとしている。
| 観点 | Airflow 2 毎時バッチ(例) | Airflow 3 イベント駆動(例) |
|---|---|---|
| 処理単位 | 時計の1時間分:通常は約350MB、イベントのピーク時は約1.4GB | ファイル1件、各数MB(最大128MB) |
| タスクごとのピークメモリ | トラフィックとともに増加。ブラックフライデーでは8GBを大きく超える見込み | 安定しており、1GBを大きく下回る |
| クリックからBigQueryまで | 1時間超 | 数分 |
| 8倍のピークトラフィックでの負荷テスト | — | DAGの実行回数は増えるが、タスクあたりのメモリは変わらない |
どのツールをどこで使うのか?
| ツール | 利用場所 | 機能 | 提供状況 |
|---|---|---|---|
| Managed Airflow Agent | Google Cloudコンソール | 失敗タスクの調査、環境の提案、アップグレード互換性の確認 | 記事では「利用可能」とあるが、プランやリージョンは記載なし |
| Data Agent Kit | IDE/コーディングAgent | DAGの作成、移行、デプロイ | 提供段階は記載なし。VS Code拡張機能と複数のAgent用プラグインを提供 |
| Managed Airflow MCPサーバー | MCP対応の任意のAgent | DAGの一覧表示・トリガー、状態確認、失敗タスクの確認 | 一般提供。IAMで制御 |
| Common AI provider | Airflow 3のDAG内 | LLMによる分岐、Agentによる再試行、スキーマドリフト検出 | 記事では利用可能な機能として挙げられているのみ |
実際のワークフローにどのような影響があるのか?
Google Cloudによると、コンソールAgentはユーザーの権限で本番環境のテレメトリを参照し、設定は一切変更しない。コードの変更はIDEでレビュー、テスト、デプロイする。記事は「Agentが提案し、人が決める」としており、静的チェックにより移行作業の規模を数分で見積もれるという。
試す場合、Google CloudはData Agent Kitの導入経路として、ドキュメント、VS Code拡張機能、Antigravity、Claude Code、Gemini CLI、Codex CLI対応のプラグイン、オープンソースのAirflow agent skillsを挙げている。詳細はGoogle Cloudのドキュメントを参照のこと。
よくある質問
Managed Airflow Agentは環境を自動で変更しますか?
Google Cloudの説明では、コンソールAgentは読み取り専用で、診断と提案のみを行う。例では、エンジニアが自らworkerメモリを調整し、各変更をレビューしている。
MCPサーバーで何ができますか?
MCPはAIエージェントを外部ツールに接続するためのプロトコル。Google Cloudによると、Managed Airflow MCPサーバーは一般提供が始まり、MCP対応AgentがDAGの一覧表示・トリガー、実行状態の確認、失敗したタスクインスタンスの確認を行える。アクセスはIAMで制御され、読み取り専用ツールにはタグが付く。
記事中の数値は実際の性能と考えてよいですか?
いいえ。ブログはCymbal Shopsが架空の企業であり、Agentの出力、トラフィック、メモリの数値は短縮された例示であると明記している。
これらの機能の価格や利用できる地域は?
Google Cloudの記事には価格、プランの階層、リージョンに関する情報はない。Google Cloudの公式ドキュメントで確認してほしい。
同じテーマの記事
Claude Code 2.1.330:Enterprise Admin Consoleへのログイン、easelグラフモジュール、スケジュールタスクが最長30日に
AnthropicのClaude Code 2.1.330変更履歴には、Enterprise Admin Consoleへのログイン、組み込みグラフモジュールeasel、最長30日のスケジュールタスク、より厳格なrmコマンドの承認が記載されています。
AWS Quick アップデート:チャットでのフロー作成、マルチエージェント連携、Meta ads・Amplitude コネクタを追加。AWS によると全提供リージョンで即日利用可能
AWSが分散KVキャッシュのAgent Skillを公開:AWSは自前LLMのコスト最大40%減、初回トークン遅延最大80%減と説明
Amazon SageMaker HyperPod Slurm にクラスター拡張機能が登場:オブザーバビリティとユーザー管理の2つのマネージド拡張、HyperPod対応の全リージョンで利用可能
出典
上記の参考資料および記載の確認日時点の情報をもとに整理しています。料金・時刻・機能・利用規約は変更される場合があるため、ご旅行や予約・購入の前には該当する公式サイトで最新情報をご確認ください。