Google Cloud Managed AirflowにコンソールAgentとData Agent Kitが登場:デバッグ、アップグレード確認、DAG開発を支援、MCPサーバーは一般提供開始

Google Cloudによると、Managed Airflowではパイプラインのライフサイクル全体でAIエージェントの支援が利用可能に。コンソールのManaged Airflow AgentとIDE向けData Agent Kitがあり、MCPサーバーは一般提供が始まった。

ニュース日: 読了目安 8 分

LINEで送るThreadsFacebookX
目次
  1. 1. 今回のManaged AirflowのAgent機能で何が変わるのか?
  2. 2. Airflow 3へのアップグレードとイベント駆動スケジューリングはどう進めるのか?
  3. 3. どのツールをどこで使うのか?
  4. 4. 実際のワークフローにどのような影響があるのか?

Google Cloudは公式ブログで、Managed Service for Apache Airflow(旧Cloud Composer)がパイプラインのライフサイクル全体にわたるAgent支援を提供すると発表した。Airflowはデータ処理の流れをスケジュール・実行するオープンソースのツールで、各フローはDAG(有向非巡回グラフ。タスクの手順と順序をコードで定義したもの)として記述する。記事で「一般提供」と明記されているのはManaged Airflow MCPサーバーのみで、コンソールAgentとData Agent Kitの提供段階、プラン、リージョンについては記載がない。Google Cloudは、パイプライン障害で最も難しいのは問題の所在を突き止めることで、Airflowの深い経験が必要になり、しかも当番対応中に行うことが多いと指摘する。最終的な判断は人が行う。

今回のManaged AirflowのAgent機能で何が変わるのか?

Google Cloudによると、コンソールのManaged Airflow Agentは失敗タスクの調査、環境改善の提案、DAGが新しいAirflowバージョンへのアップグレードに対応できるかの確認を担当する。IDE(コードを書くための統合開発環境)やコーディングAgent上では、Data Agent KitがDAGの作成、移行、デプロイを担当する。

ブログは架空の企業Cymbal Shopsを例に説明している。Airflow 2.11.1でクリックイベントを毎時バッチ処理していたが、トラフィック増加で1時間分のデータが約350MBから約1.4GBに増え、タスクがworker(タスクを実際に実行する計算ノード)の4GBメモリを超えた。各タスクは依然として単一のworkerで実行されるため、オートスケーリングでは解決しないと記事は指摘する。

Agentの提案には、ファイルを直接BigQueryへロードする、バッチを分割する、workerのメモリを増やすなどが含まれる。またworkerメモリを4GBから8GBに引き上げることを勧め、データベース保持が無効、環境が高い耐障害性を備えていない、スケジュールされたスナップショットがないという3つの不備も指摘した。記事によればAgentは読み取り専用で、変更はユーザー自身が実行する。

Airflow 3へのアップグレードとイベント駆動スケジューリングはどう進めるのか?

記事によると、Airflow 3はイベント駆動スケジューリングをネイティブにサポートしており、毎時固定で実行するのではなく、新しいデータが届いたときに起動する。アセットウォッチャー(asset watcher)がPub/Subサブスクリプションなどの外部ソースを監視し、新しいメッセージがあればアセットを更新して、そのアセットにスケジュールされたDAGが実行される。アップグレード前にAgentはAirflow 3.3.1を対象に互換性を確認し、2件の阻害要因(データベースを手動でクリーンアップするメンテナンスDAG、削除済みのexecution_dateを使うDAG)を見つけたほか、4つのDAGでschedule_intervalをscheduleに変更する必要があるとした。

その後、Data Agent Kitの移行スキル(migrations skill)がDAGを調整し、デプロイして検証する。例ではPubsubPullTriggerとAssetWatcherを組み合わせ、triggerer(Airflowがバックグラウンドでイベントを待つコンポーネント)が10秒ごとにサブスクリプションを確認する。動的タスクマッピング(新しいファイルごとに個別のタスクを割り当てる仕組み)で新しいファイル1つにつき1タスクを割り当て、ファイルの上限は128MBとしている。

Google Cloudブログの架空シナリオによる比較(数値は例示)
観点Airflow 2 毎時バッチ(例)Airflow 3 イベント駆動(例)
処理単位時計の1時間分:通常は約350MB、イベントのピーク時は約1.4GBファイル1件、各数MB(最大128MB)
タスクごとのピークメモリトラフィックとともに増加。ブラックフライデーでは8GBを大きく超える見込み安定しており、1GBを大きく下回る
クリックからBigQueryまで1時間超数分
8倍のピークトラフィックでの負荷テスト—DAGの実行回数は増えるが、タスクあたりのメモリは変わらない

どのツールをどこで使うのか?

Google Cloudブログをもとに整理
ツール利用場所機能提供状況
Managed Airflow AgentGoogle Cloudコンソール失敗タスクの調査、環境の提案、アップグレード互換性の確認記事では「利用可能」とあるが、プランやリージョンは記載なし
Data Agent KitIDE/コーディングAgentDAGの作成、移行、デプロイ提供段階は記載なし。VS Code拡張機能と複数のAgent用プラグインを提供
Managed Airflow MCPサーバーMCP対応の任意のAgentDAGの一覧表示・トリガー、状態確認、失敗タスクの確認一般提供。IAMで制御
Common AI providerAirflow 3のDAG内LLMによる分岐、Agentによる再試行、スキーマドリフト検出記事では利用可能な機能として挙げられているのみ

実際のワークフローにどのような影響があるのか?

Google Cloudによると、コンソールAgentはユーザーの権限で本番環境のテレメトリを参照し、設定は一切変更しない。コードの変更はIDEでレビュー、テスト、デプロイする。記事は「Agentが提案し、人が決める」としており、静的チェックにより移行作業の規模を数分で見積もれるという。

試す場合、Google CloudはData Agent Kitの導入経路として、ドキュメント、VS Code拡張機能、Antigravity、Claude Code、Gemini CLI、Codex CLI対応のプラグイン、オープンソースのAirflow agent skillsを挙げている。詳細はGoogle Cloudのドキュメントを参照のこと。

よくある質問

Managed Airflow Agentは環境を自動で変更しますか?

Google Cloudの説明では、コンソールAgentは読み取り専用で、診断と提案のみを行う。例では、エンジニアが自らworkerメモリを調整し、各変更をレビューしている。

MCPサーバーで何ができますか?

MCPはAIエージェントを外部ツールに接続するためのプロトコル。Google Cloudによると、Managed Airflow MCPサーバーは一般提供が始まり、MCP対応AgentがDAGの一覧表示・トリガー、実行状態の確認、失敗したタスクインスタンスの確認を行える。アクセスはIAMで制御され、読み取り専用ツールにはタグが付く。

記事中の数値は実際の性能と考えてよいですか?

いいえ。ブログはCymbal Shopsが架空の企業であり、Agentの出力、トラフィック、メモリの数値は短縮された例示であると明記している。

これらの機能の価格や利用できる地域は?

Google Cloudの記事には価格、プランの階層、リージョンに関する情報はない。Google Cloudの公式ドキュメントで確認してほしい。

このトピックの最新ニュースを見る

この記事が役に立ったら、必要な方にシェアしてください

LINEで送るThreadsFacebookX

出典

上記の参考資料および記載の確認日時点の情報をもとに整理しています。料金・時刻・機能・利用規約は変更される場合があるため、ご旅行や予約・購入の前には該当する公式サイトで最新情報をご確認ください。

ライフスタイル