Google Cloud Managed Airflow, 콘솔 Agent와 Data Agent Kit 추가: 디버깅·업그레이드 점검·DAG 개발 지원, MCP 서버 정식 출시
Google Cloud는 Managed Airflow가 이제 파이프라인 전 생애주기에 걸친 AI Agent 지원을 제공한다고 밝혔다. 콘솔의 Managed Airflow Agent와 IDE의 Data Agent Kit가 포함되며, MCP 서버는 정식 출시됐다.
뉴스 날짜: 읽는 데 약 7분
목차
Google Cloud는 공식 블로그에서 Managed Service for Apache Airflow(구 Cloud Composer)가 이제 파이프라인 전체 생애주기에 걸친 Agent 지원을 제공한다고 발표했다. Airflow는 데이터 처리 흐름을 예약·실행하는 오픈소스 도구로, 각 흐름은 DAG(방향성 비순환 그래프, 즉 코드로 정의한 태스크 단계와 선후 순서)로 기술된다. 글에서 '정식 출시'라고 명시한 것은 Managed Airflow MCP 서버뿐이며, 콘솔 Agent와 Data Agent Kit의 출시 단계, 요금제, 지역은 글에 설명되어 있지 않다. Google Cloud는 파이프라인이 실패했을 때 가장 어려운 일은 문제 위치를 찾는 것이며, 이는 깊은 Airflow 경험을 요구하고 당직 중 장애 대응 상황에서 이뤄지는 경우가 많다고 지적했다. 최종 결정은 여전히 사람이 내린다.
이번 Managed Airflow의 Agent 기능은 무엇을 바꾸나?
Google Cloud에 따르면 콘솔의 Managed Airflow Agent는 실패한 태스크를 조사하고 환경 개선안을 제안하며, DAG가 더 새로운 Airflow 버전으로 업그레이드할 준비가 됐는지 점검한다. IDE나 코드 Agent에서는 Data Agent Kit가 DAG를 작성·마이그레이션·배포한다.
블로그는 가상 회사 Cymbal Shops로 시연한다. 이 회사는 Airflow 2.11.1에서 클릭 이벤트를 매시간 배치로 처리했는데, 트래픽이 늘면서 한 시간치 데이터가 약 350MB에서 약 1.4GB로 커져 태스크가 worker(실제로 태스크를 실행하는 컴퓨팅 노드)의 4GB 메모리를 초과했다. 글은 각 태스크가 여전히 단일 worker에서만 실행되므로 자동 확장으로는 해결되지 않는다고 설명한다.
Agent의 제안에는 파일을 BigQuery에 직접 로드하기, 배치 단위로 나눠 처리하기, worker 메모리 늘리기가 포함된다. 또한 worker 메모리를 4GB에서 8GB로 올릴 것을 권하고, 데이터베이스 보존 미활성화, 고복원력 미적용 환경, 예약된 스냅샷 부재라는 세 가지 공백을 짚었다. 글은 Agent가 읽기 전용이며 변경은 사용자가 직접 실행한다고 설명한다.
Airflow 3 업그레이드와 이벤트 기반 스케줄링은 어떻게 하나?
글에 따르면 Airflow 3는 이벤트 기반 스케줄링을 기본 지원한다. 매시간 고정 실행이 아니라 새 데이터가 들어올 때 시작하는 방식이다. 에셋 감시자(asset watcher)가 Pub/Sub 구독 같은 외부 소스를 감시하다가 새 메시지가 오면 에셋을 갱신하고, 그 에셋에 스케줄된 DAG가 실행된다. 업그레이드 전에 Agent는 Airflow 3.3.1을 목표로 호환성을 점검해 두 가지 걸림돌(데이터베이스를 수동으로 정리하는 유지보수 DAG, 제거된 execution_date를 쓰는 DAG)을 찾았고, 그 밖에 DAG 네 개는 schedule_interval을 schedule로 바꿔야 한다.
이후 Data Agent Kit의 마이그레이션 스킬(migrations skill)이 DAG를 수정하고 배포하며 검증한다. 예시에서는 PubsubPullTrigger와 AssetWatcher를 함께 쓰고, triggerer(Airflow가 백그라운드에서 이벤트를 기다리는 구성 요소)가 10초마다 구독을 확인한다. 동적 태스크 매핑(들어온 파일 수만큼 태스크를 자동으로 만드는 기능)으로 새 파일마다 태스크 하나를 두며, 구독 설정상 파일은 최대 128MB다.
| 항목 | Airflow 2 매시간 배치(예시) | Airflow 3 이벤트 기반(예시) |
|---|---|---|
| 작업 단위 | 시계 기준 한 시간: 평소 약 350MB, 행사 피크 약 1.4GB | 파일 하나, 각각 수 MB(최대 128MB) |
| 태스크당 피크 메모리 | 트래픽에 따라 증가. 블랙 프라이데이에는 8GB를 크게 넘을 것으로 예상 | 안정적, 1GB를 크게 밑돎 |
| 클릭에서 BigQuery까지 | 1시간 초과 | 수 분 |
| 8배 피크 트래픽 부하 테스트 | — | DAG 실행이 더 잦아지지만 태스크당 메모리는 그대로 |
어떤 도구를 어디에서 쓰나?
| 도구 | 사용 위치 | 기능 | 출시 상태 |
|---|---|---|---|
| Managed Airflow Agent | Google Cloud 콘솔 | 실패 태스크 조사, 환경 권고, 업그레이드 호환성 점검 | 글에서 '지금 제공'이라 표현, 요금제·지역 언급 없음 |
| Data Agent Kit | IDE/코드 Agent | DAG 작성·마이그레이션·배포 | 출시 단계 언급 없음. VS Code 확장과 여러 Agent용 플러그인 제공 |
| Managed Airflow MCP 서버 | MCP 호환 모든 Agent | DAG 나열·트리거, 상태 확인, 실패 태스크 조회 | 정식 출시. IAM으로 제어 |
| Common AI provider | Airflow 3 DAG 내부 | LLM 분기, Agentic 재시도, 스키마 드리프트 감지 | 글에서는 사용 가능한 기능으로만 언급 |
실제 작업 흐름에는 어떤 영향이 있나?
Google Cloud에 따르면 콘솔 Agent는 사용자 권한으로 운영 환경 텔레메트리를 보되 어떤 설정도 바꾸지 않으며, 코드 변경은 IDE에서 검토·테스트·배포한다. 글은 'Agent가 제안하고 사람이 결정한다'고 표현하며, 코드를 실행하지 않고 살펴보는 정적 점검으로 마이그레이션 작업량을 몇 분 안에 평가할 수 있다고 말한다.
직접 써 보려는 경우, Google Cloud가 제시한 Data Agent Kit 설치 경로는 문서, VS Code 확장, Antigravity·Claude Code·Gemini CLI·Codex CLI를 지원하는 플러그인, 오픈소스 Airflow agent skills다. 자세한 내용은 Google Cloud 문서를 참고하자.
자주 묻는 질문
Managed Airflow Agent가 내 환경을 자동으로 수정하나?
Google Cloud 설명에 따르면 콘솔 Agent는 읽기 전용으로 진단과 제안만 한다. 예시에서는 엔지니어가 직접 worker 메모리를 조정하고 모든 변경을 검토했다.
MCP 서버로 무엇을 할 수 있나?
MCP는 AI Agent를 외부 도구에 연결하는 프로토콜이다. Google Cloud에 따르면 Managed Airflow MCP 서버는 정식 출시되어 MCP 호환 Agent가 DAG를 나열·트리거하고, 실행 상태를 확인하며, 실패한 태스크 인스턴스를 볼 수 있다. 접근은 IAM으로 제어되며 읽기 전용 도구에는 표시가 있다.
글의 수치를 실제 성능으로 봐도 되나?
아니다. 블로그는 Cymbal Shops가 가상 회사이며 Agent 출력과 트래픽·메모리 수치는 축약된 예시라고 밝혔다.
이 기능들의 가격이나 한국 등 지역별 이용 가능 여부는?
Google Cloud의 글에는 가격, 요금제 등급, 지역 정보가 없다. Google Cloud 공식 문서를 기준으로 확인하라.
같은 주제의 글
Claude Code 2.1.330: 엔터프라이즈 관리 콘솔 로그인, easel 차트 모듈, 예약 작업 최대 30일로 연장
Anthropic은 Claude Code 2.1.330 변경 로그에서 엔터프라이즈 관리 콘솔 로그인, 내장 차트 모듈 easel, 최대 30일 예약 작업, 더 엄격한 rm 명령 승인을 소개했습니다.
AWS Quick 업데이트: 대화형 플로 생성, 멀티 에이전트 협업, Meta ads·Amplitude 커넥터 추가… AWS "Quick 제공 전 리전에서 즉시 이용 가능"
AWS, 분산 KV 캐시 에이전트 스킬 공개: AWS "자체 호스팅 LLM 비용 최대 40%↓, 첫 토큰 지연 최대 80%↓"
Amazon SageMaker HyperPod Slurm, 클러스터 확장 기능 출시: 관측성·사용자 관리 두 가지 관리형 확장, HyperPod 지원 전 리전에서 사용 가능
출처
위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.