MLflow, Kubeflow, Vertex AI Pipelines 같은 MLOps 플랫폼들은 구현 세부 방식은 다르지만, 공통적으로 ML 워크플로우 전체를 “파이프라인(Pipeline)” 단위로 추상화해서 관리합니다.
📌 공통 핵심 추상화 개념
- Experiment (실험): 모델 학습 과정(코드, 파라미터, 데이터, 결과)을 버전 관리
- Run (실행 단위): 하나의 학습/실험 실행 기록
- Model Registry (모델 레지스트리): 학습된 모델 아티팩트를 관리, 버전 관리 및 배포 단계(Staging, Production 등) 추적
- Pipeline (파이프라인): 데이터 전처리 → 학습 → 평가 → 배포까지의 과정을 단계별(Task/Step)로 구성한 워크플로우
👉 즉, 플랫폼마다 이름은 달라도 공통적으로 추구하는 건
**“재현 가능한 실험 관리 + 자동화된 파이프라인 + 모델 버전 관리 + 운영 환경 배포”**입니다.
📊 각 플랫폼별 특징 비교
1. MLflow
- 역할
- 가볍고 유연한 오픈소스 ML lifecycle 관리 툴
- Tracking(실험 관리), Projects(코드 패키징), Models(아티팩트 저장), Registry(모델 버전 관리) 제공
- 장점
- 경량, 쉽고 빠르게 도입 가능
- 라이브러리 불문 (TensorFlow, PyTorch, XGBoost 등) → 언어/프레임워크 독립적
- 모델 레지스트리 기능이 강력
- 단점
- 파이프라인 오케스트레이션 기능은 약함 → Airflow, Prefect 같은 외부 툴과 연계 필요
- 스케일아웃(대규모 분산 학습) 지원은 제한적