[Project : Ms-Serving] Istio 기반 AI 모델 서빙 및 관측 플랫폼 (feat.K8s)
·
Project/ms-serving
클라우드 네이티브 마이크로서비스 기반 AI 모델 서빙 플랫폼(Cloud-native Microservice-based AI Model Serving Platform) 본 프로젝트는 AI 모델을 클라우드 네이티브 환경에서 효율적으로 배포하고 서비스할 수 있는 플랫폼을 구축하는 것을 목표로 한다.Kubernetes 기반 인프라 위에 KServe, Knative, Istio 등을 활용하여 확장성과 유연성을 제공한다.일반 사용자Web UI를 통해 AI 모델 서빙 요청을 보내는 사용자관리자 (Platform Admin)전체 시스템 상태 확인, 모니터링 설정 및 관리개발자 (DevOps)새로운 모델 서빙 배포 및 라우팅 정책 설정 주요 구성 요소 - Stack Overview구성 요소 설명InfraDocker ..