[Project : Ms-Serving] Istio 기반 AI 모델 서빙 및 관측 플랫폼 (feat.K8s)

클라우드 네이티브 마이크로서비스 기반 AI 모델 서빙 플랫폼

(Cloud-native Microservice-based AI Model Serving Platform)

본 프로젝트는 AI 모델을 클라우드 네이티브 환경에서 효율적으로 배포하고 서비스할 수 있는 플랫폼을 구축하는 것을 목표로 한다.

Kubernetes 기반 인프라 위에 KServe, Knative, Istio 등을 활용하여 확장성과 유연성을 제공한다.

일반 사용자	Web UI를 통해 AI 모델 서빙 요청을 보내는 사용자
관리자 (Platform Admin)	전체 시스템 상태 확인, 모니터링 설정 및 관리
개발자 (DevOps)	새로운 모델 서빙 배포 및 라우팅 정책 설정

주요 구성 요소 - Stack Overview

구성 요소 설명

Infra	Docker , Kubernetes
KServe	머신러닝 모델 서빙을 위한 Kubernetes CRD 플랫폼
Knative	서버리스 기능 제공 (auto-scaling, scale-to-zero)
Istio	서비스 메시, 트래픽 라우팅 및 보안 관리
Spring Boot	Spring Boot 3.4.5 , 인증/ 인가 백엔드 서버 (server MVC 기반, Spring Security and JWT )
Next.js	사용자 프론트엔드 UI
DataBase	PostgreSQL

시연 영상 링크 - Demo

링크 설명

admin_demo	관리자 기능 - serverless , auto-scaling
user_demo	웹 클라이언트 인터페이스

개발 결과물 사용 방법

사전 준비 사항 (Prerequisites)

아래의 SW가 사전 설치되어 있어야 한다.

설치 여부 확인

node -v && npm -v
docker -v
kubectl version --client
helm version

docker에 login되어 있어야 합니다.
쿠버네티스 클러스터가 설정되어있어야 합니다. ex) GKE, EKS
auto-pilot 모드에서는 실행되지 않습니다.

설치 과정(Setup)

1. 저장소 클론 (서브모듈 포함)
git clone --recurse-submodules <https://github.com/2025-PNU-CC-TERM-PROJECT/ms-serving.git>

2. 인프라 디렉토리로 이동
cd ./ms-serving/infra

3. 도커 레지스트리 환경변수 설정
export DOCKER_REGISTRY=your-dockerhub-username

4. 설치 스크립트 실행
./setup.sh

접속 방법 (Access URLs)

프론트엔드

Frontend App: http://ms-frontend.ms-frontend.{MAGIC_DOMAIN}

AI 서비스

서비스 종류 URL

AI Image 서비스	http://ai-image-serving.ms-models.${MAGIC_DOMAIN}/v1/models/mobilenet:predict
AI Text 서비스	http://ai-text-serving.ms-models.${MAGIC_DOMAIN}/v1/models/kobart-summary:predict

모니터링 도구

Kiali (서비스 메시 시각화)	http://kiali.${MAGIC_DOMAIN}
Prometheus (메트릭 수집)	http://prometheus.${MAGIC_DOMAIN}
Grafana (대시보드 시각화)	http://grafana.${MAGIC_DOMAIN}
Jaeger (트레이싱 분석)	http://jaeger.${MAGIC_DOMAIN}

[Project : Ms-Serving] Istio 기반 AI 모델 서빙 및 관측 플랫폼 (feat.K8s)

클라우드 네이티브 마이크로서비스 기반 AI 모델 서빙 플랫폼

(Cloud-native Microservice-based AI Model Serving Platform)

주요 구성 요소 - Stack Overview

시연 영상 링크 - Demo

개발 결과물 사용 방법

사전 준비 사항 (Prerequisites)

설치 과정(Setup)

접속 방법 (Access URLs)

프론트엔드

AI 서비스

모니터링 도구

관련 기술 / 논문 / 특허 조사 내용 소개

티스토리툴바