KServe
v0.19.0AI & MLKServe v0.19.0은 LLMInferenceService의 관측 가능성, 오토스케일링, 라우팅 기능을 크게 강화한 릴리스입니다. CVE 패치 2건도 포함됩니다.
securityCVE 두 건, 업그레이드 전 반드시 확인
v0.19.0은 vLLM/Pillow CVE와 CVE-2026-21226(azure-core)을 수정합니다. vLLM 런타임이나 azure-core 의존성이 있는 환경이라면 v0.19.0으로 업그레이드하거나, 당장 업그레이드가 어렵다면 azure-core>=1.38.0을 수동으로 고정하세요. 커스텀 서버 이미지에 포함된 Pillow 버전도 확인하세요.
breaking라우터 splitter off-by-one 수정으로 트래픽 분배 비율 변경
pickupRoute의 난수 범위 계산에 off-by-one 오류가 있었고 이번에 수정됐습니다. 업그레이드 후 splitter 가중치가 올바르게 계산되므로, 기존 버그에 맞춰 가중치를 조정해두었다면 실제 트래픽 분배가 달라질 수 있습니다. 운영 환경 적용 전에 스테이징에서 분할 설정을 검증하세요.
enhancementLLMISvc 오토스케일링 상태 모니터링 연동 권장
HPA/KEDA 스케일링 조건이 LLMISvc status에 노출되고, 준비 상태 전환 시 k8s 이벤트가 발생합니다. LLMInferenceService를 운영 중이라면 이 조건들을 모니터링 대시보드와 알람에 추가하세요. kserve-install.sh의 --scaling 플래그를 쓰면 신규 설치 시 오토스케일링 설정이 간단해집니다.
주요 변경 (7)
- CVE 패치: vLLM/Pillow 취약점 수정, azure-core>=1.38.0 고정으로 CVE-2026-21226 대응
- LLMISvc에 HPA/KEDA 스케일링 상태를 서비스 조건으로 노출, kserve-install.sh에 --scaling 플래그 추가
- LLMISvc 관측 가능성 강화: 준비 상태 전환 시 k8s 이벤트 발생, 라우팅 토폴로지와 워크로드 참조를 status에 기록
- InferenceService Standard 모드에 REST/gRPC 이중 프로토콜 라우팅 추가
- 라우터 splitter의 pickupRoute 범위 계산 off-by-one 버그 수정 — 트래픽 분할 정확도에 직접 영향
- LLMInferenceService에 LocalModelCache 지원 추가, PVC 접근 문제 해결을 위한 NodeSelector 수정
- llm-d v0.6 컴포넌트 업그레이드를 위한 마이그레이션 로직 추가