RATATOSKRATATOSK
로그인

릴리즈

CNCF graduated·incubating 프로젝트 릴리즈 노트의 AI 분석.

프로젝트: KServe해제 ×

KServe

AI & ML2026년 6월 14일

KServe v0.19.0은 LLMInferenceService의 관측 가능성, 오토스케일링, 라우팅 기능을 크게 강화한 릴리스입니다. CVE 패치 2건도 포함됩니다.

  • securityCVE 두 건, 업그레이드 전 반드시 확인

    v0.19.0은 vLLM/Pillow CVE와 CVE-2026-21226(azure-core)을 수정합니다. vLLM 런타임이나 azure-core 의존성이 있는 환경이라면 v0.19.0으로 업그레이드하거나, 당장 업그레이드가 어렵다면 azure-core>=1.38.0을 수동으로 고정하세요. 커스텀 서버 이미지에 포함된 Pillow 버전도 확인하세요.

  • breaking라우터 splitter off-by-one 수정으로 트래픽 분배 비율 변경

    pickupRoute의 난수 범위 계산에 off-by-one 오류가 있었고 이번에 수정됐습니다. 업그레이드 후 splitter 가중치가 올바르게 계산되므로, 기존 버그에 맞춰 가중치를 조정해두었다면 실제 트래픽 분배가 달라질 수 있습니다. 운영 환경 적용 전에 스테이징에서 분할 설정을 검증하세요.

  • enhancementLLMISvc 오토스케일링 상태 모니터링 연동 권장

    HPA/KEDA 스케일링 조건이 LLMISvc status에 노출되고, 준비 상태 전환 시 k8s 이벤트가 발생합니다. LLMInferenceService를 운영 중이라면 이 조건들을 모니터링 대시보드와 알람에 추가하세요. kserve-install.sh의 --scaling 플래그를 쓰면 신규 설치 시 오토스케일링 설정이 간단해집니다.

주요 변경 (7)
  • CVE 패치: vLLM/Pillow 취약점 수정, azure-core>=1.38.0 고정으로 CVE-2026-21226 대응
  • LLMISvc에 HPA/KEDA 스케일링 상태를 서비스 조건으로 노출, kserve-install.sh에 --scaling 플래그 추가
  • LLMISvc 관측 가능성 강화: 준비 상태 전환 시 k8s 이벤트 발생, 라우팅 토폴로지와 워크로드 참조를 status에 기록
  • InferenceService Standard 모드에 REST/gRPC 이중 프로토콜 라우팅 추가
  • 라우터 splitter의 pickupRoute 범위 계산 off-by-one 버그 수정 — 트래픽 분할 정확도에 직접 영향
  • LLMInferenceService에 LocalModelCache 지원 추가, PVC 접근 문제 해결을 위한 NodeSelector 수정
  • llm-d v0.6 컴포넌트 업그레이드를 위한 마이그레이션 로직 추가
원문

KServe

AI & ML2026년 4월 29일

v0.18.0은 LLMInferenceService 성숙화, CVE 3건 패치, 멀티노드 추론 기반 작업이 중심인 대형 릴리스입니다. LLM 워크로드를 운영 중이라면 업그레이드 전 꼼꼼히 검토해야 합니다.

  • security즉시 적용 필요: 이번 릴리스에 CVE 3건 포함

    CVE-2026-32597(PyJWT 크리티컬 헤더 우회), CVE-2026-33186(gRPC 인증 우회), CVE-2026-30922(pyasn1 DoS)가 모두 패치됐습니다. gRPC 추론 엔드포인트나 Python 런타임을 외부에 노출 중이라면 선택 사항이 아닙니다. 특히 gRPC 인증 우회는 인증되지 않은 요청이 보호된 추론 엔드포인트에 도달할 수 있어 즉시 v0.18.0으로 업그레이드하거나 패치를 적용해야 합니다.

  • breakingPYTHONPATH 웹훅 차단—ServingRuntime 사전 점검 필수

    이제 InferenceService나 ServingRuntime 스펙에 PYTHONPATH를 설정하면 어드미션 웹훅에서 거부됩니다. 커스텀 Python 모듈 경로 설정을 위해 PYTHONPATH를 쓰던 ServingRuntime이 있다면 업그레이드 후 배포가 막힙니다. 업그레이드 전에 모든 ServingRuntime과 ISVC 매니페스트를 점검하고 PYTHONPATH 사용을 제거하거나 대체 방법으로 바꿔야 합니다.

  • breakingHelm 차트명 변경—기존 릴리스 마이그레이션 계획 필요

    KServe Helm 차트명이 'kserve'에서 'kserve-resources'로 바뀌었습니다. 기존 릴리스 이름으로 그냥 업그레이드하면 차트를 찾지 못합니다. 기존 Helm 릴리스 이름을 변경하거나 언인스톨 후 재설치하는 방식으로 마이그레이션을 계획해야 하며, 차트명을 참조하는 CI 파이프라인과 GitOps 설정도 함께 수정해야 합니다.

  • enhancementLLMInferenceService 오토스케일링 실운영 수준 도달—LLM 워크로드에 검토 권장

    KEDA/HPA·WVA 기반 오토스케일링과 멀티노드 워크로드를 위한 LWS 오토스케일링 타겟이 추가됐습니다. vLLM 기반 추론을 대규모로 운영하면서 수동 스케일링에 어려움을 겪고 있다면 스테이징에서 llmisvc 오토스케일링을 테스트해볼 시점입니다. WVA 의존성이 v0.6.0-rc3으로 올라간 만큼 GA는 아니지만 근접한 상태로 봐야 합니다.

주요 변경 (5)
  • CVE 3건 수정: PyJWT 크리티컬 헤더 검증(CVE-2026-32597), gRPC 인증 우회(CVE-2026-33186), pyasn1 DoS(CVE-2026-30922)
  • LLMInferenceService에 KEDA/HPA/WVA 오토스케일링, LWS 멀티노드 오토스케일링 타겟, TLS 지원, 스토리지 마이그레이션, InferencePool 준비 상태 평가 추가
  • ISVC 및 ServingRuntime 웹훅에서 PYTHONPATH 환경 변수 설정 차단—기존 ServingRuntime에서 사용 중이면 어드미션 거부 발생
  • 네임스페이스 범위 ModelCache 추가, 다운로드 잡이 지정된 잡 네임스페이스에서 실행
  • Helm 차트명이 'kserve'에서 'kserve-resources'로 변경, vLLM 0.19.0·MLServer 1.7.1로 업데이트
원문

KServe

AI & ML2026년 3월 13일

v0.17.0은 새로운 LLMInferenceService 베타 출시, 스토리지 병렬화 개선, vLLM 0.15.1 업그레이드, 그리고 프로덕션 환경에 영향을 미치는 주요 CVE 수정을 제공합니다.

  • security중요 CVE 패치 즉시 적용 필요

    이번 릴리스는 경로 순회(storage-initializer), HTTP 파서 취약점(h11, starlette), 암호화 부분군 공격 등 여러 고위험 CVE를 해결했습니다. 특히 storage-initializer나 외부 모델 다운로드를 사용 중이라면 v0.17.0으로 신속히 업데이트하세요. 패치된 버전과 비교해 현재 CVE 스캔 결과를 검토하십시오.

  • breakingLLMInferenceService 마이그레이션 계획 수립

    새로운 LLMInferenceService CRD는 기존 InferenceService와 다른 의미론을 가진 LLM 전용 API를 도입했습니다. LLM 모델을 운영 중이라면 더 나은 오토스케일링, 라우팅, 운영 기능을 위해 이 새 리소스 타입으로의 마이그레이션을 검토하세요. CRD는 API 구조에서 주요 변경사항을 포함합니다.

  • enhancement병렬 스토리지 다운로드로 배포 속도 향상 활용

    Storage-initializer가 이제 S3와 Azure에서 블롭을 병렬로 다운로드해 대용량 모델의 로딩 시간을 획기적으로 단축합니다. 특히 LLM 워크로드에 유용하며, 업그레이드만으로 별도 설정 없이 자동으로 개선 효과를 누릴 수 있습니다.

주요 변경 (5)
  • 웹훅, 오토스케일링, Gateway API 통합을 포함한 LLMInferenceService CRD 도입
  • S3와 Azure 스토리지에서 병렬 블롭 다운로드 추가로 모델 로딩 성능 대폭 개선
  • 향상된 시작 프로브와 설정 유연성을 갖춘 vLLM 런타임 0.15.1로 업그레이드
  • 경로 순회, HTTP 파서 취약점, 암호화 이슈를 포함한 다수 CVE 수정
  • 확장된 모델 형식 지원을 위한 OpenVINO 모델 서버 런타임과 예측 추론 서버 추가
원문