RATATOSK
← 전체 릴리스

KServev0.16.0

보안 2호환성 변경 19폐기 예정 1중요 수정 28기능·개선 43의존성 갱신 8기타 49

KServe 알림 받기

확인할 변경이 있을 때만 주 1회, critical 보안 공지는 즉시 발송

보안2

KServe 컨트롤러에 RuntimeDefault seccomp 프로파일 추가

영향 대상KServe 컨트롤러, LocalModel 컨트롤러 또는 LocalModelNode 에이전트 매니페스트를 사용하는 배포와 Helm 차트의 컨트롤러 배포(추정)

기존에 표시된 Pod 보안 컨텍스트에는 seccompProfile이 설정되지 않았고, Helm 차트 문서에 명시된 컨트롤러 보안 컨텍스트 기본값은 {"runAsNonRoot":true}였습니다. 변경된 컨텍스트에는 이제 seccompProfile.type: RuntimeDefault가 지정됩니다.

원문 보기
* Fix pss restricted warnings by @akagami-harsh in https://github.com/kserve/kserve/pull/4327
github.com/kserve/kserve/releases/tag/v0.16.0

storage-initializer 파드 매니페스트의 HF 토큰 노출 수정

영향 대상HF 토큰을 Kubernetes Secret에 저장해 둔 storage-initializer 워크로드(추정)
추가 조치평문 값을 파드 매니페스트에 포함하는 대신 Kubernetes Secret을 가리키는 secretKeyRef와 함께 valueFrom을 사용해 HF_TOKEN을 주입해야 합니다.

HF 토큰이 파드 매니페스트에 평문으로 주입되어 유출될 가능성이 있었습니다.

원문 보기
* Fix HF Token Vulnerability in Storage Initializer Container by @brettmthompson in https://github.com/kserve/kserve/pull/4677
github.com/kserve/kserve/releases/tag/v0.16.0

호환성 변경19

default 접미사 없이 생성되는 InferenceService 서비스

영향 대상default 접미사를 사용하는 InferenceService 구성 요소

이 구성 요소는 이전에는 해당 접미사를 붙여 사용할 수 있었습니다.

근거“With this PR, the support for compatibility with the "default" suffix has been removed. Any InferenceService component that is still using the "default" suffix will now have a new service created without the suffix.” kserve/kserve/pull/4178 ↗
원문 보기
* chore: remove 'default' suffix compatibility by @sivanantha321 in https://github.com/kserve/kserve/pull/4178
github.com/kserve/kserve/releases/tag/v0.16.0

OpenTelemetryCollector 리소스 requests와 limits 기본값 추가

영향 대상InferenceService 오토스케일링에 기본 OpenTelemetryCollector 구성을 사용하는 설치 환경(추정)

기본값으로 CPU request와 limit은 모두 1로, 메모리 request와 limit은 모두 2Gi로 설정됩니다.

원문 보기
* add resource default for otel collector container limit in configmap by @andyi2it in https://github.com/kserve/kserve/pull/4633
github.com/kserve/kserve/releases/tag/v0.16.0

Quick-install 스크립트의 버전 고정값 업데이트

영향 대상새 kind 클러스터에 hack/quick_install.sh를 사용해 설치하는 경우

새 kind 클러스터에서 hack/quick_install.sh -r를 실행하면 Istio Helm 스키마 검증 오류가 발생해 실패했고, KServe v0.16.0-rc0 릴리스 후보를 사용할 수 없었습니다. 이제 스크립트는 스키마 검증 호환성 문제를 해결하기 위해 Istio 1.27.1을 선택하고, 사용 가능하며 지원되는 릴리스인 KServe v0.15.2를 선택합니다.

원문 보기
* fix: istio installation failures and update kserve to stable version  by @Ce11an in https://github.com/kserve/kserve/pull/4684
github.com/kserve/kserve/releases/tag/v0.16.0

LLMInferenceService 프리셋에서 SSL 비활성화

영향 대상변경된 설정 프리셋을 사용하는 LLMInferenceService 배포

이전에는 프리셋에서 --enable-ssl-refresh와 인증서 및 키 인자를 사용해 SSL을 활성화하고, HTTPS 헬스 프로브를 사용했습니다. 이제는 해당 SSL 인자를 생략하고 HTTP 헬스 프로브를 사용합니다. PR은 BackendTLSPolicy가 구현되기 전까지 임시로 적용하는 변경이라고 설명합니다.

원문 보기
* Temporarily disable SSL to unblock e2e tests by @Jooho in https://github.com/kserve/kserve/pull/4731
github.com/kserve/kserve/releases/tag/v0.16.0

LLMInferenceService 프리셋의 runAsNonRoot를 false로 설정

영향 대상영향을 받는 구성 프리셋을 사용하는 LLMInferenceService 배포(추정)

이번 릴리스 전에는 프리셋이 runAsNonRoot를 true로 설정했습니다.

근거“+ runAsNonRoot: false” kserve/kserve/pull/4731 ↗
원문 보기
* Temporarily disable SSL to unblock e2e tests by @Jooho in https://github.com/kserve/kserve/pull/4731
github.com/kserve/kserve/releases/tag/v0.16.0

자동 스케일링 메트릭 수량의 입력 표현 보존

영향 대상value 또는 averageValue를 사용하는 오토스케일링 메트릭 타깃의 InferenceServices(KEDA 호환 경로 포함)(추정)

이전에는 JSON 직렬화 과정에서 value와 averageValue가 정규화되어 직렬화된 표현이 입력값과 달라질 수 있었습니다. 이제 검증에는 파싱된 resource.Quantity를 유지하면서, 원본 원시 입력이 있으면 직렬화에 사용합니다.

근거“// MarshalJSON implements custom JSON marshaling using the original raw value for KEDA compatibility” kserve/kserve/pull/4699 ↗
원문 보기
* Use a wrapper struct to accept resource.Quantity and keep the original input by @houshengbo in https://github.com/kserve/kserve/pull/4699
github.com/kserve/kserve/releases/tag/v0.16.0

S3 설정 출처 및 빈 값 처리 변경

영향 대상서비스 계정 어노테이션이나 Secret 어노테이션, Secret 데이터 또는 inferenceservice-config ConfigMap을 통해 S3 스토리지를 구성하는 경우

이전에는 빈 S3_ENDPOINT 또는 S3_USE_HTTPS 어노테이션 값도 컨테이너 환경 변수에 설정될 수 있었습니다. 이제 S3 값은 Secret 데이터에서도 가져올 수 있으며, 우선순위는 어노테이션, Secret 데이터, S3 설정 순입니다. 모든 출처의 빈 문자열은 컨테이너 환경 변수에서 제외됩니다.

근거“Regardless of where their value is set (annotation, secret data, or s3 config) they will always be set in the container env unless the value is an empty string.” kserve/kserve/pull/4727 ↗
원문 보기
* Add Support for Configuring S3 Storage via Secret Data by @brettmthompson in https://github.com/kserve/kserve/pull/4727
github.com/kserve/kserve/releases/tag/v0.16.0

llmisvc-resources 차트의 추론 서비스 ConfigMap 추가

영향 대상llmisvc-resources Helm 차트(추정)

차트에 gateway-inference-extension.yaml이 더 이상 포함되지 않습니다. 새 inferenceservice.yaml 템플릿은 inferenceservice-config ConfigMap을 정의합니다.

근거“+ name: inferenceservice-config” kserve/kserve/pull/4729 ↗
원문 보기
* Add llmd e2e tests by @andresllh in https://github.com/kserve/kserve/pull/4729
github.com/kserve/kserve/releases/tag/v0.16.0

LLMInferenceService CRD와 웹훅을 전용 Kustomize 구성으로 이전

영향 대상Kustomize 기반 LLMInferenceService 설치(추정)

독립 설치는 kustomize build config/overlay/llmisvc로 빌드할 수 있습니다.

원문 보기
* refactor: separate llmisvc manifests from default kustomization by @Jooho in https://github.com/kserve/kserve/pull/4763
github.com/kserve/kserve/releases/tag/v0.16.0

KServe Python의 Pydantic v1 지원 중단

영향 대상Pydantic v1을 사용하는 Python SDK 구성(추정)

이전에는 Pydantic v1과 v2를 모두 지원했습니다.

근거“Currently both v1 and v2 pydantic is supported, dropped support for v1 for the support overhead.” kserve/kserve/pull/4353 ↗
원문 보기
* chore: drop pydantic v1 support by @sivanantha321 in https://github.com/kserve/kserve/pull/4353
github.com/kserve/kserve/releases/tag/v0.16.0

Python Model 클래스에서 predictor_host와 PredictorConfig 제거

영향 대상Python KServe SDK에서 Model 클래스의 predictor_host 또는 PredictorConfig를 사용하는 모델(추정)

이전에는 Python Model 클래스가 모델 범위에서 두 속성을 모두 노출했습니다. 이제 PredictorConfig는 context에서 가져오며, 이를 요구하지 않아도 기존 기능은 유지됩니다.

근거“Breaking: Remove predictor_host and PredictorConfig from the Model class” kserve/kserve/pull/4526 ↗
원문 보기
* Refactor KServe to use global context for PredictorConfig by @sivanantha321 in https://github.com/kserve/kserve/pull/4526
github.com/kserve/kserve/releases/tag/v0.16.0

학습 모델 샤딩 Strategy 인터페이스 제거

영향 대상학습 모델 샤딩 패키지의 Strategy 인터페이스를 import하거나 참조하는 Go 코드(추정)

이 인터페이스는 GetOrAssignShard를 선언했습니다.

원문 보기
* Remove unused Strategy interface from sharding package by @houshengbo in https://github.com/kserve/kserve/pull/4590
github.com/kserve/kserve/releases/tag/v0.16.0

name이 비어 있지 않은 standard predictor의 생성 차단

영향 대상name 필드가 비어 있지 않은 standard predictor를 사용하는 InferenceService
근거“This PR adds validation to catch misconfiguration in the `name` field of standard predictor in creation time.” kserve/kserve/pull/4535 ↗
원문 보기
* disallow `name` field in standard predictor by @HutakiHare in https://github.com/kserve/kserve/pull/4535
github.com/kserve/kserve/releases/tag/v0.16.0

병렬 처리 CRD 형식의 int32 한정

영향 대상parallelism.pipeline 또는 parallelism.tensor 값이 int32 범위를 벗어나는 LLMInferenceService 및 LLMInferenceServiceConfig 리소스(추정)
근거“+ format: int32” kserve/kserve/pull/4596 ↗
원문 보기
* update CRDs for LWS based multi node support by @VedantMahabaleshwarkar in https://github.com/kserve/kserve/pull/4596
github.com/kserve/kserve/releases/tag/v0.16.0

LLMInferenceService CRD와 API 타입에서 storage spec 제거

영향 대상storage를 설정하는 LLMInferenceService 또는 LLMInferenceServiceConfig 매니페스트(추정)

이전에는 ModelMesh를 사용하지 않는 배포와의 호환성을 위해 LLMInferenceService CRD에 storage가 포함되어 있었습니다.

근거“The Storage Spec was added to InferenceServices because this is the format that ModelMesh supports. For non-ModelMesh deployments, KServe added support for compatibility.” kserve/kserve/pull/4622 ↗
원문 보기
* Remove storage spec from LLMIsvc by @israel-hdez in https://github.com/kserve/kserve/pull/4622
github.com/kserve/kserve/releases/tag/v0.16.0

LLMInferenceService 검증 웹훅 추가

영향 대상라우터 라우트 또는 워크로드 병렬성이 설정된 LLMInferenceService 리소스

라우터의 필드 간 제약 조건을 검사합니다. 여기에는 인라인 라우트 spec과 함께 사용자 지정 HTTPRoute를 참조하지 못하게 하는 검사와 워크로드 병렬성 제약 조건 검사가 포함됩니다.

원문 보기
* feat(webhook): introduces Validating Webhook for LLMInferenceService by @VedantMahabaleshwarkar in https://github.com/kserve/kserve/pull/4631
github.com/kserve/kserve/releases/tag/v0.16.0

LLMInferenceService LoRA API의 LLMModelSpec 사용

영향 대상LLMInferenceService CRD에서 LoRA API를 사용하는 설정

이전에는 LoRA API가 기존 ModelSpec 타입을 사용했습니다.

근거“The LLMInferneceService CRD LoRA API wasn't meant to use the existing ModelSpec but the LLMModelSpec type” kserve/kserve/pull/4663 ↗
원문 보기
* [llmisvc] Improve config merge and update well-known presets by @pierDipi in https://github.com/kserve/kserve/pull/4663
github.com/kserve/kserve/releases/tag/v0.16.0

EnableDirectPvcVolumeMount 플래그 제거

영향 대상EnableDirectPvcVolumeMount를 사용하는 스토리지 이니셜라이저 구성(추정)

이 플래그는 여러 릴리스 동안 기본값이 true였습니다. PR에서는 레거시 false 경로가 사실상 사용되지 않는다고 설명했지만, 해당 코드와 테스트는 여전히 존재했습니다.

근거“EnableDirectPvcVolumeMount has been defaulted to true for several releases, making the legacy false path effectively dead.” kserve/kserve/pull/4694 ↗
원문 보기
* deprecate: remove EnableDirectPvcVolumeMount flag by @anurags25 in https://github.com/kserve/kserve/pull/4694
github.com/kserve/kserve/releases/tag/v0.16.0

llmisvc-resources Helm 차트에 검증 웹훅 추가

영향 대상LLMInferenceService 또는 LLMInferenceServiceConfig 리소스를 관리하는 llmisvc-resources Helm 차트 설치(추정)

검증 웹훅은 CREATE 및 UPDATE 작업을 대상으로 합니다.

원문 보기
* llmisvc dev & kustomize setup, add webhook config to helm chart  by @sivanantha321 in https://github.com/kserve/kserve/pull/4712
github.com/kserve/kserve/releases/tag/v0.16.0

폐기 예정1

KServe 배포 모드 이름을 Standard와 KNative로 변경

영향 대상배포 모드 값을 설정하거나 기본 모드에 의존하는 KServe 구성
제거 시점미상

기본값은 이제 Standard입니다. 기존 값은 지원 중단 예정 필드로 남아 있으며, config 생성자가 이를 상향 변환합니다.

원문 보기
* refactor: 4602 - Refactor "RawDeployment" to "Standard" and "Serverless" to  "KNative" to clarify usage by @cjohannsen-cloudera in https://github.com/kserve/kserve/pull/4608
github.com/kserve/kserve/releases/tag/v0.16.0

중요 수정28

  • HuggingFace TextIteratorStreamer의 특수 토큰 건너뛰기
    영향 대상HuggingFace 백엔드 텍스트 생성 스트리밍

    이 기능을 사용하면 스트리밍 응답에 이전에는 포함되던 <|im_end|> 및 <|endoftext|>와 같은 특수 토큰이 표시되지 않습니다.

    * fix: Update TextIteratorStreamer to skip special tokens by @sivanantha321 in https://github.com/kserve/kserve/pull/4490
    github.com/kserve/kserve/releases/tag/v0.16.0
  • InferenceGraph 엔드포인트 해석에서 ServingRuntime 프로토콜 반영
    영향 대상V2 전용 ServingRuntime을 사용하고 protocolVersion이 없는 InferenceService를 사용하는 InferenceGraph 워크로드

    이전에는 이 경우 엔드포인트 해석 결과 V1 엔드포인트가 반환되어 InferenceGraph 라우터가 잘못 구성됐습니다. 이제 워크로드는 V2 엔드포인트를 사용하도록 구성됩니다.

    * Resolve inference endpoint using runtime protocol when applicable by @israel-hdez in https://github.com/kserve/kserve/pull/4527
    github.com/kserve/kserve/releases/tag/v0.16.0
  • KEDA OpenTelemetry 스케일링 메타데이터 수정
    영향 대상KEDA에서 OpenTelemetry 메트릭 트리거를 사용하는 InferenceService(추정)

    KServe가 KEDA OpenTelemetry 메트릭 트리거를 생성할 때, 스케일 자체의 범위를 제한하는 필드인 clampMin과 clampMax에 InferenceService의 레플리카 범위 값을 넣었습니다. 이제 KServe가 생성하는 트리거 메타데이터에는 두 필드가 포함되지 않습니다.

    * fix: unset clampMax and clampMin, since they are not for replicas by @houshengbo in https://github.com/kserve/kserve/pull/4556
    github.com/kserve/kserve/releases/tag/v0.16.0
  • HTTPRoute 리컨실리에이션 재큐 처리 수정
    영향 대상HTTPRoute 인그레스 리컨실리에이션을 사용하는 InferenceService(추정)

    리컨실리에이션 중 HTTPRoute가 없거나 준비되지 않은 상태이면 리컨실러가 다시 큐에 넣지 못할 수 있었고, 준비되지 않은 라우트가 조용히 건너뛰어질 수도 있었습니다. 이제 준비되지 않았거나 찾을 수 없는 라우트를 다시 큐에 넣어 원하는 상태로 수렴하도록 지원합니다.

    * refactor: Enhance HTTPRoute readiness checks by @sivanantha321 in https://github.com/kserve/kserve/pull/4543
    github.com/kserve/kserve/releases/tag/v0.16.0
  • OpenTelemetryCollector 오토스케일링에 지정된 모든 메트릭 포함
    영향 대상여러 OpenTelemetryCollector 오토스케일링 메트릭을 지정한 InferenceService(추정)

    이전에는 지정된 메트릭 중 마지막 메트릭만 포함했습니다. 이제 오토스케일링에 지정된 모든 메트릭을 포함합니다.

    * Fix: Support multiple metrics in OpenTelemetryCollector for autoscaling by @houshengbo in https://github.com/kserve/kserve/pull/4591
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 네임스페이스와 배포별 KEDA 자동 스케일링 분리
    영향 대상KEDA/OpenTelemetry 자동 스케일링을 사용하는 InferenceService 배포(추정)

    서로 다른 배포 또는 네임스페이스의 메트릭이 섞여 자동 스케일링이 잘못될 수 있었습니다. 이제 OTelCollector가 namespace 및 deployment 레이블을 추가하며, KEDA 쿼리는 이 레이블을 사용해 메트릭을 필터링합니다.

    * Fixed the issue of the same metrics across different deployments under different namespaces by @houshengbo in https://github.com/kserve/kserve/pull/4593
    github.com/kserve/kserve/releases/tag/v0.16.0
  • Hugging Face 분류 확률 처리 수정
    영향 대상return_probabilities=True를 사용하는 Hugging Face 분류 작업(추정)

    return_probabilities=True를 설정하면 시퀀스 분류에서 확률 대신 원시 로짓을 반환할 수 있었지만, fill-mask는 확률을 반환했습니다. 이제 모든 작업 유형에 일관되게 softmax가 적용됩니다.

    * feat: Add disable postprocessing option for raw logits by @sivanantha321 in https://github.com/kserve/kserve/pull/4566
    github.com/kserve/kserve/releases/tag/v0.16.0
  • InferenceService Stopped 컨디션 처리 수정
    영향 대상중지/재개 컨트롤러가 리컨실하는 InferenceService(추정)

    Stopped 컨디션이 없으면 false로 초기화합니다. 재개할 때는 컨디션이 이전에 true였던 경우에만 false로 설정합니다.

    * [Followup] Improve the stop/resume Inference Service tests and status by @hdefazio in https://github.com/kserve/kserve/pull/4636
    github.com/kserve/kserve/releases/tag/v0.16.0
  • GPU 감지에서 NVIDIA MIG 리소스 인식
    영향 대상NVIDIA MIG GPU 리소스 limit이 설정된 워크로드

    이름이 nvidia.com/mig로 시작하는 리소스는 워크로드를 GPU 사용 워크로드로 식별합니다.

    * fix: Adds support for NVIDIA MIG GPU resource detection by @sivanantha321 in https://github.com/kserve/kserve/pull/4642
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 진행 중 및 실패 상태를 반영하는 컴포넌트 배포 상태
    영향 대상KServe 컴포넌트 배포(추정)
    * Last Deployment Status Should Reflect Deployment Status by @HotsauceLee in https://github.com/kserve/kserve/pull/4667
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 모든 상태에서 갱신되는 InferenceService 모델 복사 상태
    영향 대상Pending, Loading, FailedToLoad, Loaded 상태의 모델이 있는 InferenceService(추정)

    이전에는 모델이 Loaded 상태에 도달한 뒤에만 ModelCopies가 갱신되어, Pending, Loading, FailedToLoad 상태에서는 totalCopies가 status에 반영되지 않았습니다. 이제 모든 모델 상태에서 ModelCopies.TotalCopies를 저장하며, 준비된 Pod 수를 셉니다.

    * Fix: Update ModelCopies.TotalCopies for all model states  by @hardik-menger in https://github.com/kserve/kserve/pull/4676
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 추론 로깅에서 설정된 내장 로거 spec 우선 적용
    영향 대상내장 로거 spec과 전역 로거 ConfigMap을 통해 추론 로깅을 구성한 추론 서비스

    이전에는 설정된 내장 로거 spec을 무시하고 전역 ConfigMap을 사용했습니다. 이제 내장 spec을 우선 적용하며, 내장 spec에 값이 설정되어 있지 않으면 전역 설정을 사용합니다.

    * 4739 - Fix: blob storage for inference logging recognizes embedded spec by @cjohannsen-cloudera in https://github.com/kserve/kserve/pull/4740
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 추론 로깅 응답 메타데이터에 요청 메타데이터 헤더 포함
    영향 대상메타데이터 헤더가 포함된 추론 로깅 요청(추정)

    이전에는 메타데이터 헤더가 포함된 요청을 보내도 해당 헤더가 로그의 응답 메타데이터에서 누락됐습니다.

    * 4778 - Fix: apply metadata headers to inference logging response by @cjohannsen-cloudera in https://github.com/kserve/kserve/pull/4779
    github.com/kserve/kserve/releases/tag/v0.16.0
  • InferenceGraph 라우터 타임아웃 사용자 지정
    영향 대상사용자 지정 라우터 또는 서비스 클라이언트 타임아웃이 필요한 InferenceGraph 리소스

    라우터 서버 타임아웃이 짧으면 그래프의 InferenceService가 시작되는 동안 EOF가 반환될 수 있습니다. 예를 들어 모델을 다운로드하거나 Kubernetes 노드를 프로비저닝하는 중에 이런 상황이 발생할 수 있습니다. InferenceGraph.spec.routerTimeouts에 사용자 지정 값을 설정하면 이를 방지할 수 있습니다. 소스 예시에서는 serverRead, serverWrite, serverIdle을 각각 300으로 설정해 응답이 성공했다고 설명합니다.

    * Allow to set custom timeouts for `InferenceGraph` router by @lifo9 in https://github.com/kserve/kserve/pull/4218
    github.com/kserve/kserve/releases/tag/v0.16.0
  • S3 SSL에서 독립형 AWS_CA_BUNDLE 경로 적용
    영향 대상SSL 검증을 켜고 AWS_CA_BUNDLE을 로컬 CA 파일로 설정한 S3 스토리지(추정)

    이전에는 CA_BUNDLE_CONFIGMAP_NAME이 설정되지 않은 경우, SSL 검증을 켠 S3 다운로드에서 해당 경로를 무시했습니다.

    * fix: Allow CA bundle path without config map by @fabiendupont in https://github.com/kserve/kserve/pull/4451
    github.com/kserve/kserve/releases/tag/v0.16.0
  • HuggingFaceServer의 FlashInfer 빌드 실패 수정
    영향 대상vLLM의 EngineCore에서 FlashInfer를 실행하는 HuggingFaceServer 이미지

    EngineCore가 시작되고 런타임 JIT 컴파일이 실행될 때 Ninja 빌드가 “RuntimeError: Ninja build failed.” 오류와 함께 실패할 수 있었습니다. 이제 이미지에 사전 컴파일된 샘플링 커널이 포함되어 런타임 빌드와 이 실패를 방지합니다.

    * Add AOT flashinfer build to huggingfaceserver dockerfile to precompil… by @AyushSawant18588 in https://github.com/kserve/kserve/pull/4567
    github.com/kserve/kserve/releases/tag/v0.16.0
  • Python 패키지 export에 LLMInferenceService 타입 추가
    영향 대상Python SDK에서 LLMInferenceService 또는 LLMInferenceServiceConfig를 import하는 경우(추정)

    이 타입들은 Python import에서 누락되어 있었습니다.

    * fix(deps): adds missing LLMInferenceService types for python imports by @bartoszmajsak in https://github.com/kserve/kserve/pull/4604
    github.com/kserve/kserve/releases/tag/v0.16.0
  • ClusterServingRuntime의 이미지 다이제스트 처리 수정
    영향 대상이미지 다이제스트를 사용하는 ClusterServingRuntime 리소스, 특히 GPU 클러스터의 리소스

    GPU 클러스터에서 이미지 다이제스트 뒤에 -gpu 접미사를 붙이면 런타임이 실패할 수 있었습니다. 이제 이미지 태그 업데이트 과정에서 다이제스트 기반 이미지 참조는 변경되지 않습니다.

    * fix: allow digests in runtimes' images by @tmvfb in https://github.com/kserve/kserve/pull/4653
    github.com/kserve/kserve/releases/tag/v0.16.0
  • LLMInferenceService 컨트롤러 RBAC 권한 확대
    영향 대상LLMInferenceService 컨트롤러를 실행하는 클러스터(추정)

    추가된 권한은 컨트롤러 기능 향상과 리더 선출을 지원합니다.

    * llmisvc: fix RBAC, templating, and adds quick install script by @sivanantha321 in https://github.com/kserve/kserve/pull/4698
    github.com/kserve/kserve/releases/tag/v0.16.0
  • InferenceService 리컨실리에이션 중 nil 포인터 패닉 수정
    영향 대상InferenceService 배포, HPA 또는 KEDA 리컨실리에이션(추정)

    해당 리컨실리에이션 경로에서 componentExt가 nil이면 InferenceService 리컨실리에이션 중 패닉이 발생할 수 있었지만, 이제는 발생하지 않습니다.

    * Fixed the panic nil pointer issue componentExt being nil by @houshengbo in https://github.com/kserve/kserve/pull/4704
    github.com/kserve/kserve/releases/tag/v0.16.0
  • llmisvc 컨트롤러 Dockerfile 엔트리포인트 수정
    영향 대상이 Dockerfile로 llmisvc 컨트롤러 이미지를 빌드하거나 실행하는 설치 환경(추정)

    이전에는 Dockerfile의 엔트리포인트가 /llmisvc로 설정되어 있었지만, 이제 /manager로 설정됩니다.

    * Fix incorrect entrypoint in llmisvc Dockerfile by @Jooho in https://github.com/kserve/kserve/pull/4730
    github.com/kserve/kserve/releases/tag/v0.16.0
  • Hugging Face 다운로드 메모리 사용량 감소
    영향 대상스토리지 이니셜라이저를 통한 Hugging Face 모델 다운로드

    최신 Hugging Face Hub Python 라이브러리로 대형 모델을 다운로드하면 메모리가 계속 부족해졌습니다. 이제 스토리지 이니셜라이저 컨테이너에 HF_HUB_ENABLE_HF_TRANSFER=1, HF_XET_HIGH_PERFORMANCE=1, HF_XET_NUM_CONCURRENT_RANGE_GETS=8이 설정됩니다. 보고된 테스트에서는 다운로드 시간이 그대로 유지되는 동안 메모리 사용량이 2GB 초과에서 0.5GB 미만으로 줄었습니다.

    * Configure HF Downloads to Lower Memory Usage by @brettmthompson in https://github.com/kserve/kserve/pull/4726
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 기본 Kustomize 컨트롤러 이미지 참조 수정
    영향 대상기본 Kustomize 매니저 이미지 패치를 사용하는 설치(추정)

    kserve-controller:latest를 사용하면 배포에서 이미지 풀 백오프가 발생했습니다. 이제 kserve/kserve-controller:latest를 사용합니다.

    * fix: wrong kserve controller image url by @Jooho in https://github.com/kserve/kserve/pull/4773
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 스토리지 초기화기의 중복 환경 변수 처리 수정
    영향 대상HuggingFace 최적화 또는 CA 번들 환경 변수를 정의한 사용자 지정 스토리지 컨테이너의 스토리지 초기화(추정)

    기존 사용자 정의 환경 변수와 일치하는 변수는 유지되며, 자동으로 중복 추가되지 않습니다. 기본 HuggingFace 최적화 변수는 없는 경우에만 추가됩니다.

    * Fix the issue of Invalid value for env[1].valueFrom by @houshengbo in https://github.com/kserve/kserve/pull/4765
    github.com/kserve/kserve/releases/tag/v0.16.0
  • modelcars에서 .ubj 및 .json 모델을 로드할 때 발생하는 XGBoost 오류 수정
    영향 대상modelcars에서 .ubj 또는 .json 모델을 로드하는 XGBoost 서버 배포

    modelcars의 모델 경로는 가상 파일 시스템에 있으므로 로드에 실패했습니다. 이제 서버는 라이브러리가 가상 경로를 읽게 하는 대신 파일 내용을 bytearray로 XGBoost에 전달합니다.

    * Fix XGBoost .ubj and .json models with modelcar by @balazsprehoda in https://github.com/kserve/kserve/pull/4746
    github.com/kserve/kserve/releases/tag/v0.16.0
  • CA 번들 주입 시 기존 환경 변수 유지
    영향 대상CA 번들을 주입하는 LLMInferenceService 워크로드(추정)

    CA 번들 ConfigMap 이름 또는 볼륨 마운트 경로 환경 변수가 이미 있으면, 주입 과정에서 해당 변수를 그대로 두고 중복해서 추가하지 않습니다. 없으면 설정된 값이나 기본값을 추가합니다.

    * Fixed the CA bundle env var logic by @houshengbo in https://github.com/kserve/kserve/pull/4777
    github.com/kserve/kserve/releases/tag/v0.16.0
  • HuggingFace 평균 풀링 런타임 오류 수정
    영향 대상문장 임베딩에 평균 풀링을 사용하는 모델의 HuggingFace 런타임 배포 환경으로, CPU 전용 배포와 GPU 사용 배포를 모두 포함

    attention_mask와 token_embeddings의 디바이스가 다르거나 데이터 타입이 일치하지 않으면 평균 풀링에서 런타임 오류가 발생할 수 있었습니다. 이제 마스크를 임베딩의 디바이스와 데이터 타입에 맞추고, 마스크가 없는 경우도 처리하며, 0으로 나누지 않도록 분모에 하한을 적용합니다. 이에 따라 CPU와 GPU 모두에서 추론할 수 있습니다.

    * huggingfaceserver: fix mean_pooling device/dtype mismatch and add regression test by @JohnsonWang1015 in https://github.com/kserve/kserve/pull/4744
    github.com/kserve/kserve/releases/tag/v0.16.0
  • InferenceGraph 단계의 선택적 predictions-to-instances 매핑
    영향 대상V1 추론 프로토콜 서비스를 체이닝하는 InferenceGraph 단계

    업스트림 서비스가 predictions 아래에 출력을 반환하고 다운스트림 서비스는 instances를 기대하는 경우, 두 서비스를 바로 체이닝할 수 없었습니다. mapPredictionsToInstances를 true로 설정하면 라우터가 업스트림의 predictions를 다운스트림의 instances로 매핑합니다. 이 설정이 없으면 매핑이 활성화되지 않습니다.

    * Allow mapping predictions to instances in sequential inference graphs by @tmbochenski in https://github.com/kserve/kserve/pull/4738
    github.com/kserve/kserve/releases/tag/v0.16.0

기능·개선43

  • 기본 제공 서빙 런타임별 비활성화 설정

    사용 조건 런타임을 비활성화하려면 해당 런타임의 disabled 설정을 true로 지정합니다. 기본값은 false입니다.

    * Update kserve-resources helm chart to disable desired servingruntimes by @jmlaubach in https://github.com/kserve/kserve/pull/4485
    github.com/kserve/kserve/releases/tag/v0.16.0
  • KServe 스토리지 모듈, 별도 kserve-storage 패키지로 출시
    * Initial segregation of the storage module from KServe SDK by @spolti in https://github.com/kserve/kserve/pull/4391
    github.com/kserve/kserve/releases/tag/v0.16.0
  • Raw Deployment 모드 InferenceService 중지 및 재개

    사용 조건 serving.kserve.io/stop을 'true'로 설정해 서비스 중지, 'false'로 설정해 서비스 재개

    * Stop and resume a model [Raw Deployment] by @hdefazio in https://github.com/kserve/kserve/pull/4455
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 원본 모델 소스 URI를 사용자 컨테이너에 주입

    사용 조건 원격 스토리지 활성화

    * feat: support remote storage URI injection for serving runtimes by @de0725 in https://github.com/kserve/kserve/pull/4492
    github.com/kserve/kserve/releases/tag/v0.16.0
  • LLMInferenceService 및 LLMInferenceServiceConfig API와 CRD 추가
    * [API] Define LLMInferenceService and LLMInferenceServiceConfig types and CRDs by @pierDipi in https://github.com/kserve/kserve/pull/4522
    github.com/kserve/kserve/releases/tag/v0.16.0
  • Transformer 중지 및 재개 지원

    사용 조건 serving.kserve.io/stop 어노테이션

    * Stop and Resume a transformer by @hdefazio in https://github.com/kserve/kserve/pull/4534
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 멀티 노드/멀티 GPU InferenceService의 OCI 스토리지 검증 활성화
    * Allow OCI for multi-node/multi-gpu by @israel-hdez in https://github.com/kserve/kserve/pull/4441
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 모델 요청 및 응답 로그의 S3 스토리지 사용 설정
    * 4380 - Inference logging to blob storage by @cjohannsen-cloudera in https://github.com/kserve/kserve/pull/4473
    github.com/kserve/kserve/releases/tag/v0.16.0
  • Ready 상태인 InferenceService의 자동 업데이트 옵트아웃
    * Auto-update annotation for isvc. by @andresllh in https://github.com/kserve/kserve/pull/4342
    github.com/kserve/kserve/releases/tag/v0.16.0
  • Explainer 중지 및 재개 지원

    사용 조건 InferenceService에 constants.StopAnnotationKey를 설정합니다. 중지하려면 true, 재개하려면 false로 설정합니다.

    * Stop and resume an explainer by @hdefazio in https://github.com/kserve/kserve/pull/4546
    github.com/kserve/kserve/releases/tag/v0.16.0
  • KServe Helm 차트에서 스토리지 이니셜라이저 리소스 requests 및 limits 구성 가능
    * feat: refactor storage initializer resources configuration by @takamai06 in https://github.com/kserve/kserve/pull/4411
    github.com/kserve/kserve/releases/tag/v0.16.0
  • LLMInferenceService 컨트롤러와 Helm 차트 초기 구성
    * llmisvc: Initial controller scaffold and helm chart by @sivanantha321 in https://github.com/kserve/kserve/pull/4557
    github.com/kserve/kserve/releases/tag/v0.16.0
  • LLMInferenceServiceSpec의 전략적 병합
    * Add logic to merge specs for LLMInferenceService  by @VedantMahabaleshwarkar in https://github.com/kserve/kserve/pull/4563
    github.com/kserve/kserve/releases/tag/v0.16.0
  • KEDA 외부 메트릭 소스 인증 설정
    * feat: support secure access to prometheus in keda by @andyi2it in https://github.com/kserve/kserve/pull/4384
    github.com/kserve/kserve/releases/tag/v0.16.0
  • utils 컬렉션 헬퍼를 collections.go로 이동
    * feat: improves collection helpers by @bartoszmajsak in https://github.com/kserve/kserve/pull/4579
    github.com/kserve/kserve/releases/tag/v0.16.0
  • Hugging Face 서버의 raw logits 출력

    사용 조건 sequence_classification, fill_mask, token_classification에서 지원되며 return_probabilities와 함께 사용할 수 없는 --return_raw_logits 옵션

    * feat: Add disable postprocessing option for raw logits by @sivanantha321 in https://github.com/kserve/kserve/pull/4566
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 서버리스 InferenceGraph 중지 및 재개

    사용 조건 그래프를 중지하려면 serving.kserve.io/stop 어노테이션을 "true"로 설정하고, 재개하려면 "false"로 설정합니다.

    * Stop and resume an inference graph by @hdefazio in https://github.com/kserve/kserve/pull/4588
    github.com/kserve/kserve/releases/tag/v0.16.0
  • LLMInferenceService 및 LLMInferenceServiceConfig CRD에 LWS 기반 멀티 노드 필드 추가
    * update CRDs for LWS based multi node support by @VedantMahabaleshwarkar in https://github.com/kserve/kserve/pull/4596
    github.com/kserve/kserve/releases/tag/v0.16.0
  • LLMInferenceServiceConfig 기본 프리셋 추가
    * Add LLM InferenceService base configurations by @VedantMahabaleshwarkar in https://github.com/kserve/kserve/pull/4613
    github.com/kserve/kserve/releases/tag/v0.16.0
  • LLM 로드 밸런싱을 위한 llm-d 스케줄러 조정
    * Adding Llm-d scheduler reconcilier by @andresllh in https://github.com/kserve/kserve/pull/4614
    github.com/kserve/kserve/releases/tag/v0.16.0
  • KEDA 오토스케일링 동작 구성
    * Added advanced config for ScaleUp and ScaleDown by @andyi2it in https://github.com/kserve/kserve/pull/4570
    github.com/kserve/kserve/releases/tag/v0.16.0
  • raw-deployment-mode InferenceGraph 중지 및 재개

    사용 조건 InferenceGraph를 중지하려면 어노테이션을 serving.kserve.io/stop: "true"로 설정하고, 재개하려면 serving.kserve.io/stop: "false"로 설정합니다.

    * Stop and resume an inference graph [Raw Deployment] by @hdefazio in https://github.com/kserve/kserve/pull/4637
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 단일·다중 노드 LLMInferenceServices 워크로드 리컨실러 추가
    * llm-d workload reconciliation by @brettmthompson in https://github.com/kserve/kserve/pull/4616
    github.com/kserve/kserve/releases/tag/v0.16.0
  • LLMInferenceServices 라우트 리컨실리에이션
    * Llm d http route reconciler by @andresllh in https://github.com/kserve/kserve/pull/4617
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 일부 LLMInferenceService 컨트롤러 로직 추가
    * Add logic for LLMISVC controller by @VedantMahabaleshwarkar in https://github.com/kserve/kserve/pull/4632
    github.com/kserve/kserve/releases/tag/v0.16.0
  • LLMInferenceServiceConfig 사전 정의 프리셋 업데이트
    * [llmisvc] Improve config merge and update well-known presets by @pierDipi in https://github.com/kserve/kserve/pull/4663
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 스케줄러 누락 및 외부 InferencePool 오브젝트를 처리하는 LLMInferenceService 구성 병합
    * [llmisvc] Improve config merge and update well-known presets by @pierDipi in https://github.com/kserve/kserve/pull/4663
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 클러스터 범위 리소스와 nil owner를 위한 범용 CRUD 지원
    * [llmisvc] Support cluster-scoped objects in generic CRUD functions by @pierDipi in https://github.com/kserve/kserve/pull/4664
    github.com/kserve/kserve/releases/tag/v0.16.0
  • KServe Storage 별도 모듈로 분리
    * Promote new KServe Storage module by @spolti in https://github.com/kserve/kserve/pull/4625
    github.com/kserve/kserve/releases/tag/v0.16.0
  • raw 및 Standard 배포를 위한 구성 가능한 롤아웃 전략

    사용 조건 구성 요소의 deploymentStrategy, ConfigMap의 deploymentRolloutStrategy 또는 defaultRollout 설정; ConfigMap 기본값은 defaultDeploymentMode가 "Standard"일 때만 적용

    * Implement the progressive rollout for raw deployment by @houshengbo in https://github.com/kserve/kserve/pull/4623
    github.com/kserve/kserve/releases/tag/v0.16.0
  • LLMInferenceService 컨트롤러 이미지와 Helm 차트 공개
    * ci: publish llmisvc container image by @yuzisun in https://github.com/kserve/kserve/pull/4686
    github.com/kserve/kserve/releases/tag/v0.16.0
  • LLMInferenceService 종속성 및 구성 요소 빠른 설치 스크립트
    * llmisvc: fix RBAC, templating, and adds quick install script by @sivanantha321 in https://github.com/kserve/kserve/pull/4698
    github.com/kserve/kserve/releases/tag/v0.16.0
  • kserve-resources Helm 차트의 OpenTelemetry 및 오토스케일러 설정 구성

    사용 조건 관련 kserve.opentelemetryCollector 또는 kserve.autoscaler 값을 설정한 kserve-resources Helm 차트

    * Enabled the configuration options in Helm for opentelemetryCollector and autoscaler by @houshengbo in https://github.com/kserve/kserve/pull/4725
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 시계열 예측 엔드포인트 및 태스크 통합
    * Time Series Forecast API Endpoint by @jinan-zhou in https://github.com/kserve/kserve/pull/4615
    github.com/kserve/kserve/releases/tag/v0.16.0
  • LLMInferenceService용 Kustomize 배포 구성
    * llmisvc dev & kustomize setup, add webhook config to helm chart  by @sivanantha321 in https://github.com/kserve/kserve/pull/4712
    github.com/kserve/kserve/releases/tag/v0.16.0
  • 추론 아티팩트의 다중 저장소 위치

    사용 조건 Knative 배포를 위한 Kubernetes init-container 기능 플래그

    * Support Multiple Storage URIs for InferenceServices by @anurags25 in https://github.com/kserve/kserve/pull/4702
    github.com/kserve/kserve/releases/tag/v0.16.0
  • cert-manager 설치를 LLMInferenceService 빠른 설치 스크립트에 추가
    * Add Cert Manager installation to llmisvc quick install script by @sivanantha321 in https://github.com/kserve/kserve/pull/4733
    github.com/kserve/kserve/releases/tag/v0.16.0
  • LLMInferenceService의 S3 스토리지 초기화 컨테이너에 CA 번들 주입

    사용 조건 서비스 계정, 시크릿 어노테이션 또는 inferenceservice-config ConfigMap에 정의된 CA 번들 구성

    * Injecting CA Bundle Into Storage Initializer Container for S3 Storage on LLMISVC Reconciliation by @brettmthompson in https://github.com/kserve/kserve/pull/4728
    github.com/kserve/kserve/releases/tag/v0.16.0
  • LLMInferenceService의 Kueue 메타데이터 전파
    * Add metadata propagation for Kueue configurations to both Deployment and LeaderWorkerSet workloads by @hdefazio in https://github.com/kserve/kserve/pull/4747
    github.com/kserve/kserve/releases/tag/v0.16.0
  • GCS 및 Azure 인퍼런스 로깅 스토리지 지원
    * feature: 4553 - Support inference logging to GCS and Azure by @cjohannsen-cloudera in https://github.com/kserve/kserve/pull/4582
    github.com/kserve/kserve/releases/tag/v0.16.0
  • KServe 종속 항목을 위한 모듈형 설정 스크립트
    * Add centralized installation scripts for KServe dependencies by @Jooho in https://github.com/kserve/kserve/pull/4774
    github.com/kserve/kserve/releases/tag/v0.16.0
  • KServe v0.16.0 설치 매니페스트 및 Helm 차트

    사용 조건 Helm --version v0.16.0

    * Prepare for 0.16.0 release by @houshengbo in https://github.com/kserve/kserve/pull/4786
    github.com/kserve/kserve/releases/tag/v0.16.0
  • minimal LLMInferenceService CRD용 새 Helm 차트

    사용 조건 minimal LLMInferenceService CRD 배포를 위한 llmisvc-crd-minimal Helm 차트 v0.16.0 설치

    * fix llmisvc-crd-minimal chart by @yuzisun in https://github.com/kserve/kserve/pull/4789
    github.com/kserve/kserve/releases/tag/v0.16.0

의존성 갱신8

    그 외 8건 · 보안 언급 없음
    • * Upgrade Torch to v2.6.0 everywhere by @ashahba in https://github.com/kserve/kserve/pull/4450
    • * upgrade vllm to v0.9.0 and Torch to v2.7.0 by @ashahba in https://github.com/kserve/kserve/pull/4501
    • * upgrade vllm to v0.9.0 and Torch to v2.7.0 by @ashahba in https://github.com/kserve/kserve/pull/4501
    • * Upgrade vLLM to v0.9.0.1 by @ashahba in https://github.com/kserve/kserve/pull/4507
    • * Upgrade vllm to v0.9.2 by @AyushSawant18588 in https://github.com/kserve/kserve/pull/4586
    • * Protobuf version bump by @karolpustelnik in https://github.com/kserve/kserve/pull/4634
    • * Update the kserve-storage module to the latest version by @spolti in https://github.com/kserve/kserve/pull/4754
    • * bump up istio version to 1.27.1 by @Jooho in https://github.com/kserve/kserve/pull/4775
    기타49

    정리 내용은 AI가 작성하므로 틀릴 수 있으며, 보증 없이 제공합니다.