# KServe v0.16.0

2025-11-03 · [릴리스 노트 원문](https://github.com/kserve/kserve/releases/tag/v0.16.0) · [전체 정리](https://ratatosk.io/ko/releases/kserve/v0.16.0)

보안 2 · 호환성 변경 19 · 폐기 예정 1 · 중요 수정 28 · 기능·개선 43 · 의존성 갱신 8 · 기타 49

## 보안 (2)

### KServe 컨트롤러에 `RuntimeDefault` seccomp 프로파일 추가

- 영향 대상: KServe 컨트롤러, LocalModel 컨트롤러 또는 LocalModelNode 에이전트 매니페스트를 사용하는 배포와 Helm 차트의 컨트롤러 배포 (추정)

기존에 표시된 Pod 보안 컨텍스트에는 `seccompProfile`이 설정되지 않았고, Helm 차트 문서에 명시된 컨트롤러 보안 컨텍스트 기본값은 `{"runAsNonRoot":true}`였습니다. 변경된 컨텍스트에는 이제 `seccompProfile.type: RuntimeDefault`가 지정됩니다.

> * Fix pss restricted warnings by @akagami-harsh in https://github.com/kserve/kserve/pull/4327

### storage-initializer 파드 매니페스트의 HF 토큰 노출 수정

- 영향 대상: HF 토큰을 Kubernetes Secret에 저장해 둔 storage-initializer 워크로드 (추정)
- 추가 조치: 평문 값을 파드 매니페스트에 포함하는 대신 Kubernetes Secret을 가리키는 `secretKeyRef`와 함께 `valueFrom`을 사용해 `HF_TOKEN`을 주입해야 합니다.

HF 토큰이 파드 매니페스트에 평문으로 주입되어 유출될 가능성이 있었습니다.

> * Fix HF Token Vulnerability in Storage Initializer Container by @brettmthompson in https://github.com/kserve/kserve/pull/4677

## 호환성 변경 (19)

### `default` 접미사 없이 생성되는 InferenceService 서비스

- 영향 대상: `default` 접미사를 사용하는 InferenceService 구성 요소

이 구성 요소는 이전에는 해당 접미사를 붙여 사용할 수 있었습니다.

근거: “With this PR, the support for compatibility with the "default" suffix has been removed. Any InferenceService component that is still using the "default" suffix will now have a new service created without the suffix.” https://github.com/kserve/kserve/pull/4178

> * chore: remove 'default' suffix compatibility by @sivanantha321 in https://github.com/kserve/kserve/pull/4178

### `OpenTelemetryCollector` 리소스 requests와 limits 기본값 추가

- 영향 대상: InferenceService 오토스케일링에 기본 `OpenTelemetryCollector` 구성을 사용하는 설치 환경 (추정)

기본값으로 CPU request와 limit은 모두 `1`로, 메모리 request와 limit은 모두 `2Gi`로 설정됩니다.

> * add resource default for otel collector container limit in configmap by @andyi2it in https://github.com/kserve/kserve/pull/4633

### Quick-install 스크립트의 버전 고정값 업데이트

- 영향 대상: 새 kind 클러스터에 `hack/quick_install.sh`를 사용해 설치하는 경우

새 kind 클러스터에서 `hack/quick_install.sh -r`를 실행하면 Istio Helm 스키마 검증 오류가 발생해 실패했고, KServe `v0.16.0-rc0` 릴리스 후보를 사용할 수 없었습니다. 이제 스크립트는 스키마 검증 호환성 문제를 해결하기 위해 Istio `1.27.1`을 선택하고, 사용 가능하며 지원되는 릴리스인 KServe `v0.15.2`를 선택합니다.

> * fix: istio installation failures and update kserve to stable version  by @Ce11an in https://github.com/kserve/kserve/pull/4684

### LLMInferenceService 프리셋에서 SSL 비활성화

- 영향 대상: 변경된 설정 프리셋을 사용하는 LLMInferenceService 배포

이전에는 프리셋에서 `--enable-ssl-refresh`와 인증서 및 키 인자를 사용해 SSL을 활성화하고, HTTPS 헬스 프로브를 사용했습니다. 이제는 해당 SSL 인자를 생략하고 HTTP 헬스 프로브를 사용합니다. PR은 BackendTLSPolicy가 구현되기 전까지 임시로 적용하는 변경이라고 설명합니다.

> * Temporarily disable SSL to unblock e2e tests by @Jooho in https://github.com/kserve/kserve/pull/4731

### `LLMInferenceService` 프리셋의 `runAsNonRoot`를 false로 설정

- 영향 대상: 영향을 받는 구성 프리셋을 사용하는 `LLMInferenceService` 배포 (추정)

이번 릴리스 전에는 프리셋이 `runAsNonRoot`를 true로 설정했습니다.

근거: “+ runAsNonRoot: false” https://github.com/kserve/kserve/pull/4731

> * Temporarily disable SSL to unblock e2e tests by @Jooho in https://github.com/kserve/kserve/pull/4731

### 자동 스케일링 메트릭 수량의 입력 표현 보존

- 영향 대상: `value` 또는 `averageValue`를 사용하는 오토스케일링 메트릭 타깃의 InferenceServices(KEDA 호환 경로 포함) (추정)

이전에는 JSON 직렬화 과정에서 `value`와 `averageValue`가 정규화되어 직렬화된 표현이 입력값과 달라질 수 있었습니다. 이제 검증에는 파싱된 `resource.Quantity`를 유지하면서, 원본 원시 입력이 있으면 직렬화에 사용합니다.

근거: “// MarshalJSON implements custom JSON marshaling using the original raw value for KEDA compatibility” https://github.com/kserve/kserve/pull/4699

> * Use a wrapper struct to accept resource.Quantity and keep the original input by @houshengbo in https://github.com/kserve/kserve/pull/4699

### S3 설정 출처 및 빈 값 처리 변경

- 영향 대상: 서비스 계정 어노테이션이나 Secret 어노테이션, Secret 데이터 또는 `inferenceservice-config` ConfigMap을 통해 S3 스토리지를 구성하는 경우

이전에는 빈 `S3_ENDPOINT` 또는 `S3_USE_HTTPS` 어노테이션 값도 컨테이너 환경 변수에 설정될 수 있었습니다. 이제 S3 값은 Secret 데이터에서도 가져올 수 있으며, 우선순위는 어노테이션, Secret 데이터, S3 설정 순입니다. 모든 출처의 빈 문자열은 컨테이너 환경 변수에서 제외됩니다.

근거: “Regardless of where their value is set (annotation, secret data, or s3 config) they will always be set in the container env unless the value is an empty string.” https://github.com/kserve/kserve/pull/4727

> * Add Support for Configuring S3 Storage via Secret Data by @brettmthompson in https://github.com/kserve/kserve/pull/4727

### `llmisvc-resources` 차트의 추론 서비스 ConfigMap 추가

- 영향 대상: `llmisvc-resources` Helm 차트 (추정)

차트에 `gateway-inference-extension.yaml`이 더 이상 포함되지 않습니다. 새 `inferenceservice.yaml` 템플릿은 `inferenceservice-config` ConfigMap을 정의합니다.

근거: “+ name: inferenceservice-config” https://github.com/kserve/kserve/pull/4729

> * Add llmd e2e tests by @andresllh in https://github.com/kserve/kserve/pull/4729

### LLMInferenceService CRD와 웹훅을 전용 Kustomize 구성으로 이전

- 영향 대상: Kustomize 기반 LLMInferenceService 설치 (추정)

독립 설치는 `kustomize build config/overlay/llmisvc`로 빌드할 수 있습니다.

> * refactor: separate llmisvc manifests from default kustomization by @Jooho in https://github.com/kserve/kserve/pull/4763

### KServe Python의 `Pydantic` v1 지원 중단

- 영향 대상: `Pydantic` v1을 사용하는 Python SDK 구성 (추정)

이전에는 `Pydantic` v1과 v2를 모두 지원했습니다.

근거: “Currently both v1 and v2 pydantic is supported, dropped support for v1 for the support overhead.” https://github.com/kserve/kserve/pull/4353

> * chore: drop pydantic v1 support by @sivanantha321 in https://github.com/kserve/kserve/pull/4353

### Python `Model` 클래스에서 `predictor_host`와 `PredictorConfig` 제거

- 영향 대상: Python KServe SDK에서 `Model` 클래스의 `predictor_host` 또는 `PredictorConfig`를 사용하는 모델 (추정)

이전에는 Python `Model` 클래스가 모델 범위에서 두 속성을 모두 노출했습니다. 이제 `PredictorConfig`는 context에서 가져오며, 이를 요구하지 않아도 기존 기능은 유지됩니다.

근거: “Breaking: Remove predictor_host and PredictorConfig from the Model class” https://github.com/kserve/kserve/pull/4526

> * Refactor KServe to use global context for PredictorConfig by @sivanantha321 in https://github.com/kserve/kserve/pull/4526

### 학습 모델 샤딩 `Strategy` 인터페이스 제거

- 영향 대상: 학습 모델 샤딩 패키지의 `Strategy` 인터페이스를 import하거나 참조하는 Go 코드 (추정)

이 인터페이스는 `GetOrAssignShard`를 선언했습니다.

> * Remove unused Strategy interface from sharding package by @houshengbo in https://github.com/kserve/kserve/pull/4590

### `name`이 비어 있지 않은 standard predictor의 생성 차단

- 영향 대상: `name` 필드가 비어 있지 않은 standard predictor를 사용하는 InferenceService

근거: “This PR adds validation to catch misconfiguration in the `name` field of standard predictor in creation time.” https://github.com/kserve/kserve/pull/4535

> * disallow `name` field in standard predictor by @HutakiHare in https://github.com/kserve/kserve/pull/4535

### 병렬 처리 CRD 형식의 `int32` 한정

- 영향 대상: `parallelism.pipeline` 또는 `parallelism.tensor` 값이 `int32` 범위를 벗어나는 LLMInferenceService 및 LLMInferenceServiceConfig 리소스 (추정)

근거: “+ format: int32” https://github.com/kserve/kserve/pull/4596

> * update CRDs for LWS based multi node support by @VedantMahabaleshwarkar in https://github.com/kserve/kserve/pull/4596

### LLMInferenceService CRD와 API 타입에서 `storage` spec 제거

- 영향 대상: `storage`를 설정하는 LLMInferenceService 또는 LLMInferenceServiceConfig 매니페스트 (추정)

이전에는 ModelMesh를 사용하지 않는 배포와의 호환성을 위해 `LLMInferenceService` CRD에 `storage`가 포함되어 있었습니다.

근거: “The Storage Spec was added to InferenceServices because this is the format that ModelMesh supports. For non-ModelMesh deployments, KServe added support for compatibility.” https://github.com/kserve/kserve/pull/4622

> * Remove storage spec from LLMIsvc by @israel-hdez in https://github.com/kserve/kserve/pull/4622

### LLMInferenceService 검증 웹훅 추가

- 영향 대상: 라우터 라우트 또는 워크로드 병렬성이 설정된 LLMInferenceService 리소스

라우터의 필드 간 제약 조건을 검사합니다. 여기에는 인라인 라우트 spec과 함께 사용자 지정 HTTPRoute를 참조하지 못하게 하는 검사와 워크로드 병렬성 제약 조건 검사가 포함됩니다.

> * feat(webhook): introduces Validating Webhook for LLMInferenceService by @VedantMahabaleshwarkar in https://github.com/kserve/kserve/pull/4631

### `LLMInferenceService` LoRA API의 `LLMModelSpec` 사용

- 영향 대상: `LLMInferenceService` CRD에서 LoRA API를 사용하는 설정

이전에는 LoRA API가 기존 `ModelSpec` 타입을 사용했습니다.

근거: “The LLMInferneceService CRD LoRA API wasn't meant to use the existing ModelSpec but the LLMModelSpec type” https://github.com/kserve/kserve/pull/4663

> * [llmisvc] Improve config merge and update well-known presets by @pierDipi in https://github.com/kserve/kserve/pull/4663

### `EnableDirectPvcVolumeMount` 플래그 제거

- 영향 대상: `EnableDirectPvcVolumeMount`를 사용하는 스토리지 이니셜라이저 구성 (추정)

이 플래그는 여러 릴리스 동안 기본값이 true였습니다. PR에서는 레거시 false 경로가 사실상 사용되지 않는다고 설명했지만, 해당 코드와 테스트는 여전히 존재했습니다.

근거: “EnableDirectPvcVolumeMount has been defaulted to true for several releases, making the legacy false path effectively dead.” https://github.com/kserve/kserve/pull/4694

> * deprecate: remove EnableDirectPvcVolumeMount flag by @anurags25 in https://github.com/kserve/kserve/pull/4694

### `llmisvc-resources` Helm 차트에 검증 웹훅 추가

- 영향 대상: `LLMInferenceService` 또는 `LLMInferenceServiceConfig` 리소스를 관리하는 `llmisvc-resources` Helm 차트 설치 (추정)

검증 웹훅은 `CREATE` 및 `UPDATE` 작업을 대상으로 합니다.

> * llmisvc dev & kustomize setup, add webhook config to helm chart  by @sivanantha321 in https://github.com/kserve/kserve/pull/4712

## 폐기 예정 (1)

### KServe 배포 모드 이름을 `Standard`와 `KNative`로 변경

- 영향 대상: 배포 모드 값을 설정하거나 기본 모드에 의존하는 KServe 구성
- 제거 시점: 미상

기본값은 이제 `Standard`입니다. 기존 값은 지원 중단 예정 필드로 남아 있으며, config 생성자가 이를 상향 변환합니다.

> * refactor: 4602 - Refactor "RawDeployment" to "Standard" and "Serverless" to  "KNative" to clarify usage by @cjohannsen-cloudera in https://github.com/kserve/kserve/pull/4608

## 중요 수정 (28)

### HuggingFace `TextIteratorStreamer`의 특수 토큰 건너뛰기

- 영향 대상: HuggingFace 백엔드 텍스트 생성 스트리밍

이 기능을 사용하면 스트리밍 응답에 이전에는 포함되던 `<|im_end|>` 및 `<|endoftext|>`와 같은 특수 토큰이 표시되지 않습니다.

> * fix: Update TextIteratorStreamer to skip special tokens by @sivanantha321 in https://github.com/kserve/kserve/pull/4490

### InferenceGraph 엔드포인트 해석에서 ServingRuntime 프로토콜 반영

- 영향 대상: V2 전용 ServingRuntime을 사용하고 `protocolVersion`이 없는 InferenceService를 사용하는 InferenceGraph 워크로드

이전에는 이 경우 엔드포인트 해석 결과 V1 엔드포인트가 반환되어 InferenceGraph 라우터가 잘못 구성됐습니다. 이제 워크로드는 V2 엔드포인트를 사용하도록 구성됩니다.

> * Resolve inference endpoint using runtime protocol when applicable by @israel-hdez in https://github.com/kserve/kserve/pull/4527

### KEDA OpenTelemetry 스케일링 메타데이터 수정

- 영향 대상: KEDA에서 OpenTelemetry 메트릭 트리거를 사용하는 InferenceService (추정)

KServe가 KEDA OpenTelemetry 메트릭 트리거를 생성할 때, 스케일 자체의 범위를 제한하는 필드인 `clampMin`과 `clampMax`에 InferenceService의 레플리카 범위 값을 넣었습니다. 이제 KServe가 생성하는 트리거 메타데이터에는 두 필드가 포함되지 않습니다.

> * fix: unset clampMax and clampMin, since they are not for replicas by @houshengbo in https://github.com/kserve/kserve/pull/4556

### HTTPRoute 리컨실리에이션 재큐 처리 수정

- 영향 대상: HTTPRoute 인그레스 리컨실리에이션을 사용하는 InferenceService (추정)

리컨실리에이션 중 HTTPRoute가 없거나 준비되지 않은 상태이면 리컨실러가 다시 큐에 넣지 못할 수 있었고, 준비되지 않은 라우트가 조용히 건너뛰어질 수도 있었습니다. 이제 준비되지 않았거나 찾을 수 없는 라우트를 다시 큐에 넣어 원하는 상태로 수렴하도록 지원합니다.

> * refactor: Enhance HTTPRoute readiness checks by @sivanantha321 in https://github.com/kserve/kserve/pull/4543

### OpenTelemetryCollector 오토스케일링에 지정된 모든 메트릭 포함

- 영향 대상: 여러 OpenTelemetryCollector 오토스케일링 메트릭을 지정한 InferenceService (추정)

이전에는 지정된 메트릭 중 마지막 메트릭만 포함했습니다. 이제 오토스케일링에 지정된 모든 메트릭을 포함합니다.

> * Fix: Support multiple metrics in OpenTelemetryCollector for autoscaling by @houshengbo in https://github.com/kserve/kserve/pull/4591

### 네임스페이스와 배포별 KEDA 자동 스케일링 분리

- 영향 대상: KEDA/OpenTelemetry 자동 스케일링을 사용하는 `InferenceService` 배포 (추정)

서로 다른 배포 또는 네임스페이스의 메트릭이 섞여 자동 스케일링이 잘못될 수 있었습니다. 이제 OTelCollector가 `namespace` 및 `deployment` 레이블을 추가하며, KEDA 쿼리는 이 레이블을 사용해 메트릭을 필터링합니다.

> * Fixed the issue of the same metrics across different deployments under different namespaces by @houshengbo in https://github.com/kserve/kserve/pull/4593

### Hugging Face 분류 확률 처리 수정

- 영향 대상: `return_probabilities=True`를 사용하는 Hugging Face 분류 작업 (추정)

`return_probabilities=True`를 설정하면 시퀀스 분류에서 확률 대신 원시 로짓을 반환할 수 있었지만, fill-mask는 확률을 반환했습니다. 이제 모든 작업 유형에 일관되게 softmax가 적용됩니다.

> * feat: Add disable postprocessing option for raw logits by @sivanantha321 in https://github.com/kserve/kserve/pull/4566

### InferenceService `Stopped` 컨디션 처리 수정

- 영향 대상: 중지/재개 컨트롤러가 리컨실하는 InferenceService (추정)

`Stopped` 컨디션이 없으면 false로 초기화합니다. 재개할 때는 컨디션이 이전에 true였던 경우에만 false로 설정합니다.

> * [Followup] Improve the stop/resume Inference Service tests and status by @hdefazio in https://github.com/kserve/kserve/pull/4636

### GPU 감지에서 NVIDIA MIG 리소스 인식

- 영향 대상: NVIDIA MIG GPU 리소스 limit이 설정된 워크로드

이름이 `nvidia.com/mig`로 시작하는 리소스는 워크로드를 GPU 사용 워크로드로 식별합니다.

> * fix: Adds support for NVIDIA MIG GPU resource detection by @sivanantha321 in https://github.com/kserve/kserve/pull/4642

### 진행 중 및 실패 상태를 반영하는 컴포넌트 배포 상태

- 영향 대상: KServe 컴포넌트 배포 (추정)

> * Last Deployment Status Should Reflect Deployment Status by @HotsauceLee in https://github.com/kserve/kserve/pull/4667

### 모든 상태에서 갱신되는 InferenceService 모델 복사 상태

- 영향 대상: `Pending`, `Loading`, `FailedToLoad`, `Loaded` 상태의 모델이 있는 `InferenceService` (추정)

이전에는 모델이 `Loaded` 상태에 도달한 뒤에만 `ModelCopies`가 갱신되어, `Pending`, `Loading`, `FailedToLoad` 상태에서는 `totalCopies`가 status에 반영되지 않았습니다. 이제 모든 모델 상태에서 `ModelCopies.TotalCopies`를 저장하며, 준비된 Pod 수를 셉니다.

> * Fix: Update ModelCopies.TotalCopies for all model states  by @hardik-menger in https://github.com/kserve/kserve/pull/4676

### 추론 로깅에서 설정된 내장 로거 spec 우선 적용

- 영향 대상: 내장 로거 spec과 전역 로거 ConfigMap을 통해 추론 로깅을 구성한 추론 서비스

이전에는 설정된 내장 로거 spec을 무시하고 전역 ConfigMap을 사용했습니다. 이제 내장 spec을 우선 적용하며, 내장 spec에 값이 설정되어 있지 않으면 전역 설정을 사용합니다.

> * 4739 - Fix: blob storage for inference logging recognizes embedded spec by @cjohannsen-cloudera in https://github.com/kserve/kserve/pull/4740

### 추론 로깅 응답 메타데이터에 요청 메타데이터 헤더 포함

- 영향 대상: 메타데이터 헤더가 포함된 추론 로깅 요청 (추정)

이전에는 메타데이터 헤더가 포함된 요청을 보내도 해당 헤더가 로그의 응답 메타데이터에서 누락됐습니다.

> * 4778 - Fix: apply metadata headers to inference logging response by @cjohannsen-cloudera in https://github.com/kserve/kserve/pull/4779

### `InferenceGraph` 라우터 타임아웃 사용자 지정

- 영향 대상: 사용자 지정 라우터 또는 서비스 클라이언트 타임아웃이 필요한 `InferenceGraph` 리소스

라우터 서버 타임아웃이 짧으면 그래프의 `InferenceService`가 시작되는 동안 `EOF`가 반환될 수 있습니다. 예를 들어 모델을 다운로드하거나 Kubernetes 노드를 프로비저닝하는 중에 이런 상황이 발생할 수 있습니다. `InferenceGraph.spec.routerTimeouts`에 사용자 지정 값을 설정하면 이를 방지할 수 있습니다. 소스 예시에서는 `serverRead`, `serverWrite`, `serverIdle`을 각각 `300`으로 설정해 응답이 성공했다고 설명합니다.

> * Allow to set custom timeouts for `InferenceGraph` router by @lifo9 in https://github.com/kserve/kserve/pull/4218

### S3 SSL에서 독립형 `AWS_CA_BUNDLE` 경로 적용

- 영향 대상: SSL 검증을 켜고 `AWS_CA_BUNDLE`을 로컬 CA 파일로 설정한 S3 스토리지 (추정)

이전에는 `CA_BUNDLE_CONFIGMAP_NAME`이 설정되지 않은 경우, SSL 검증을 켠 S3 다운로드에서 해당 경로를 무시했습니다.

> * fix: Allow CA bundle path without config map by @fabiendupont in https://github.com/kserve/kserve/pull/4451

### HuggingFaceServer의 FlashInfer 빌드 실패 수정

- 영향 대상: vLLM의 `EngineCore`에서 `FlashInfer`를 실행하는 HuggingFaceServer 이미지

`EngineCore`가 시작되고 런타임 JIT 컴파일이 실행될 때 Ninja 빌드가 “RuntimeError: Ninja build failed.” 오류와 함께 실패할 수 있었습니다. 이제 이미지에 사전 컴파일된 샘플링 커널이 포함되어 런타임 빌드와 이 실패를 방지합니다.

> * Add AOT flashinfer build to huggingfaceserver dockerfile to precompil… by @AyushSawant18588 in https://github.com/kserve/kserve/pull/4567

### Python 패키지 export에 LLMInferenceService 타입 추가

- 영향 대상: Python SDK에서 `LLMInferenceService` 또는 `LLMInferenceServiceConfig`를 import하는 경우 (추정)

이 타입들은 Python import에서 누락되어 있었습니다.

> * fix(deps): adds missing LLMInferenceService types for python imports by @bartoszmajsak in https://github.com/kserve/kserve/pull/4604

### `ClusterServingRuntime`의 이미지 다이제스트 처리 수정

- 영향 대상: 이미지 다이제스트를 사용하는 `ClusterServingRuntime` 리소스, 특히 GPU 클러스터의 리소스

GPU 클러스터에서 이미지 다이제스트 뒤에 `-gpu` 접미사를 붙이면 런타임이 실패할 수 있었습니다. 이제 이미지 태그 업데이트 과정에서 다이제스트 기반 이미지 참조는 변경되지 않습니다.

> * fix: allow digests in runtimes' images by @tmvfb in https://github.com/kserve/kserve/pull/4653

### LLMInferenceService 컨트롤러 RBAC 권한 확대

- 영향 대상: LLMInferenceService 컨트롤러를 실행하는 클러스터 (추정)

추가된 권한은 컨트롤러 기능 향상과 리더 선출을 지원합니다.

> * llmisvc: fix RBAC, templating, and adds quick install script by @sivanantha321 in https://github.com/kserve/kserve/pull/4698

### InferenceService 리컨실리에이션 중 nil 포인터 패닉 수정

- 영향 대상: InferenceService 배포, HPA 또는 KEDA 리컨실리에이션 (추정)

해당 리컨실리에이션 경로에서 `componentExt`가 nil이면 InferenceService 리컨실리에이션 중 패닉이 발생할 수 있었지만, 이제는 발생하지 않습니다.

> * Fixed the panic nil pointer issue componentExt being nil by @houshengbo in https://github.com/kserve/kserve/pull/4704

### llmisvc 컨트롤러 Dockerfile 엔트리포인트 수정

- 영향 대상: 이 Dockerfile로 llmisvc 컨트롤러 이미지를 빌드하거나 실행하는 설치 환경 (추정)

이전에는 Dockerfile의 엔트리포인트가 `/llmisvc`로 설정되어 있었지만, 이제 `/manager`로 설정됩니다.

> * Fix incorrect entrypoint in llmisvc Dockerfile by @Jooho in https://github.com/kserve/kserve/pull/4730

### Hugging Face 다운로드 메모리 사용량 감소

- 영향 대상: 스토리지 이니셜라이저를 통한 Hugging Face 모델 다운로드

최신 Hugging Face Hub Python 라이브러리로 대형 모델을 다운로드하면 메모리가 계속 부족해졌습니다. 이제 스토리지 이니셜라이저 컨테이너에 `HF_HUB_ENABLE_HF_TRANSFER=1`, `HF_XET_HIGH_PERFORMANCE=1`, `HF_XET_NUM_CONCURRENT_RANGE_GETS=8`이 설정됩니다. 보고된 테스트에서는 다운로드 시간이 그대로 유지되는 동안 메모리 사용량이 2GB 초과에서 0.5GB 미만으로 줄었습니다.

> * Configure HF Downloads to Lower Memory Usage by @brettmthompson in https://github.com/kserve/kserve/pull/4726

### 기본 Kustomize 컨트롤러 이미지 참조 수정

- 영향 대상: 기본 Kustomize 매니저 이미지 패치를 사용하는 설치 (추정)

`kserve-controller:latest`를 사용하면 배포에서 이미지 풀 백오프가 발생했습니다. 이제 `kserve/kserve-controller:latest`를 사용합니다.

> * fix: wrong kserve controller image url by @Jooho in https://github.com/kserve/kserve/pull/4773

### 스토리지 초기화기의 중복 환경 변수 처리 수정

- 영향 대상: HuggingFace 최적화 또는 CA 번들 환경 변수를 정의한 사용자 지정 스토리지 컨테이너의 스토리지 초기화 (추정)

기존 사용자 정의 환경 변수와 일치하는 변수는 유지되며, 자동으로 중복 추가되지 않습니다. 기본 HuggingFace 최적화 변수는 없는 경우에만 추가됩니다.

> * Fix the issue of Invalid value for env[1].valueFrom by @houshengbo in https://github.com/kserve/kserve/pull/4765

### modelcars에서 `.ubj` 및 `.json` 모델을 로드할 때 발생하는 XGBoost 오류 수정

- 영향 대상: modelcars에서 `.ubj` 또는 `.json` 모델을 로드하는 XGBoost 서버 배포

modelcars의 모델 경로는 가상 파일 시스템에 있으므로 로드에 실패했습니다. 이제 서버는 라이브러리가 가상 경로를 읽게 하는 대신 파일 내용을 `bytearray`로 XGBoost에 전달합니다.

> * Fix XGBoost .ubj and .json models with modelcar by @balazsprehoda in https://github.com/kserve/kserve/pull/4746

### CA 번들 주입 시 기존 환경 변수 유지

- 영향 대상: CA 번들을 주입하는 LLMInferenceService 워크로드 (추정)

CA 번들 ConfigMap 이름 또는 볼륨 마운트 경로 환경 변수가 이미 있으면, 주입 과정에서 해당 변수를 그대로 두고 중복해서 추가하지 않습니다. 없으면 설정된 값이나 기본값을 추가합니다.

> * Fixed the CA bundle env var logic by @houshengbo in https://github.com/kserve/kserve/pull/4777

### HuggingFace 평균 풀링 런타임 오류 수정

- 영향 대상: 문장 임베딩에 평균 풀링을 사용하는 모델의 HuggingFace 런타임 배포 환경으로, CPU 전용 배포와 GPU 사용 배포를 모두 포함

`attention_mask`와 `token_embeddings`의 디바이스가 다르거나 데이터 타입이 일치하지 않으면 평균 풀링에서 런타임 오류가 발생할 수 있었습니다. 이제 마스크를 임베딩의 디바이스와 데이터 타입에 맞추고, 마스크가 없는 경우도 처리하며, 0으로 나누지 않도록 분모에 하한을 적용합니다. 이에 따라 CPU와 GPU 모두에서 추론할 수 있습니다.

> * huggingfaceserver: fix mean_pooling device/dtype mismatch and add regression test by @JohnsonWang1015 in https://github.com/kserve/kserve/pull/4744

### `InferenceGraph` 단계의 선택적 predictions-to-instances 매핑

- 영향 대상: V1 추론 프로토콜 서비스를 체이닝하는 `InferenceGraph` 단계

업스트림 서비스가 `predictions` 아래에 출력을 반환하고 다운스트림 서비스는 `instances`를 기대하는 경우, 두 서비스를 바로 체이닝할 수 없었습니다. `mapPredictionsToInstances`를 `true`로 설정하면 라우터가 업스트림의 `predictions`를 다운스트림의 `instances`로 매핑합니다. 이 설정이 없으면 매핑이 활성화되지 않습니다.

> * Allow mapping predictions to instances in sequential inference graphs by @tmbochenski in https://github.com/kserve/kserve/pull/4738

## 기능·개선 (43)

- 기본 제공 서빙 런타임별 비활성화 설정 (사용 조건: 런타임을 비활성화하려면 해당 런타임의 `disabled` 설정을 `true`로 지정합니다. 기본값은 `false`입니다.)
- KServe 스토리지 모듈, 별도 `kserve-storage` 패키지로 출시
- Raw Deployment 모드 InferenceService 중지 및 재개 (사용 조건: `serving.kserve.io/stop`을 `'true'`로 설정해 서비스 중지, `'false'`로 설정해 서비스 재개)
- 원본 모델 소스 URI를 사용자 컨테이너에 주입 (사용 조건: 원격 스토리지 활성화)
- `LLMInferenceService` 및 `LLMInferenceServiceConfig` API와 CRD 추가
- Transformer 중지 및 재개 지원 (사용 조건: `serving.kserve.io/stop` 어노테이션)
- 멀티 노드/멀티 GPU InferenceService의 OCI 스토리지 검증 활성화
- 모델 요청 및 응답 로그의 S3 스토리지 사용 설정
- Ready 상태인 InferenceService의 자동 업데이트 옵트아웃
- Explainer 중지 및 재개 지원 (사용 조건: InferenceService에 `constants.StopAnnotationKey`를 설정합니다. 중지하려면 `true`, 재개하려면 `false`로 설정합니다.)
- KServe Helm 차트에서 스토리지 이니셜라이저 리소스 requests 및 limits 구성 가능
- `LLMInferenceService` 컨트롤러와 Helm 차트 초기 구성
- `LLMInferenceServiceSpec`의 전략적 병합
- KEDA 외부 메트릭 소스 인증 설정
- `utils` 컬렉션 헬퍼를 `collections.go`로 이동
- Hugging Face 서버의 raw logits 출력 (사용 조건: `sequence_classification`, `fill_mask`, `token_classification`에서 지원되며 `return_probabilities`와 함께 사용할 수 없는 `--return_raw_logits` 옵션)
- 서버리스 InferenceGraph 중지 및 재개 (사용 조건: 그래프를 중지하려면 `serving.kserve.io/stop` 어노테이션을 `"true"`로 설정하고, 재개하려면 `"false"`로 설정합니다.)
- `LLMInferenceService` 및 `LLMInferenceServiceConfig` CRD에 LWS 기반 멀티 노드 필드 추가
- LLMInferenceServiceConfig 기본 프리셋 추가
- LLM 로드 밸런싱을 위한 llm-d 스케줄러 조정
- KEDA 오토스케일링 동작 구성
- raw-deployment-mode InferenceGraph 중지 및 재개 (사용 조건: InferenceGraph를 중지하려면 어노테이션을 `serving.kserve.io/stop: "true"`로 설정하고, 재개하려면 `serving.kserve.io/stop: "false"`로 설정합니다.)
- 단일·다중 노드 `LLMInferenceServices` 워크로드 리컨실러 추가
- `LLMInferenceServices` 라우트 리컨실리에이션
- 일부 `LLMInferenceService` 컨트롤러 로직 추가
- `LLMInferenceServiceConfig` 사전 정의 프리셋 업데이트
- 스케줄러 누락 및 외부 `InferencePool` 오브젝트를 처리하는 `LLMInferenceService` 구성 병합
- 클러스터 범위 리소스와 nil owner를 위한 범용 CRUD 지원
- KServe Storage 별도 모듈로 분리
- raw 및 `Standard` 배포를 위한 구성 가능한 롤아웃 전략 (사용 조건: 구성 요소의 `deploymentStrategy`, ConfigMap의 `deploymentRolloutStrategy` 또는 `defaultRollout` 설정; ConfigMap 기본값은 `defaultDeploymentMode`가 "Standard"일 때만 적용)
- LLMInferenceService 컨트롤러 이미지와 Helm 차트 공개
- LLMInferenceService 종속성 및 구성 요소 빠른 설치 스크립트
- `kserve-resources` Helm 차트의 OpenTelemetry 및 오토스케일러 설정 구성 (사용 조건: 관련 `kserve.opentelemetryCollector` 또는 `kserve.autoscaler` 값을 설정한 `kserve-resources` Helm 차트)
- 시계열 예측 엔드포인트 및 태스크 통합
- LLMInferenceService용 Kustomize 배포 구성
- 추론 아티팩트의 다중 저장소 위치 (사용 조건: Knative 배포를 위한 Kubernetes init-container 기능 플래그)
- `cert-manager` 설치를 LLMInferenceService 빠른 설치 스크립트에 추가
- LLMInferenceService의 S3 스토리지 초기화 컨테이너에 CA 번들 주입 (사용 조건: 서비스 계정, 시크릿 어노테이션 또는 `inferenceservice-config` ConfigMap에 정의된 CA 번들 구성)
- LLMInferenceService의 Kueue 메타데이터 전파
- GCS 및 Azure 인퍼런스 로깅 스토리지 지원
- KServe 종속 항목을 위한 모듈형 설정 스크립트
- KServe v0.16.0 설치 매니페스트 및 Helm 차트 (사용 조건: Helm `--version v0.16.0`)
- minimal LLMInferenceService CRD용 새 Helm 차트 (사용 조건: minimal LLMInferenceService CRD 배포를 위한 `llmisvc-crd-minimal` Helm 차트 `v0.16.0` 설치)

## 의존성 갱신 (8)

그 외 8건 · 보안 언급 없음

- `* Upgrade Torch to v2.6.0 everywhere by @ashahba in https://github.com/kserve/kserve/pull/4450`
- `* upgrade vllm to v0.9.0 and Torch to v2.7.0 by @ashahba in https://github.com/kserve/kserve/pull/4501`
- `* upgrade vllm to v0.9.0 and Torch to v2.7.0 by @ashahba in https://github.com/kserve/kserve/pull/4501`
- `* Upgrade vLLM to v0.9.0.1 by @ashahba in https://github.com/kserve/kserve/pull/4507`
- `* Upgrade vllm to v0.9.2 by @AyushSawant18588 in https://github.com/kserve/kserve/pull/4586`
- `* Protobuf version bump by @karolpustelnik in https://github.com/kserve/kserve/pull/4634`
- `* Update the kserve-storage module to the latest version by @spolti in https://github.com/kserve/kserve/pull/4754`
- `* bump up istio version to 1.27.1 by @Jooho in https://github.com/kserve/kserve/pull/4775`

## 기타 (49)

- `OWNERS` 승인자로 Jooho 추가
- 테스트 CRD 파일 이름을 `test/crds/serving.kserve.io_all_crds.yaml`로 변경
- HuggingFace CPU 의존성 잠금 시 다른 의존성을 업데이트하지 않도록 변경
- HuggingFace 요청 트레이스 로깅 형식 수정
- 코드 생성 스크립트에서 생성기 바이너리 버전을 `CODEGEN_VERSION`으로 고정
- BentoML 샘플 코드와 매니페스트 업데이트
- `go.mod`를 기준으로 프로젝트 루트를 찾는 EnvTest CRD 조회
- OpenShift cert-manager 오퍼레이터 가이드 매니페스트에서 잘못된 필드 제거
- 풀 리퀘스트 커버리지 검사와 비교 보고서 추가
- Python 의존성 설치 도구를 Poetry에서 `uv`로 전환
- 제네릭을 활용한 코드 단순화
- HuggingFaceServer 이미지의 `PYTHONPATH`가 이제 `WORKSPACE_DIR`를 따름
- 누락된 코드 커버리지 설정 파일 추가
- Downloader 테스트의 URL을 로컬 `httptest` 서버 URL로 전환
- 테스트의 `pytest-asyncio` 세션 범위 마커 누락 수정
- `LLMInferenceService`의 누락된 GIE 풀 셀렉터 및 EPP 서비스 계정 주입
- e2e 테스트 스크립트의 병렬성 정보 수정
- CI 속도 향상
- 리포지토리 오탈자 수정
- `LLMInferenceServiceConfig` 템플릿 검증 추가
- 퀵스타트 링크 수정
- Markdown만 변경된 경우 CI 워크플로 건너뛰기
- README 링크를 KServe 웹사이트 링크로 업데이트
- Snyk 스캔 SARIF 파일 업로드 수정
- Graph 테스트 이미지 태그 기본값 `latest`
- API 주석의 HTML 이스케이프 처리로 웹사이트 문서 구문 오류 수정
- KEDA 및 OpenTelemetry 리컨실리에이션에 API 서버 기본값 반영
- KEDA pod-metric `targetValue`의 고정 소수점 이하 여섯 자리 형식 미사용
- Kafka 샘플 문서 경로 업데이트
- `0.16.0-rc0` 릴리스 준비를 마친 저장소
- 테스트 설정의 인메모리 `GatewayClass` 교체
- `LLMInferenceService` 워크로드에 역할을 연결할 수 있는 서비스 계정
- LLMInferenceService 라우터 조정 상태 업데이트
- 오토스케일링 테스트 실행 시간 및 크래시 수정
- LLMInferenceService 자격 증명 조정 시 누락 계정 오류 로그 방지
- LLMInferenceService 컨트롤러 이미지에 `manager` 포함
- 호환성을 위해 리팩터링한 `LLMInferenceService` Helm 템플릿
- Docker 퍼블리싱 워크플로의 디스크 공간 정리
- `README`에 Star History 섹션 추가
- 프로젝트 README에 CNCF 언급 추가
- KServe `README` 개요 및 기능 섹션 개정
- 컨트롤러 이미지 빌드 및 푸시 명령에서 `KO_DOCKER_REPO` 사용
- `LLMInferenceService` 엔드투엔드 테스트 및 GitHub Actions 워크플로
- 0.16.0-rc1 릴리스 준비
- `kserve-resources` Helm 차트의 modelcar 사이드카 UID 설정
- Python 테스트 워크플로에서 손상된 캐시 가상 환경 재생성
- Raw 컨트롤러 테스트 리팩터링
- `LLMInferenceService` 샘플 구성과 README 업데이트
- KServe Storage PyPI 배포 워크플로에서 `KSERVE_STORAGE_PYPI_TOKEN` 사용

---

정리 내용은 AI가 작성하므로 틀릴 수 있으며, 보증 없이 제공합니다.
