# KServe v0.16.0

2025-11-03 · [元のリリースノート](https://github.com/kserve/kserve/releases/tag/v0.16.0) · [全体のまとめ](https://ratatosk.io/ja/releases/kserve/v0.16.0)

セキュリティ 2 · 破壊的変更 19 · 非推奨 1 · 重大な修正 28 · 機能・改善 43 · 依存関係の更新 8 · その他の変更 49

## セキュリティ (2)

### KServe コントローラーへの `RuntimeDefault` seccomp プロファイルの追加

- 影響対象: KServe コントローラー、LocalModel コントローラー、または LocalModelNode エージェントのマニフェストを使用するデプロイメント（Helm chart のコントローラーのデプロイメントを含む） (推定)

従来、示されていた Pod セキュリティコンテキストでは `seccompProfile` が設定されておらず、Helm chart に記載されたコントローラーのセキュリティコンテキストのデフォルト値は `{"runAsNonRoot":true}` でした。今回対象となるコンテキストでは、`seccompProfile.type: RuntimeDefault` が指定されるようになりました。

> * Fix pss restricted warnings by @akagami-harsh in https://github.com/kserve/kserve/pull/4327

### storage-initializer の Pod マニフェストにおける HF トークン露出の修正

- 影響対象: Kubernetes Secret に保存された HF トークンを使用する storage-initializer ワークロード (推定)
- 追加の対応: Pod マニフェストに平文値を埋め込まず、`valueFrom` と `secretKeyRef` で Kubernetes Secret を参照して `HF_TOKEN` を注入する方式

HF トークンが Pod マニフェスト内に平文で注入され、漏えいする可能性がありました。

> * Fix HF Token Vulnerability in Storage Initializer Container by @brettmthompson in https://github.com/kserve/kserve/pull/4677

## 破壊的変更 (19)

### InferenceService のサービスを `default` サフィックスなしで作成

- 影響対象: `default` サフィックスを使用する InferenceService コンポーネント

これらのコンポーネントは、以前はこのサフィックス付きでサポートされていました。

根拠: “With this PR, the support for compatibility with the "default" suffix has been removed. Any InferenceService component that is still using the "default" suffix will now have a new service created without the suffix.” https://github.com/kserve/kserve/pull/4178

> * chore: remove 'default' suffix compatibility by @sivanantha321 in https://github.com/kserve/kserve/pull/4178

### `OpenTelemetryCollector` のデフォルトのリソースリクエストと上限の追加

- 影響対象: InferenceService のオートスケーリングでデフォルトの `OpenTelemetryCollector` 設定を使用するインストール環境 (推定)

デフォルト値として、CPU のリクエストと上限はいずれも `1`、メモリのリクエストと上限はいずれも `2Gi` に設定されます。

> * add resource default for otel collector container limit in configmap by @andyi2it in https://github.com/kserve/kserve/pull/4633

### クイックインストールスクリプトのバージョン固定値の更新

- 影響対象: `hack/quick_install.sh` を使った新規 kind クラスターへのインストール

新規 kind クラスターで `hack/quick_install.sh -r` を実行すると、Istio の Helm スキーマ検証エラーが発生して失敗し、KServe `v0.16.0-rc0` のリリース候補も入手できませんでした。スキーマ検証との互換性に対応するため、スクリプトは Istio `1.27.1` を選択するようになりました。また、入手可能でサポートされているリリースである KServe `v0.15.2` を選択します。

> * fix: istio installation failures and update kserve to stable version  by @Ce11an in https://github.com/kserve/kserve/pull/4684

### LLMInferenceService の設定プリセットにおける SSL 無効化

- 影響対象: 変更された設定プリセットを使用する LLMInferenceService デプロイメント

以前のプリセットでは、`--enable-ssl-refresh` と証明書および鍵の引数で SSL を有効にし、HTTPS のヘルスプローブを使用していました。現在はこれらの SSL 引数を省略し、HTTP のヘルスプローブを使用します。PRでは、`BackendTLSPolicy` が実装されるまでの一時的な変更と説明されています。

> * Temporarily disable SSL to unblock e2e tests by @Jooho in https://github.com/kserve/kserve/pull/4731

### `LLMInferenceService` のプリセットで `runAsNonRoot` を false に設定

- 影響対象: 影響を受ける構成プリセットを使用する `LLMInferenceService` のデプロイメント (推定)

このリリース以前は、プリセットで `runAsNonRoot` が true に設定されていました。

根拠: “+ runAsNonRoot: false” https://github.com/kserve/kserve/pull/4731

> * Temporarily disable SSL to unblock e2e tests by @Jooho in https://github.com/kserve/kserve/pull/4731

### 自動スケーリング指標の数量で入力時の表現を保持

- 影響対象: `value` または `averageValue` を使う自動スケーリングのメトリクスターゲットを設定した InferenceServices（KEDA 互換経路を含む） (推定)

以前は、JSON シリアライズ時に `value` と `averageValue` が正規化され、シリアライズ後の表現が入力時と異なることがありました。現在は、利用できる場合は元の生入力を使ってシリアライズし、検証用のパース済み `resource.Quantity` も保持します。

根拠: “// MarshalJSON implements custom JSON marshaling using the original raw value for KEDA compatibility” https://github.com/kserve/kserve/pull/4699

> * Use a wrapper struct to accept resource.Quantity and keep the original input by @houshengbo in https://github.com/kserve/kserve/pull/4699

### S3 の設定元と空値の処理の変更

- 影響対象: サービスアカウントまたは Secret のアノテーション、Secret データ、`inferenceservice-config` ConfigMap を通じて設定された S3 ストレージ

以前は、空の `S3_ENDPOINT` または `S3_USE_HTTPS` のアノテーション値もコンテナ環境変数に設定されることがありました。現在は、S3 の値を Secret データからも取得できます。アノテーションは Secret データより優先され、Secret データは S3 設定より優先されます。いずれの取得元でも、空文字列はコンテナ環境変数から除外されます。

根拠: “Regardless of where their value is set (annotation, secret data, or s3 config) they will always be set in the container env unless the value is an empty string.” https://github.com/kserve/kserve/pull/4727

> * Add Support for Configuring S3 Storage via Secret Data by @brettmthompson in https://github.com/kserve/kserve/pull/4727

### `llmisvc-resources` チャートへの推論サービス用 ConfigMap の追加

- 影響対象: `llmisvc-resources` Helm チャート (推定)

このチャートには `gateway-inference-extension.yaml` が含まれなくなりました。新しい `inferenceservice.yaml` テンプレートで `inferenceservice-config` ConfigMap が定義されます。

根拠: “+ name: inferenceservice-config” https://github.com/kserve/kserve/pull/4729

> * Add llmd e2e tests by @andresllh in https://github.com/kserve/kserve/pull/4729

### LLMInferenceService の CRD と webhook を専用の Kustomize 設定へ移行

- 影響対象: Kustomize ベースの LLMInferenceService インストール (推定)

独立したインストール用の構成は、`kustomize build config/overlay/llmisvc` でビルドできます。

> * refactor: separate llmisvc manifests from default kustomization by @Jooho in https://github.com/kserve/kserve/pull/4763

### KServe Python での `Pydantic` v1 のサポート終了

- 影響対象: `Pydantic` v1 を使用する Python SDK の環境 (推定)

これまでは、`Pydantic` v1 と v2 の両方がサポートされていました。

根拠: “Currently both v1 and v2 pydantic is supported, dropped support for v1 for the support overhead.” https://github.com/kserve/kserve/pull/4353

> * chore: drop pydantic v1 support by @sivanantha321 in https://github.com/kserve/kserve/pull/4353

### Python `Model` クラスからの `predictor_host` と `PredictorConfig` の削除

- 影響対象: `Model` クラスで `predictor_host` または `PredictorConfig` を使用する Python KServe SDK のモデル (推定)

以前は、Python の `Model` クラスがモデルのスコープで両方の属性を公開していました。現在、`PredictorConfig` はコンテキストから取得します。これを必要とせずに、既存の機能を引き続き利用できます。

根拠: “Breaking: Remove predictor_host and PredictorConfig from the Model class” https://github.com/kserve/kserve/pull/4526

> * Refactor KServe to use global context for PredictorConfig by @sivanantha321 in https://github.com/kserve/kserve/pull/4526

### 学習済みモデルのシャーディング `Strategy` インターフェースの削除

- 影響対象: 学習済みモデルのシャーディングパッケージの `Strategy` インターフェースをインポートまたは参照する Go コード (推定)

このインターフェースは `GetOrAssignShard` を宣言していました。

> * Remove unused Strategy interface from sharding package by @houshengbo in https://github.com/kserve/kserve/pull/4590

### `name` が空でない標準 Predictor の作成ブロック

- 影響対象: `name` フィールドが空でない標準 Predictor を使用する InferenceService

根拠: “This PR adds validation to catch misconfiguration in the `name` field of standard predictor in creation time.” https://github.com/kserve/kserve/pull/4535

> * disallow `name` field in standard predictor by @HutakiHare in https://github.com/kserve/kserve/pull/4535

### 並列度 CRD の形式を `int32` に限定

- 影響対象: `parallelism.pipeline` または `parallelism.tensor` の値が `int32` の範囲外である LLMInferenceService および LLMInferenceServiceConfig リソース (推定)

根拠: “+ format: int32” https://github.com/kserve/kserve/pull/4596

> * update CRDs for LWS based multi node support by @VedantMahabaleshwarkar in https://github.com/kserve/kserve/pull/4596

### LLMInferenceService CRD と API 型からの `storage` spec の削除

- 影響対象: `storage` を設定する LLMInferenceService または LLMInferenceServiceConfig マニフェスト (推定)

以前の LLMInferenceService CRD には、ModelMesh を使用しないデプロイとの互換性のために `storage` が含まれていました。

根拠: “The Storage Spec was added to InferenceServices because this is the format that ModelMesh supports. For non-ModelMesh deployments, KServe added support for compatibility.” https://github.com/kserve/kserve/pull/4622

> * Remove storage spec from LLMIsvc by @israel-hdez in https://github.com/kserve/kserve/pull/4622

### `LLMInferenceService` 検証 Webhook の追加

- 影響対象: ルーターのルートまたはワークロードの並列処理を設定した `LLMInferenceService` リソース

ルーターの複数フィールド間の制約を確認します。たとえば、インラインのルート仕様とカスタム `HTTPRoute` の参照の併用を禁止し、ワークロードの並列処理に関する制約も検証します。

> * feat(webhook): introduces Validating Webhook for LLMInferenceService by @VedantMahabaleshwarkar in https://github.com/kserve/kserve/pull/4631

### `LLMInferenceService` LoRA API の `LLMModelSpec` 使用への変更

- 影響対象: `LLMInferenceService` CRD で LoRA API を使用する構成

以前、LoRA API は既存の `ModelSpec` 型を使用していました。

根拠: “The LLMInferneceService CRD LoRA API wasn't meant to use the existing ModelSpec but the LLMModelSpec type” https://github.com/kserve/kserve/pull/4663

> * [llmisvc] Improve config merge and update well-known presets by @pierDipi in https://github.com/kserve/kserve/pull/4663

### `EnableDirectPvcVolumeMount` フラグの削除

- 影響対象: `EnableDirectPvcVolumeMount` を使用するストレージ初期化設定 (推定)

このフラグのデフォルト値は、複数のリリースにわたって true でした。PRでは、従来の false の経路は事実上使われていないと説明されていますが、そのコードとテストはまだ残っていました。

根拠: “EnableDirectPvcVolumeMount has been defaulted to true for several releases, making the legacy false path effectively dead.” https://github.com/kserve/kserve/pull/4694

> * deprecate: remove EnableDirectPvcVolumeMount flag by @anurags25 in https://github.com/kserve/kserve/pull/4694

### `llmisvc-resources` Helm チャートへの検証 Webhook の追加

- 影響対象: `LLMInferenceService` または `LLMInferenceServiceConfig` リソースを管理する `llmisvc-resources` Helm チャートのインストール (推定)

検証 Webhook は `CREATE` と `UPDATE` 操作を対象とします。

> * llmisvc dev & kustomize setup, add webhook config to helm chart  by @sivanantha321 in https://github.com/kserve/kserve/pull/4712

## 非推奨 (1)

### KServe のデプロイモードを `Standard` と `KNative` に改称

- 影響対象: デプロイモードの値を設定する、またはデフォルトモードに依存する KServe 構成
- 削除予定: 不明

デフォルトは `Standard` になりました。従来の値は非推奨フィールドとして残り、設定コンストラクターによってアップコンバートされます。

> * refactor: 4602 - Refactor "RawDeployment" to "Standard" and "Serverless" to  "KNative" to clarify usage by @cjohannsen-cloudera in https://github.com/kserve/kserve/pull/4608

## 重大な修正 (28)

### HuggingFace `TextIteratorStreamer` による特殊トークンのスキップ

- 影響対象: HuggingFace バックエンドのテキスト生成ストリーミング

この機能により、以前はストリーミング応答に含まれていた `<|im_end|>` や `<|endoftext|>` などの特殊トークンがスキップされます。

> * fix: Update TextIteratorStreamer to skip special tokens by @sivanantha321 in https://github.com/kserve/kserve/pull/4490

### InferenceGraph のエンドポイント解決における ServingRuntime プロトコルの反映

- 影響対象: V2 専用の ServingRuntime を使用し、`protocolVersion` が設定されていない InferenceService を持つ InferenceGraph ワークロード

従来、このケースではエンドポイント解決によって V1 エンドポイントが返され、InferenceGraph ルーターの設定が誤っていました。現在はワークロードに V2 エンドポイントが設定されます。

> * Resolve inference endpoint using runtime protocol when applicable by @israel-hdez in https://github.com/kserve/kserve/pull/4527

### KEDA OpenTelemetry スケーリングメタデータの修正

- 影響対象: KEDA で OpenTelemetry メトリクストリガーを使用する InferenceService (推定)

KServe が KEDA の OpenTelemetry メトリクストリガーを生成する際、スケーリング自体の範囲を指定するフィールドであるにもかかわらず、`clampMin` と `clampMax` に InferenceService のレプリカ数の上下限を設定していました。KServe が生成するトリガーのメタデータから、これら2つのフィールドが除外されるようになりました。

> * fix: unset clampMax and clampMin, since they are not for replicas by @houshengbo in https://github.com/kserve/kserve/pull/4556

### HTTPRoute 再調整時の再キュー処理を修正

- 影響対象: HTTPRoute ingress の再調整を行う InferenceService (推定)

再調整中に HTTPRoute が見つからない、または準備ができていない場合、再調整が再キューされず、準備ができていないルートが通知なくスキップされることがありました。現在は、準備ができていないルートや見つからないルートについて再キューし、望ましい状態への収束を支援します。

> * refactor: Enhance HTTPRoute readiness checks by @sivanantha321 in https://github.com/kserve/kserve/pull/4543

### OpenTelemetryCollector のスケーリングで指定したすべての指標を使用

- 影響対象: OpenTelemetryCollector のスケーリング指標を複数指定している InferenceService (推定)

以前は、指定した指標のうち最後の指標だけが含まれていました。現在は、指定したすべての指標がスケーリングに含まれます。

> * Fix: Support multiple metrics in OpenTelemetryCollector for autoscaling by @houshengbo in https://github.com/kserve/kserve/pull/4591

### 名前空間とデプロイメント単位で分離された KEDA オートスケーリング

- 影響対象: KEDA/OpenTelemetry オートスケーリングを使用する `InferenceService` のデプロイメント (推定)

異なるデプロイメントや名前空間のメトリクスが混在し、オートスケーリングが誤る可能性がありました。OTelCollector は `namespace` と `deployment` のラベルを追加し、KEDA のクエリはこれらのラベルを使ってメトリクスを絞り込みます。

> * Fixed the issue of the same metrics across different deployments under different namespaces by @houshengbo in https://github.com/kserve/kserve/pull/4593

### Hugging Face 分類タスクの確率処理の修正

- 影響対象: `return_probabilities=True` を使用する Hugging Face の分類タスク (推定)

`return_probabilities=True` の場合、シーケンス分類では確率ではなく生のロジットが返されることがありましたが、fill-mask では確率が返されていました。タスクの種類にかかわらず、Softmax が一貫して適用されるようになりました。

> * feat: Add disable postprocessing option for raw logits by @sivanantha321 in https://github.com/kserve/kserve/pull/4566

### InferenceService の `Stopped` condition 処理の修正

- 影響対象: 停止／再開コントローラーによってリコンシルされる InferenceService (推定)

`Stopped` condition がない場合は、false に初期化されます。再開時は、以前の値が true の場合に限り、condition が false に設定されます。

> * [Followup] Improve the stop/resume Inference Service tests and status by @hdefazio in https://github.com/kserve/kserve/pull/4636

### GPU 検出での NVIDIA MIG リソース認識

- 影響対象: NVIDIA MIG GPU リソースの上限を設定したワークロード

`nvidia.com/mig` で始まるリソース名により、ワークロードが GPU 対応として識別されます。

> * fix: Adds support for NVIDIA MIG GPU resource detection by @sivanantha321 in https://github.com/kserve/kserve/pull/4642

### 進行中および失敗状態のコンポーネントデプロイ状態への反映

- 影響対象: KServe コンポーネントのデプロイ (推定)

> * Last Deployment Status Should Reflect Deployment Status by @HotsauceLee in https://github.com/kserve/kserve/pull/4667

### すべての状態における `InferenceService` のモデルコピー数ステータス更新

- 影響対象: モデルが `Pending`、`Loading`、`FailedToLoad`、または `Loaded` 状態にある `InferenceService` (推定)

以前は、モデルが `Loaded` に達した後にのみ `ModelCopies` が更新されていたため、`Pending`、`Loading`、`FailedToLoad` の間は `totalCopies` がステータスに含まれていませんでした。現在は、すべてのモデル状態で `ModelCopies.TotalCopies` が保存され、準備完了の Pod 数が記録されます。

> * Fix: Update ModelCopies.TotalCopies for all model states  by @hardik-menger in https://github.com/kserve/kserve/pull/4676

### 推論ログ設定で入力済みの埋め込み logger spec を優先

- 影響対象: 埋め込み logger spec とグローバル logger ConfigMap の両方を使って推論ログを設定している推論サービス

以前は、設定が入力された埋め込み logger spec が無視され、代わりにグローバル ConfigMap が使われていました。現在は埋め込み spec が優先され、埋め込み spec に設定が入力されていない場合はグローバル設定が使われます。

> * 4739 - Fix: blob storage for inference logging recognizes embedded spec by @cjohannsen-cloudera in https://github.com/kserve/kserve/pull/4740

### 推論ログのレスポンスメタデータにリクエストメタデータヘッダーを追加

- 影響対象: メタデータヘッダーを含む推論ログ記録リクエスト (推定)

これまでは、メタデータヘッダーを含むリクエストでも、ログに記録されるレスポンスメタデータからそのヘッダーが除外されていました。

> * 4778 - Fix: apply metadata headers to inference logging response by @cjohannsen-cloudera in https://github.com/kserve/kserve/pull/4779

### `InferenceGraph` のルータータイムアウト設定

- 影響対象: ルーターまたはサービスクライアントのタイムアウトをカスタマイズする必要がある `InferenceGraph` リソース

ルーターサーバーのタイムアウトが短いと、グラフ内の `InferenceService` の起動中に `EOF` が返されることがあります。たとえば、モデルのダウンロード中や Kubernetes ノードのプロビジョニング中に発生します。`InferenceGraph.spec.routerTimeouts` にカスタム値を設定することで回避できます。ソースの例では、`serverRead`、`serverWrite`、`serverIdle` を `300` に設定し、応答が成功したことを報告しています。

> * Allow to set custom timeouts for `InferenceGraph` router by @lifo9 in https://github.com/kserve/kserve/pull/4218

### S3 SSL での単独指定 `AWS_CA_BUNDLE` パスの適用

- 影響対象: SSL 検証を有効にし、ローカル CA ファイルを `AWS_CA_BUNDLE` に設定した S3 ストレージ (推定)

以前は、`CA_BUNDLE_CONFIGMAP_NAME` が未設定の場合、SSL 検証を有効にした S3 ダウンロードでこのパスが無視されていました。

> * fix: Allow CA bundle path without config map by @fabiendupont in https://github.com/kserve/kserve/pull/4451

### HuggingFaceServer の FlashInfer ビルド失敗の修正

- 影響対象: vLLM の `EngineCore` を `FlashInfer` とともに実行する HuggingFaceServer イメージ

`EngineCore` の起動時に実行時の JIT コンパイルが行われると、Ninja のビルドが「RuntimeError: Ninja build failed.」で失敗することがありました。イメージにサンプリングカーネルを事前コンパイルして含めることで、実行時のビルドとその失敗を回避できるようになりました。

> * Add AOT flashinfer build to huggingfaceserver dockerfile to precompil… by @AyushSawant18588 in https://github.com/kserve/kserve/pull/4567

### Python パッケージのエクスポートへの LLMInferenceService 型の追加

- 影響対象: `LLMInferenceService` または `LLMInferenceServiceConfig` をインポートする Python SDK の利用者 (推定)

これらの型は Python のインポート対象に含まれていませんでした。

> * fix(deps): adds missing LLMInferenceService types for python imports by @bartoszmajsak in https://github.com/kserve/kserve/pull/4604

### `ClusterServingRuntime` のイメージダイジェスト処理の修正

- 影響対象: イメージダイジェストを使用する `ClusterServingRuntime` リソース（特に GPU クラスター）

GPU クラスターでは、イメージダイジェストに `-gpu` 接尾辞を追加すると、ランタイムが失敗することがありました。イメージタグの更新処理では、ダイジェストベースのイメージ参照が変更されなくなりました。

> * fix: allow digests in runtimes' images by @tmvfb in https://github.com/kserve/kserve/pull/4653

### LLMInferenceService コントローラーの RBAC 権限拡張

- 影響対象: LLMInferenceService コントローラーを実行しているクラスター (推定)

追加された権限により、コントローラーの機能強化とリーダー選出が可能になります。

> * llmisvc: fix RBAC, templating, and adds quick install script by @sivanantha321 in https://github.com/kserve/kserve/pull/4698

### InferenceService のリコンシリエーションにおける nil ポインターによるパニックの修正

- 影響対象: InferenceService のデプロイメント、HPA、KEDA のリコンシリエーション (推定)

これらのリコンシリエーション処理で `componentExt` が nil の場合に、InferenceService のリコンシリエーションでパニックが発生することがありましたが、発生しなくなりました。

> * Fixed the panic nil pointer issue componentExt being nil by @houshengbo in https://github.com/kserve/kserve/pull/4704

### llmisvc コントローラーの Dockerfile エントリーポイント修正

- 影響対象: この Dockerfile から llmisvc コントローラーのイメージをビルドまたは実行するインストール環境 (推定)

Dockerfile のエントリーポイントは以前 `/llmisvc` に設定されていましたが、現在は `/manager` に設定されています。

> * Fix incorrect entrypoint in llmisvc Dockerfile by @Jooho in https://github.com/kserve/kserve/pull/4730

### Hugging Face のダウンロード時のメモリ使用量削減

- 影響対象: ストレージ初期化コンテナを介した Hugging Face モデルのダウンロード

最新の Hugging Face Hub Python ライブラリを使った大規模モデルのダウンロードでは、一貫してメモリ不足が発生していました。ストレージ初期化コンテナに `HF_HUB_ENABLE_HF_TRANSFER=1`、`HF_XET_HIGH_PERFORMANCE=1`、`HF_XET_NUM_CONCURRENT_RANGE_GETS=8` が設定されるようになりました。報告されたテストでは、ダウンロード時間を維持したまま、メモリ使用量が 2 GB 超から 0.5 GB 未満に減少しました。

> * Configure HF Downloads to Lower Memory Usage by @brettmthompson in https://github.com/kserve/kserve/pull/4726

### デフォルトの Kustomize コントローラーイメージ参照の修正

- 影響対象: デフォルトの Kustomize マネージャーイメージパッチを使用するインストール環境 (推定)

`kserve-controller:latest` を使用していたため、デプロイ時にイメージのプルがバックオフ状態となっていました。現在は `kserve/kserve-controller:latest` を使用します。

> * fix: wrong kserve controller image url by @Jooho in https://github.com/kserve/kserve/pull/4773

### ストレージ初期化時の環境変数重複修正

- 影響対象: HuggingFace 最適化または CA バンドルの環境変数を定義したカスタムストレージコンテナでのストレージ初期化 (推定)

既存のユーザー定義環境変数が一致する場合は保持され、自動的に重複追加されません。HuggingFace の最適化用デフォルト環境変数は、存在しない場合にのみ追加されます。

> * Fix the issue of Invalid value for env[1].valueFrom by @houshengbo in https://github.com/kserve/kserve/pull/4765

### modelcars からの `.ubj`／`.json` モデル読み込みの修正

- 影響対象: modelcars から `.ubj` または `.json` モデルを読み込む XGBoost サーバーのデプロイメント

この読み込みは、modelcars 内のモデルパスが仮想ファイルシステム上にあるため失敗していました。サーバーは、ライブラリに仮想パスを読み込ませるのではなく、ファイルの内容を `bytearray` として XGBoost に渡すようになりました。

> * Fix XGBoost .ubj and .json models with modelcar by @balazsprehoda in https://github.com/kserve/kserve/pull/4746

### CA バンドル注入で既存の環境変数を保持

- 影響対象: CA バンドル注入を使用する LLMInferenceService ワークロード (推定)

CA バンドルの ConfigMap 名またはボリュームマウントパスを指定する環境変数がすでに存在する場合は、別の環境変数を追加せず、既存の環境変数をそのまま残します。存在しない場合は、設定値またはデフォルト値を追加します。

> * Fixed the CA bundle env var logic by @houshengbo in https://github.com/kserve/kserve/pull/4777

### HuggingFace の mean pooling におけるランタイムエラーの修正

- 影響対象: 文埋め込みに mean pooling を使用するモデルの HuggingFace ランタイムデプロイ（CPU のみのデプロイと GPU を利用するデプロイを含む）

`attention_mask` と `token_embeddings` のデバイスが異なる場合や、データ型が一致しない場合に、mean pooling でランタイムエラーが発生することがありました。現在はマスクを埋め込みのデバイスとデータ型に合わせ、マスクがない場合にも対応し、ゼロ除算を防ぐために分母をクランプします。これにより、CPU と GPU の両方で推論できます。

> * huggingfaceserver: fix mean_pooling device/dtype mismatch and add regression test by @JohnsonWang1015 in https://github.com/kserve/kserve/pull/4744

### `InferenceGraph` ステップでの予測結果からインスタンスへの任意マッピング

- 影響対象: V1 Inference Protocol サービスをチェーンする `InferenceGraph` のステップ

上流サービスの出力が `predictions` に格納されている一方、下流サービスが `instances` を想定している場合、単純なチェーン接続はできませんでした。`mapPredictionsToInstances` を `true` に設定すると、ルーターが上流の `predictions` を下流の `instances` にマッピングします。この設定がない場合、マッピングは有効になりません。

> * Allow mapping predictions to instances in sequential inference graphs by @tmbochenski in https://github.com/kserve/kserve/pull/4738

## 機能・改善 (43)

- 組み込みサービングランタイムごとの無効化設定 (利用条件: 各ランタイムの `disabled` 設定を `true` に変更（既定値は `false`）)
- KServe ストレージモジュールを独立した `kserve-storage` パッケージとしてリリース
- Raw Deployment の InferenceServices の停止と再開 (利用条件: 停止時は `serving.kserve.io/stop` を 'true' に、再開時は 'false' に設定)
- 元のモデルソース URI のユーザーコンテナへの注入 (利用条件: リモートストレージが有効)
- `LLMInferenceService` と `LLMInferenceServiceConfig` の API および CRD の追加
- Transformer の停止・再開対応 (利用条件: `serving.kserve.io/stop` アノテーション)
- マルチノード／マルチGPUのInferenceServiceでOCIストレージ検証を有効化
- モデルのリクエスト／レスポンスログ向け S3 オプトインストレージ
- Ready 状態の InferenceService の自動更新オプトアウト
- Explainer の停止・再開対応 (利用条件: InferenceService に `constants.StopAnnotationKey` を設定し、停止時は `true`、再開時は `false` にする)
- KServe Helm chart でのストレージ初期化コンテナのリソース requests と limits の設定
- 初期の `LLMInferenceService` コントローラーの雛形と Helm チャート
- `LLMInferenceServiceSpec` の戦略的マージ
- KEDA 外部メトリクスソースの認証設定
- `utils` のコレクションヘルパーを `collections.go` に移動
- Hugging Face サーバーの生ロジット出力 (利用条件: `sequence_classification`、`fill_mask`、`token_classification` でサポートされ、`return_probabilities` とは同時に指定できない `--return_raw_logits` オプション)
- サーバーレス InferenceGraph の停止と再開 (利用条件: グラフの停止には `serving.kserve.io/stop` アノテーションを `"true"` に、再開には `"false"` に設定)
- `LLMInferenceService` と `LLMInferenceServiceConfig` の CRD に LWS ベースのマルチノード用フィールドを追加
- LLMInferenceServiceConfig のベースプリセット追加
- LLM 負荷分散向け llm-d スケジューラーのリコンシリエーション
- KEDA オートスケーリング動作の設定
- raw deployment モードの InferenceGraph の停止と再開 (利用条件: InferenceGraph を停止するには `serving.kserve.io/stop: "true"`、再開するには `serving.kserve.io/stop: "false"` をアノテーションに設定)
- 単一ノード／マルチノードの `LLMInferenceServices` ワークロード用リコンサイラーの追加
- `LLMInferenceServices` のルート調整
- 一部の `LLMInferenceService` コントローラー処理の追加
- `LLMInferenceServiceConfig` 既知のプリセットの更新
- `LLMInferenceService` の設定マージでスケジューラー未設定と外部 `InferencePool` オブジェクトに対応
- クラスター スコープリソースと nil owner に対応する汎用 CRUD
- KServe Storage の別モジュールへの分離
- raw および `Standard` デプロイメント向けのロールアウト戦略設定 (利用条件: コンポーネントの `deploymentStrategy`、ConfigMap の `deploymentRolloutStrategy`、または `defaultRollout` の設定。ConfigMap のデフォルトが適用されるのは、`defaultDeploymentMode` が "Standard" の場合のみ)
- LLMInferenceService コントローラーのイメージと Helm chart の公開
- LLMInferenceService の依存関係とコンポーネントのクイックインストールスクリプト
- `kserve-resources` Helm chart の OpenTelemetry とオートスケーラー設定のカスタマイズ (利用条件: 関連する `kserve.opentelemetryCollector` または `kserve.autoscaler` の値を設定した `kserve-resources` Helm chart)
- 時系列予測エンドポイントとタスクの統合
- LLMInferenceService の Kustomize デプロイ設定
- 推論アーティファクト向けの複数ストレージ場所 (利用条件: Knative デプロイメント向けの Kubernetes init-container フィーチャーフラグ)
- LLMInferenceService クイックインストールスクリプトへの Cert Manager インストール追加
- LLMInferenceService の S3 ストレージ初期化コンテナへの CA バンドル注入 (利用条件: サービスアカウント、シークレットのアノテーション、または `inferenceservice-config` ConfigMap で定義された CA バンドル設定)
- LLMInferenceService の Kueue メタデータ伝播
- GCS と Azure への推論ログ保存対応
- KServe 依存関係向けのモジュール式セットアップスクリプト
- KServe v0.16.0 のインストールマニフェストと Helm チャート (利用条件: Helm の `--version v0.16.0`)
- 最小構成の LLMInferenceService CRD 用の新しい Helm チャート (利用条件: 最小構成の LLMInferenceService CRD のデプロイに必要な、バージョン `v0.16.0` の `llmisvc-crd-minimal` Helm チャートのインストール)

## 依存関係の更新 (8)

ほか8件（いずれもセキュリティへの言及なし）

- `* Upgrade Torch to v2.6.0 everywhere by @ashahba in https://github.com/kserve/kserve/pull/4450`
- `* upgrade vllm to v0.9.0 and Torch to v2.7.0 by @ashahba in https://github.com/kserve/kserve/pull/4501`
- `* upgrade vllm to v0.9.0 and Torch to v2.7.0 by @ashahba in https://github.com/kserve/kserve/pull/4501`
- `* Upgrade vLLM to v0.9.0.1 by @ashahba in https://github.com/kserve/kserve/pull/4507`
- `* Upgrade vllm to v0.9.2 by @AyushSawant18588 in https://github.com/kserve/kserve/pull/4586`
- `* Protobuf version bump by @karolpustelnik in https://github.com/kserve/kserve/pull/4634`
- `* Update the kserve-storage module to the latest version by @spolti in https://github.com/kserve/kserve/pull/4754`
- `* bump up istio version to 1.27.1 by @Jooho in https://github.com/kserve/kserve/pull/4775`

## その他の変更 (49)

- Jooho の `OWNERS` 承認者への追加
- テスト用 CRD ファイルを `test/crds/serving.kserve.io_all_crds.yaml` に名称変更
- HuggingFace の CPU 依存関係ロックで他の依存関係を更新しないように変更
- HuggingFace リクエストのトレースログ形式を修正
- コード生成スクリプトによる生成ツールバイナリの `CODEGEN_VERSION` 固定
- BentoML サンプルコードとマニフェストの更新
- EnvTest の CRD 検索時に `go.mod` からプロジェクトルートを特定
- OpenShift cert-manager operator ガイドのマニフェストから無効なフィールドを削除
- プルリクエストのカバレッジチェックと比較レポートの追加
- Python 依存関係のインストールを Poetry から `uv` に切り替え
- ジェネリクスを使ったコードの簡素化
- `WORKSPACE_DIR` に追従する HuggingFaceServer の `PYTHONPATH`
- 欠落していたコードカバレッジ設定ファイルの追加
- Downloader テストの接続先をローカル `httptest` サーバーの URL に変更
- テストにおける `pytest-asyncio` のセッションスコープマーカー漏れの修正
- `LLMInferenceService`で未指定のGIEプールセレクターとEPPサービスアカウントを補完
- e2e テストスクリプトの並列実行数情報の修正
- CI の高速化
- リポジトリ内の誤記の修正
- `LLMInferenceServiceConfig` のテンプレート検証の追加
- クイックスタートのリンク修正
- Markdown のみの変更時に CI ワークフローをスキップ
- README内リンクのKServeウェブサイトへの更新
- Snyk スキャンの SARIF ファイルアップロードの修正
- Graph テストイメージのタグのデフォルト値を `latest` に設定
- API コメント内の HTML エスケープによるウェブサイトドキュメントの構文エラー修正
- KEDA と OpenTelemetry の調整処理で API サーバーのデフォルト値を考慮
- KEDA pod-metric の `targetValue` で固定小数点6桁形式を使用しない変更
- Kafka サンプルのドキュメントパスの更新
- リポジトリの `0.16.0-rc0` リリース準備
- テストセットアップでのインメモリ `GatewayClass` の置き換え
- `LLMInferenceService` ワークロード向けのロール付与可能なサービスアカウント
- LLMInferenceService のルーター調整ステータス更新
- オートスケーリングテストの所要時間とクラッシュの修正
- LLMInferenceService の認証情報調整でのアカウント未検出エラーのログ解消
- LLMInferenceService コントローラーイメージに `manager` を同梱
- LLMInferenceService の Helm テンプレートの互換性向上
- Docker 公開ワークフローでのディスク容量のクリーンアップ
- `README` に Star History セクションを追加
- プロジェクトの README に CNCF を追加
- KServe `README` の概要・機能セクションの改訂
- Controller イメージのビルド・プッシュコマンドでの `KO_DOCKER_REPO` の使用
- `LLMInferenceService` のエンドツーエンドテストと GitHub Actions ワークフロー
- 0.16.0-rc1 リリースに向けた準備
- `kserve-resources` Helm チャートのモデルサイドカー UID 設定
- Python テストワークフローによる破損したキャッシュ済み仮想環境の再作成
- Raw-controller テストのリファクタリング
- `LLMInferenceService` のサンプル設定と README の更新
- KServe Storage の PyPI 公開ワークフローで使用する `KSERVE_STORAGE_PYPI_TOKEN`

---

整理した内容は AI が作成するため誤っている可能性があり、無保証で提供されます。
