Digital Appendix
『AIエージェントが見つけたサーバーレス』のデジタル付録
モデルホスティングとGPU実行
モデルホスティングとGPU実行
対象本文
第3章の推論API、モデルホスティング、セルフホストという三つの置き方を補います。本書がモデルホスティングと呼ぶ中間形は、製品側ではmanaged inference、inference endpoint、model servingなどの名で提供されます。GPU分割、managed endpoint、scale-to-zero、weight load、GPU memory checkpointを同じ機能として扱わないための現況表です。
収集方法
2026年7月10日に、NVIDIA MIG、主要cloudのmanaged inference・GPU container資料、NVIDIA cuda-checkpoint、CRIUgpu、Modal memory snapshotの一次資料を確認しました。速度・規模に関する提供者ベンチマークは、条件が違うため順位付けに使っていません。
現在の答え
まず提供形態を三層に分けます。
| 置き方 | 利用者が選ぶもの | 基盤が主に引き受けるもの | 確認する値札 |
|---|---|---|---|
| 推論API | model名、版、推論parameter、data policy | model serving、accelerator、batching、scale | token、image、audio等の入出力単位、cache、reservation、data transfer |
| モデルホスティング | model/container、runtime、instance/GPU class、scale policy | host、health、allocation、endpoint lifecycle | running/active時間、minimum capacity、request、storage、load時間 |
| GPU実行基盤 | container、driver/runtime条件、GPU、checkpoint | host pool、scheduler、起動と回収 | GPU秒、CPU/memory、idle保持、volume、network |
同じ方向は、acceleratorの在庫、割当、故障、scaleをAPIの向こうへ押し込み、利用者が要求またはjobを単位に買えるようにすることです。差は、model、container、GPU、runtime、batchingのどこから利用者責任になるかです。推論APIと「GPUを秒で借りる」サービスを一列の性能比較にしてはいけません。
GPU分割の代表例であるNVIDIA Multi-Instance GPU (MIG)は、対応GPUをGPU instanceへ空間分割し、computeとmemory系資源を割り当てます。最大区画数やprofileはGPU世代で異なります。MIGがあることは、cloud productがtenantへ同じ隔離保証や専有帯域を販売していることを自動では意味しません。提供者のVM/container境界、消去、scheduler、side-channel対策を別に読みます。
managedなscale-to-zeroにも複数の意味があります。SageMaker Serverless InferenceはCPU/memoryを選ぶserverless endpointであり、GPUを直接選ぶ実行モデルではありません。Cloud Run GPUのようにcontainer instanceへGPUを付ける実行モデル、Modalのようにfunction/container単位でGPUを割り当てる実行モデル、model APIとしてacceleratorを隠す実行モデルは別物です。
GPU memoryを含むcheckpointは実装が進んでいます。NVIDIA cuda-checkpointはCUDA processの停止・保存・復元を扱い、CRIUgpuはCRIUとGPU stateの統合を研究・実装します。Modal memory snapshot等は製品側の起動最適化として提供されます。ただし、driver、GPU世代、通信、複数process、外部connection、model serverの整合条件が残ります。checkpointがあることと、任意の推論環境を透明に移動できることは同義ではありません。
一次資料
- NVIDIA MIG User Guide: https://docs.nvidia.com/datacenter/tesla/mig-user-guide/latest/
- Cloud Run GPU: https://docs.cloud.google.com/run/docs/configuring/services/gpu
- SageMaker Serverless Inference: https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html
- NVIDIA cuda-checkpoint: https://github.com/NVIDIA/cuda-checkpoint
- CRIUgpu paper: https://arxiv.org/abs/2502.16631
- Modal memory snapshots: https://modal.com/docs/guide/memory-snapshot
- AWS Bedrock pricing: https://aws.amazon.com/bedrock/pricing/
- Google Vertex AI pricing: https://cloud.google.com/vertex-ai/generative-ai/pricing
- Azure AI Foundry pricing: https://azure.microsoft.com/en-us/pricing/details/ai-foundry/
- Cloudflare Workers AI pricing: https://developers.cloudflare.com/workers-ai/platform/pricing/
既知の未知
- model、GPU type、region、minimum capacity、scale-to-zero、snapshot、単価は変更が非常に速い領域です。
- GPU分割方式とtenant isolationの保証は、各managed serviceで公開されない場合があります。
- checkpointの互換範囲と失敗時の整合性はworkloadごとの検証が必要です。
- 提供者が示す起動時間・scale台数・性能倍率は、共通条件の第三者benchmarkではありません。
変更履歴
- 0.10.0 (2026-07-31): 本文の三分法ラベル改定に合わせ、「マネージド推論」を「モデルホスティング」へ同期。製品側の呼称(managed inference、inference endpoint、model serving)との対応を対象本文へ明記。
- 0.9.0 (2026-07-10): GPU分割、三つの置き方、scale-to-zero、checkpointを別の実行モデルへ分けた初版ドラフトを作成。