Configure GPU for Cloud Run services
Google Cloud 最終確認
Cloud RunでGPUを割り当てるモデルホスティング構成と設定項目を支えます。
https://docs.cloud.google.com/run/docs/configuring/services/gpu
Chapter Sources
第3章 脚注・出典
推論の置き場所——モデルという新しい依存
紙面の脚注番号と安定した出典IDを対応させています。URLが移転した場合も、出典IDを維持したまま参照先と状態を更新します。
-
脚注 1
#Amazon SageMaker Serverless Inference
Amazon Web Services 最終確認
SageMaker Serverless Inferenceが推論エンドポイントを需要に応じて実行する方式を支えます。
https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html
Memory snapshots
Modal 最終確認
Modalがモデル重み等のメモリ状態をスナップショットから復元する方式を支えます。
-
脚注 2
#この脚注は、出典を伴わない著者の短い私見です。参照する外部資料はありません。
-
脚注 3
#Whisper (GitHub repository)
OpenAI 最終確認 確認対象 commit 5f86d1d86363843179951550570367b37c5d6f78
Whisperのコードとモデル重みがMITライセンスで公開され、複数サイズを手元の機材で実行できることを支えます。
-
脚注 4
#General Data Protection Regulation (GDPR), Article 4
European Union 最終確認
GDPR第4条(2)が「処理」を収集、記録、保存、参照、送信による開示、消去までの操作として定義することを支えます。
-
脚注 5
#Make Cost a Non-functional Requirement
Werner Vogels 最終確認
コストを後付けの請求確認でなく非機能要件として扱う設計原則を支えます。