『AI 推論サーバーレス』の3大選択肢
Modal/Replicate/Runpod は GPU サーバーレスの代表で、AI 推論アプリの土台になります。本記事では編集部の視点で、選び方を公開情報をもとに整理します。PyTorch 実践 もご参考に。
3サービスの特徴
(1) Modal：Python ネイティブ・SDK 充実。(2) Replicate：Cog コンテナ・API 公開。(3) Runpod：GPU 種類豊富・低価格。(4) HF Inference Endpoints：Hugging Face 統合。(5) AWS SageMaker：大手選択肢。Hugging Face 実践 もご参考に。
Modal の特徴
(1) Python デコレータで関数化。(2) cold start 1〜10秒(公開情報をもとに)。(3) scale to zero。(4) persistent volume。(5) ジョブスケジューラ統合。
Replicate の特徴
(1) モデルレジストリ。(2) HTTP API 自動生成。(3) Cog でコンテナ化。(4) 有名モデル公開済み：Stable Diffusion 等。(5) マーケットプレイスあり。
Runpod の特徴
(1) GPU 種類豊富：A100/H100/RTX。(2) 低価格：他社の半額の場合も。(3) Serverless + Pods 両対応。(4) Community vs Secure。(5) FlashBoot：高速起動。
料金比較
(1) A10G/秒：$0.0001〜0.0003(公開情報をもとに)。(2) A100/秒：$0.001〜0.003。(3) H100/秒：$0.003〜0.008。(4) ストレージ：別料金。(5) egress：データ転送費。
選択軸
(1) 開発体験：Modal。(2) モデル公開：Replicate。(3) 低価格：Runpod。(4) エンタープライズ：SageMaker/Vertex AI。(5) HF エコシステム：HF Inference。サーバーレス実践 もご参考に。
本番運用
(1) 監視：レイテンシ・コスト。(2) キャッシュ戦略：重複推論。(3) バッチ推論：効率化。(4) quantization：軽量化。(5) fallback：複数サービス使い分け。Observability 実践 もご参考に。
失敗しがちなパターン
(1) cold start で UX 劣化。(2) 料金予測ミス：1リクエスト10円超で炎上。(3) quota 制限に到達。(4) モデル巨大：起動遅延。(5) vendor lock-in。対策は、(1)warm pool、(2)budget alert、(3)上限交渉、(4)量子化、(5)抽象化レイヤー、です。