LiteLLMが『LLMマルチプロバイダ運用』を簡単にする
AI/SaaSスタートアップでLLM運用が本格化するにつれ、「OpenAIが障害」「Anthropicの料金が上がった」「Geminiの方が安い特定タスクがある」等の課題が頻発します。LiteLLMはOpenAI/Anthropic/Google/AWS Bedrock/Azure OpenAI等100+のLLMプロバイダを統一API（OpenAI互換）でアクセスできるOSS Gateway。Self-host可能でコスト追跡・フェイルオーバ・レート制限も統合管理できます。AI/SaaSの本番運用基盤の本命です。
採用すべき5つのシグナル
- 複数LLMプロバイダを併用している
- プロバイダ別のコスト追跡が複雑
- 本番でレート制限・障害対応が必要
- 各種SDKの差異吸収が運用負荷になっている
- 新規プロバイダ追加時のコード変更を避けたい
主要機能
- 統一API: OpenAI互換APIで100+プロバイダにアクセス
- Routing: モデル別・ユーザー別ルーティング
- Fallback: 障害時の自動フェイルオーバ
- Rate Limiting: ユーザー・APIキー別の制限
- Cost Tracking: 全プロバイダのコストを統合追跡
- Caching: Redis等への応答キャッシュ
- Observability: Datadog/Sentry/Langfuse統合
実装パターン
(1) Self-host Proxy: litellm --model gpt-4 --model claude-3-5-sonnet
(2) SDK統合: completion(model='claude-3-5-sonnet', messages=...)
(3) Config駆動: YAML設定でモデル・ルーティング定義
(4) Virtual Keys: チーム別の仮想APIキー発行
(5) Webhook統合: 使用量超過時の通知
OpenAI SDK直接利用との比較
OpenAI SDK直接: シンプル・標準・プロバイダ固定。
LiteLLM Proxy: マルチプロバイダ・Self-host・運用機能完備。
Vercel AI SDK: TypeScript First・React統合・フロント向き。
LangChain: 抽象化重い・複雑なAgentフロー向き。
使い分け: シンプルはOpenAI SDK・複雑運用はLiteLLM・TS統合はVercel AI SDK。
料金とSelf-host
- OSS版: 完全無料
- LiteLLM Cloud: 月$500〜・Enterprise SLA
- Self-host推奨: Docker一発で起動・Kubernetes対応
- 背後のLLMプロバイダ料金は別途
本番運用での3つの注意点
- キャッシュ設計: Redis等の整合性・TTL設計・PII配慮
- レート制限の階層: ユーザー・チーム・組織別の階層設計
- 監視: Langfuse/Datadog統合で全体可視化
30日プラン
- 1週目: LiteLLM Self-host・OpenAI互換APIで動作確認
- 2週目: 複数プロバイダ統合・フェイルオーバ設定
- 3週目: Virtual Keys・Rate Limiting・コスト追跡
- 4週目: Langfuse統合・本番運用
関連リンク
Vercel AI SDKは Vercel AI SDK深掘り、Mastraは Mastra深掘り、LLM選定は LLM選び方 を参照してください。AIエンジニアキャリアは 生成AIエンジニアロードマップ もどうぞ。