Langfuse が『LLMOps の Datadog』として地位確立
LangfuseはLLMアプリケーションの観測・評価・改善を統合するOSSプラットフォームで、AI時代のLLMOpsスタンダードとして急速に採用が拡大しています。トレース（推論履歴）・プロンプト管理・評価データセット・コスト追跡・A/Bテスト等をワンストップで提供し、Self-host可能。OpenAI Function Calling・Anthropic Tool Use・LangChain・LlamaIndex等の主要フレームワークと統合済みです。
採用すべき5つのシグナル
- LLMアプリが本番運用フェーズに入った
- プロンプトの A/B テスト・改善履歴管理が必要
- LLMコストの可視化・最適化が運用課題
- 評価データセットでLLM出力品質を継続検証したい
- OSSでLLMOpsを構築したい
主要機能
- Tracing: LLM推論の完全な実行履歴記録
- Prompts: バージョン管理・A/Bテスト
- Datasets: 評価データセット管理
- Evaluations: 自動評価・LLM-as-a-Judge
- Sessions: ユーザーセッション単位の分析
- Cost Tracking: モデル別・ユーザー別コスト
- Playground: プロンプト編集UI
Helicone/Langsmith/Langfuse比較
Helicone: OSS・トレース特化・LangChain互換・シンプル。
LangSmith: LangChain公式・SaaS・有料・LangChainネイティブ。
Langfuse: OSS・統合機能フル装備・Self-host可能・SDK豊富。
使い分け: 機能フル・Self-host重視はLangfuse・LangChain中心はLangSmith。
実装パターン
(1) SDK統合: from langfuse import Langfuse; lf = Langfuse()
(2) トレース: OpenAI/Anthropic呼び出しに@observe()デコレータ
(3) プロンプト: Langfuse上でプロンプト編集・バージョン管理
(4) 評価: データセット作成・自動評価設定
(5) ダッシュボード: トレース・コスト・品質を可視化
料金感（実務目安）
- OSS Self-host: 完全無料・PostgreSQL基盤
- Langfuse Cloud Hobby: 月50,000 events無料
- Langfuse Cloud Pro: $59/月で150,000 events
- Enterprise: 個別契約
本番採用の判断基準
- 本番実績: Khan Academy・Twilio等で本番運用
- Self-host: 機密データ・規制業界で重要
- SDK対応: Python・TypeScript・LangChain・LlamaIndex統合
- パフォーマンス: 非同期送信でアプリへの影響最小
- 移行コスト: 既存LangChain統合からの段階移行容易
実装で詰まる3つの落とし穴
- 非同期送信の設計: トレース送信がアプリ遅延要因にならない設定
- PII処理: ユーザー個人情報のマスキング
- 大量データ: トレース容量爆発・retention設計
30日プラン
- 1週目: Langfuse Self-host or Cloud・SDK統合
- 2週目: プロンプト管理・A/Bテスト
- 3週目: 評価データセット・自動評価
- 4週目: コスト追跡・ダッシュボード・本番運用
関連リンク
Vercel AI SDKは Vercel AI SDK深掘り、LiteLLMは LiteLLM深掘り、生成AIエンジニアは 生成AIエンジニアロードマップ を参照してください。Mastraは Mastra深掘り もどうぞ。