推論モデル: いつ払い、いつ避けるか

OpenAI が 2024 年後半に o1 をリリースしたとき、それは新しいカテゴリーとして立ち現れました — 推論してから答えるモデルです。Anthropic、Google、DeepSeek がそれぞれ独自の亜種で追従しました。ピッチは明確です — 難しい問題でより良い答えが得られる。価格タグも明確です — GPT-4o や Claude 3.5 Sonnet のようなフロンティアモデルの、出力トークン単価の概ね 3-6倍。

本稿は実践的な記事です。ワークロードが推論モデルを pin すべきか、auto にすべきか、それとも永遠にバリューティアに留めるべきかを判断する際、社内で使っているフレームワークです。ベンチマークではありません — ベンチマークはゲームしやすく、分野の動きが速すぎて最新を保てません。これは「何を問うべきか」のフレームワークです。

ここで言う「推論モデル」とは

推論モデルは、最終的な答えを生成する前に思考の連鎖 (CoT: chain-of-thought) トレースを出力します。OpenAI の o1 系では CoT は API 呼び出し元から隠されています。DeepSeek R1 は reasoning_content として公開します。どちらにせよ、モデルはトークンを — 時には大量のトークンを — 呼び出し元が決して見ない (そして注意も払わないが、支払いはする) 内部スクラッチパッド作業に費やします。

機械的な帰結: 推論モデルは1答あたりのトークンを多く出力します。GPT-4o-mini が50出力トークンで答える単純な質問が、o1 では500出力トークンになるかもしれません — うち450が思考の連鎖 (CoT)、50が最終答。トークン単価だけで o1 は mini の100倍 ($60 / 1M vs $0.60 / 1M output) です。加えて CoT でトークン数も増えるので、10倍のトークン × 100倍の単価 = 同じ質問で概ね1000倍のコスト。o1 で3セント、mini で3万分の1セント。

答えがより良いか、そして「より良い」ことがどれだけの価値か — それが判断のすべてです。

推論モデルがコストに見合うとき

次の 3点すべて が成り立つとき、推論モデルに手を伸ばします:

1. 問題が genuinely に難しい。 多段の数学、エッジケースのある非自明なコード生成、形式論理、複雑な依存解決。プロンプトが「このサポートチケットを要約して」なら、GPT-4o-mini が o1 と同じくらい上手に、1000分の1のコストでこなします。
2. 間違えた答えのコストが高い。 返信提案の誤りは小さな恥。コードレビューツールでのアーキテクチャ提案の誤りは本番インシデント。間違えたときのコストが高いほど、推論モデルの精度優位は価値を持ちます。
3. レイテンシが許容される。 推論モデルは1応答あたり数秒〜数十秒かかります。ユーザーが待っているインタラクティブフィーチャーには間違った選択です。

典型的な良さを活かせる例: プルリクエスト上の自動コードレビュー。PR は非同期 — 開発者はサブ秒の応答にブロックされません。見逃したバグや悪い提案はレビュー工数として高くつきます。推論トレースは「レビューアーがなぜこれを指摘したか?」として開発者に見せることができ、genuinely に有用です。SchneeAI 自身のコードレビュー統合はまさにこの目的で推論ティアのモデルを使っています。

もう一つ: 本番インシデントの根本原因分析。アラート、ログ、最近のデプロイをモデルに食わせ、仮説を立てさせます。レイテンシは問題でなく、正確さが問題です。

推論モデルが間違った選択のとき

次の いずれか が当てはまるなら避けます:

• タスクが高ボリュームで構造的に単純。 分類、ルーティング、要約、抽出、翻訳、PII 検出 — これらはバリューティアのモデル (GPT-4o-mini / Claude 3.5 Haiku / Gemini 1.5 Flash) がフロンティアモデルと数ポイント差で、10-40倍のコストでこなすタスクです。推論モデルの CoT は効きません — タスクがそれほど難しくない。
• ユーザー向けチャットをルーティングしている。 ユーザーは返信を12秒待ちません。600ms なら待ちます。推論モデルはバックグラウンド作業と非同期フィーチャー向けです。
• プロンプトの仕様が甘い。 曖昧なプロンプトで推論モデルを使うと、より精緻な誤答をより速く生みます。まず安いモデルでプロンプトを直す。プロンプトが明確になり、それでも品質上限にぶつかったときだけ推論モデルへエスカレートする。
• 飽和したタスクでベンチマークしている。 既存モデルが評価セットで既に 95%+ を出しているなら、推論モデルは 100% には届きません。6倍のコストで 96% になります。

判断フロー

実践では、ワークロードを次のようにルーティングします:

1. デフォルトは auto。 SchneeAI の Gateway ルーティングポリシーが、フィーチャータグ・予算・PII ポリシーに基づいてリクエスト毎に auto を解決します。ほとんどのワークロードはバリューティアに落ちます。これは正解 — 中央値のタスクは構造的に単純です。
2. タスクが中程度に複雑だがレイテンシ敏感なとき、フロンティアモデル (GPT-4o / Sonnet / Gemini 1.5 Pro) を pin。 IDE でのコード補完、サポートツールでの返信提案、複雑なナレッジベース上の RAG。
3. タスクが難しく・非同期で・誤答コストが高いとき、推論モデルを pin。 コードレビュー、設計分析、根本原因調査、形式検証。

(2) と (3) の境界が面白いところです。信頼できるシグナルは: タスクはモデルが作業過程を示すことの恩恵を受けるか? 出力の人間レビューアーにとって CoT トレースが有用なら — はい。出力が機械に消費され (JSON フィールド、分類ラベル、ルーティング決定) 、人間が読まないなら — いいえ。

コストモデリング

2026 年中盤の概算値 (最新表は LLM 価格ベンチマーク を):

身につけるべき2つのパターン:

• DeepSeek R1 がコスト面での番狂わせ。 $0.55 / $2.19 は フロンティア モデルより安く、推論ティアの性能を提供します。DeepSeek の癖を許容できる非同期推論ワークロードでは、R1 がしばしば正解。
• o1 はプレミアムプロダクト。 $60 / 1M output で、o1 は o1 と DeepSeek R1 の推論品質差が 30倍のコストに見合うワークロードに予約すべき。それは稀。

推論コンテンツと Vault

運用上の留意点: CoT トレースはコンテンツです。SchneeAI の Vault は、可視のプロンプトとレスポンスと同じように扱います — オブジェクトストレージに書かれる前にアプリケーション層で暗号化、独自の保持期間付き。Gateway の PII スキャナは reasoning_content にも走り、可視コンテンツと同じ17カテゴリ、同じポリシーアクションを適用します。

これが重要なのは、CoT が冗長になりがちだからです — 可視出力の 5-10倍の長さになることも — 冗長なテキストは PII が漏れやすい場所です。顧客問題のデバッグを頼まれた推論モデルは、問題を処理する過程で顧客のメール・電話・アカウント番号を隠れた推論トレースへ引用するかもしれません。そのトレースを PII スキャンせずにログ記録すると、より除去しにくい場所へデータを漏らすことになります。

本番で推論モデルを何らかのロギング付きで運用するなら、可視出力だけでなく推論コンテンツにも PII スキャンを走らせてください。設計は 本番での PII スキャン を参照。

実際にお勧めしているもの

ほとんどのチームは、次のデフォルトポリシーで始めるべきです:

• トラフィックの 70% → auto 経由でバリューティア (Gemini Flash / Haiku / GPT-4o-mini)
• トラフィックの 25% → 必要なインタラクティブフィーチャー向けフロンティアティア (Sonnet / GPT-4o / Gemini Pro)
• トラフィックの 5% → 推論ティア (デフォルト DeepSeek R1、R1 では足りない場合に o1 / o3-mini)

その後、コストダッシュボードと評価スコアを見て、データに基づいてワークロードをティア間で上下させます — 感覚ではなく。

コスト電卓 で特定のプロンプトとトークン数のトレードオフをモデリングできます。LLM 価格ベンチマーク は月次更新の価格表です。ぜひ。