5分の定義
AI Gateway は、アプリケーションと LLM プロバイダー (OpenAI / Anthropic / Google / Mistral / DeepSeek) の間に位置するサービスです。アプリは OpenAI 互換の API で Gateway に話しかけます。残りは Gateway が処理します — 認証、ルーティング、PII スキャン、ログ、課金、そしてエンジニアリング時間を食うプロバイダー固有の癖。
LiteLLM を使ったことがあるなら、そのルーティング層を使ったことがあります。完全な AI Gateway は、周囲の制御を束ねます — ノートブックではなく本番でチームが必要なもの。
直接プロバイダー呼び出しの問題
ほとんどの AI 機能は api.openai.com への直接呼び出しで始まります。動く。ship する。そして現実が来ます:
- LLM を使うサービス毎に認証を再実装。 API キーが環境変数、設定ファイル、時にソース管理に置かれる。ローテーションは火消し作業。
- リトライ・バックオフ・ストリーミングをサービス毎に再実装。 プロバイダーの 429 はジッタ付き exponential backoff が必要。ストリーミング SSE は慎重なバッファリングが必須。どちらかを間違えると、機能は黙って劣化します。
- PII がプロバイダーのログに。 ユーザーがサポートチケットをチャットに貼る。チケットにはメール、電話番号、時に API キー。プロンプトはそのままプロバイダーへ。そのデータはプロバイダーの場所に住み着きます。
- コストは請求書が来るまで見えない。 フィーチャー毎の予算なし。テナント毎の帰属なし。月次 spend の 80% をどのフィーチャーが使ったか、経理が聞くまで分からない。
- プロバイダー切り替えは書き直し。 OpenAI の API 形状は Anthropic と違い、Google とも違う。モデル変更が全コールサイトに波及します。
これらは個別には難しくない。まとまると、プラットフォームチームのバックログになります。
AI Gateway が与えるもの
Gateway はこれら5つの問題を1つの統合に畳みます:
- 認証境界が1つ。 サービスは JWT か API キーを Gateway に提示。Gateway がプロバイダーキーを保持、ローテーション、どのサービスがどのモデルを呼べるかをスコープ。
- ルーティングポリシーが1つ。
"model": "auto"はリクエスト毎にフィーチャータグ・予算・PII ポリシーに基づいて解決。プロバイダー切り替えはコード変更でなく1回の config 変更。 - 呼び出し前 PII スキャン。 17カテゴリ — API キー、JWT、PEM 秘密鍵、メール、電話、クレジットカード、JP マイナンバー、米国 SSN、接続文字列 — リクエストがお客様の境界を出る前にスキャン。Critical な検出は呼び出しをブロック。
- 構造化ログ。 全やり取り — システムプロンプト、ユーザーメッセージ、モデル出力、推論コンテンツ — は暗号化された Vault に独自の保持期間付きで書かれる。利用レコードは Postgres に、
/v1/usageで照会可能。 - 予算と課金。 サービス毎・テナント毎の予算と閾値アクション。予約と決済付きクレジット元帳。モデル毎でなくフィーチャー毎に spend を分解するコストダッシュボード。
いつ必要か
LLM 呼び出し地点が1つの社内ツールなら、おそらく不要です。直接呼び出しで十分。
次のいずれかが成り立つなら、おそらく必要です:
- 複数サービス が LLM を呼ぶ。各サービスが認証とリトライを再発明するのは税。
- 複数テナント がプラットフォームを共有。テナント毎の利用と予算は任意ではない。
- コンプライアンスが重要。 SOC 2、ISO 27001、GDPR、UK-GDPR — 監査人は raw プロンプトがどこに住み、誰がアクセスしたかを聞きます。
- ユーザー向けフィーチャーを ship する。 返信提案、チャットアシスタント、コードレビュー — これらは顧客データに触れ、顧客データには PII がある。
- 書き直しなしでモデルを切り替えたい。 新モデルは毎週出る。デプロイなしで再ルーティングできる能力は競争優位性。
SchneeAI のアプローチ
SchneeAI は AI Gateway と周辺プラットフォーム — プロンプトレジストリ、コスト電卓、トークンカウンタ、コードレビュー統合 — を束ねます。全チャット補完は同じ8ホップを通ります: TLS 終端、JWT 検証、ルーティングポリシー、PII スキャン、LiteLLM プロバイダー呼び出し、Vault 書き込み、利用 + 監査レコード、レスポンス。完全な詳解は SchneeAI Gateway の中身 を。
Gateway は OpenAI 互換です。今日 api.openai.com/v1/chat/completions を呼ぶコードがあるなら、api.schneeai.com/v1/chat/completions へ向けるのは1行変更です。API Request Builder が curl / Python / TypeScript / Go のスニペットを生成します。
次のステップ
- アーキテクチャを読む: SchneeAI Gateway の中身 — 8ホップの詳細。
- リクエストビルダーを試す: API Request Builder — 4言語のコピペ可能スニペット。
- プロバイダーを比較する: LLM 価格ベンチマーク — 月次更新の価格表 (フロンティア / バリュー / 推論 / オープンソース)。
- ワークロードのコスト: コスト電卓 — 特定のプロンプトとトークン数をモデリング。