AI Gateway が提供するもの
AI Gateway は、サービスが行うすべての LLM 呼び出しの単一エントリポイントです。各プロバイダーの SDK を個別に統合するのではなく、一度の統合で済みます。プロバイダー選択、リトライ、上限、構造化ログは Gateway 側で処理します。
機能
| 機能 | 提供されるもの |
|---|---|
| 統合 API | OpenAI、Anthropic、Google、オープンソースモデルに対する 1 つの REST インターフェース |
| モデルルーティング | モデルエイリアス、能力、コスト、可用性でルーティング |
| フォールバック | プロバイダー障害時にバックアップモデルへ自動切り替え |
| リトライ | 一時的なプロバイダー障害を設定可能なバックオフで再試行 |
| レート制限 | サービス、ユーザー、テナント、API キーごとのリクエスト上限 |
| 予算制限 | 機能、サービス、テナントごとの利用額上限 |
| リクエストログ | すべてのインタラクションを構造化利用メタデータとして捕捉 |
| プロバイダーキー管理 | プロバイダー認証情報を 1 箇所で集中管理 |
チームが Gateway を選ぶ理由
- 統合コードの削減。 アプリケーションロジックに触れずにプロバイダーを切り替えられます。
- 予測可能な支出。 レート制限と予算制限が、コストの暴走を未然に防ぎます。
- 高いレジリエンス。 フォールバックとリトライにより、プロバイダー劣化時も機能を維持します。
- 単一の情報源。 プロバイダーを問わず、すべてのインタラクションを同じ形式で捕捉します。
典型的なリクエスト
Gateway はリクエストを認証し、適切なルーティングと制限ポリシーを適用して、選択されたプロバイダーを呼び出します。構造化利用記録を記録し、レスポンスを返します — すべてが単一のエンドポイントの背後で行われます。
はじめ方
数分で最初のモデルをルーティングできます。ユースケースについては お問い合わせいただくか、開発者ドキュメント を参照して統合してください。