SchneeAI Gateway のフェイルオーバー設計
上流 LLM プロバイダーが障害を起こしたとき何が起きるか。3層 (出荷済みの same-provider retry、domain model のみで未統合の cross-provider failover、ロードマップ上の canary failover) で正直に答えます。何を抑制したか、その設計判断も。
続きを読む →ブログ
本番 AI 運用に関するノート。
PromptOps、ガバナンス、可観測性、そして AI 機能を安全に ship するために必要なこと。
ブログ
OpenAI / Anthropic SDK から SchneeAI への移行
OpenAI SDK の chat.completions.create もしくは Anthropic SDK の messages.create を backend から呼んでいるなら、SchneeAI への移行は意図的に小さく作ってあります。ベース URL 1つ、認証ヘッダ 1つ、そして任意のモデルエイリアス切り替え。言語別の実際の diff と、現場で起きる落とし穴を歩きます。
続きを読む →クレジット台帳: AI コストを float ではなく整数で
本番での LLM コスト追跡はプロバイダー請求書のパススルーより遥かに難しい。表現方法、2相の reserve-and-settle パターン、冪等性、そしてクレジット台帳が append-only である理由を詳解。
続きを読む →SchneeAI vs 自社構築の AI Gateway
make or buy はどのチームも最初に聞く質問です。自社構築の 17-31 エンジニア週が実際に何を買い、いつ構築が正解で、いつ SchneeAI が最初の請求前に安いかを率直に比較。
続きを読む →AI Gateway とは何か?
AI Gateway はアプリケーションと LLM プロバイダーの間に位置するサービス — 認証、ルーティング、PII スキャン、ログ、課金を担います。プラットフォームエンジニアリング1年分を背負わずに AI 機能を ship するチームのための実践的入門。
続きを読む →SchneeAI Gateway の中身: ルーティング・スキャン・暗号化・監査
チャット補完リクエストが SchneeAI Gateway を通る全ステップを詳解 — Bearer JWT から Vault 書き込み、監査レコードまで。各ホップの背後にある設計判断とともに。
続きを読む →推論モデル: いつ払い、いつ避けるか
o1 / o3-mini / DeepSeek R1 は回答の前に思考の連鎖を出力します。強力であり、同時に GPT-4o の6倍のコスト。推論モデルが費用に見合うとき、間違った選択のときを判断する実践的フレームワーク。
続きを読む →SchneeAI vs LiteLLM: プロキシ以上が必要なとき
LiteLLM は事実上の標準オープンソース LLM プロキシ。SchneeAI は同じ思想に立ちつつ、本番運用チームが最終的に必要とするレイヤー (課金・予算・ガバナンス・プロンプト運用・Vault) を追加。両者を選ぶチームのための実践的比較。
続きを読む →Vault の内部: raw プロンプトが棲む場所
Vault は SchneeAI が暗号化された raw プロンプトと出力を保存する場所 — 運用メタデータから分離され、独自の保持期間とアクセス制御を持つ。設計ウォークスルー。
続きを読む →本番での PII スキャン: 呼び出しを実際にブロックするもの
呼び出し前 PII スキャンは事後ログより難しい。カテゴリ、重大度、検証、スキャナが誤りのときどうするかのウォークスルー — SchneeAI の 17 カテゴリの背後にある設計。
続きを読む →PromptOps とは何か?
PromptOps とは、プロンプトをプロダクションの成果物として扱う規律 — バージョニング、可観測性、ガバナンス。AI 機能を ship するチームのための実践的入門。
続きを読む →