プロンプトからプロダクションへ
ほとんどの AI 機能はノートブック内のプロンプトから始まります。何度かの反復でプロンプトは機能するようになり、機能が ship されます。そして現実がやってきます:
- モデルプロバイダーが挙動を変更。出力がドリフト。最後に正常だったプロンプトがどれか誰も把握していない。
- コンプライアンスレビューが現在の文言を誰が承認したかを問う。誰も答えられない。
- ユーザーが漏洩したシークレットを報告。プロンプトは 12 箇所にハードコードされている。
- 請求が倍増。チームメイトがプロンプトを「丁寧に」と書き換え、トークン数が 3 倍に。
PromptOps は、これらの結果を防ぐ実践の集合です。プロンプトに対して、コードやインフラに既に適用しているのと同じ規律 — バージョニング、レビュー、可観測性、制御されたロールアウト、ロールバック — を適用します。
5 つの柱
1. レジストリ
プロンプトは一箇所に存在。ソースファイルでも、環境変数でも、Slack のスレッドでもなく、プロンプトレジストリが組織が実行するすべてのプロンプトをメタデータ付きで保持 — オーナー、環境、モデル、スキーマ、現在のバージョン。
レジストリが真実のソース。コードはコンテンツではなく安定した識別子でプロンプトを参照。開発者が挙動を変えたいときは新しいバージョンを作成 — デプロイされたバイナリの文字列を編集するのではなく。
2. バージョニング
すべての変更が新しいバージョンを作成。古いバージョンは利用可能なまま。各バージョンは以下を携える:
- テンプレート本体
- 変数スキーマ（型付き、検証済み）
- 対象モデル（またはモデルティア）
- 作成者
- レビュー記録
これがロールバックを可能にする。カナリアが振るわなかったとき、デプロイをロールバックするのではなく — プロンプトを、再ビルドなしで、数秒でロールバック。
3. 可観測性
すべてのプロンプト呼び出しが以下と共にログに記録:
- どのバージョンがレンダリングされたか
- どの変数が代入されたか
- モデル、レイテンシ、トークンコスト
- 下流の結果（成功、安全フラグ、ユーザーフィードバック)
これがないと、プロンプト変更は手探りに。これがあれば、「金曜の午後の書き換えで要約品質が本当に向上したのか、それとも 3 つの例でマシに見えただけか」に答えられます。
4. 制御されたロールアウト
新しいプロンプトバージョンは初回デプロイで 100% のトラフィックには行きません。カナリアします — 1 日 5%、2 日間 25%、指標が維持されれば 100%。精度・レイテンシ・コストが後退すれば、カナリアは自動ロールバック。
これはコードデプロイで使うのと同じパターン — システムの中で最も頻繁に変わる部分に適用。
5. ガバナンス
プロンプトはビジネスロジックを携えます。トーン、挙動、安全姿勢、そして — 増える一方 — 規制 exposure をエンコード。ガバナンスとは:
- 昇格前のレビュー、指名された承認者付き
- 誰が何をいつなぜ変更したかの監査トレイル
- コンプライアンス期間にスコープされた、レンダリングされたプロンプトと出力の保持
- 境界を離れる前に機密コンテンツを検出してマスクするPII ハンドリング
ガバナンスはベロシティに対するブレーキではありません。ベロシティを持続可能にするものです。
ツールではなく規律である理由
データベースと CLI でプロンプトレジストリは構築できます。しかし PromptOps はそれを使う実践 — すべてのプロンプトはレジストリを経由し、すべての変更はレビューを経由し、すべてのロールアウトはカナリアする。規律は文化的であり、ツールがそれを強制します。
PromptOps をうまく採用するチームは通常 3 つの特徴を共有:
- プロンプトは所有されている、孤児ではない。すべてのプロンプトに指名されたオーナーとレビューパスがある。
- 変更は小さく頻繁、稀で巨大ではない。カナリアロールアウトがこれを安全にする。
- 意見ではなく指標が昇格を決定。カナリアは基準をクリアするかしないか。
SchneeAI の位置付け
SchneeAI は PromptOps をファーストクラスのサブシステムとして出荷:
- バージョニング、スキーマバリデーション、環境割り当て付きのプロンプトレジストリ
- 精度・レイテンシ・コスト指標に駆動されるカナリアロールアウト
- 構成可能なウィンドウ付きの暗号化 raw 保持用 Vault
- すべての読み取り・書き込み・昇格に対する監査
- コンテンツが保存または送信される前に 17 カテゴリにわたる PII スキャン
プラットフォームの残り — AI Gateway、Control Plane、Dataset Builder — は PromptOps をエンドツーエンドで有効にするために存在。Gateway はどのテナントにどのバージョンがレンダリングされるかを強制。Control Plane はプロンプト毎に予算とレートリミットを強制。Dataset Builder は保持されたインタラクションを、同意とマスキングのゲート付きで、トレーニングデータに変換。
月曜の朝にやること
今日 AI 機能を運用していて、まだ PromptOps がない場合:
- プロンプトを棚卸し。 サービスがモデルに送るすべてのプロンプトを見つける。予想より多く見つかるはず。
- 最もリスクの高いものを 1 つ選ぶ。 通常、手動編集がありバージョン履歴がないホットパスのもの。
- レジストリに移動。 バージョンフィールド付き YAML ファイルでも最初の一歩。
- 構造化ログを追加。 どのバージョンが使われ何が起きたか。
- カナリア指標を 1 つ選ぶ — 精度、コスト、レイテンシ、またはユーザーフィードバック — そして計装。
開始するためにプラットフォームは必要ではありません。規律が必要です。手動の PromptOps がボトルネックになったとき、プラットフォームが来ます。
PromptOps は SchneeAI が構築された中核のプリミティブのひとつ。プロダクト概要を読んで AI Gateway や Control Plane との組み合わせを確認するか、プロダクションのプロンプトについて会話を始めてください。