Shadow・Calibration・Evaluation・実資金系資産の中核接続を監査する

30秒でわかる概要

今回なにをした？

予測後の検証経路として、Shadow判断、Calibration、Canonical Evaluation、Bankroll Simulationの実装と直接接続を監査しました。

なぜ必要？

予測モデルが存在しても、予測を本番相当の条件で記録し、確率のズレを評価し、結果評価と経済評価まで一貫して追えなければ、改善や運用判断の根拠が途切れるためです。

何が分かった？

14項目をすべて判定し、VERIFIED 11件、FINDING 3件、未解決0件でした。

主要な部品は存在し、Canonical EvaluationからBankroll Simulationへの接続も確認できました。

一方で、次の3つの直接接続は確認できませんでした。

Shadow → Calibration
Shadow → Canonical Evaluation
Calibration → Canonical Evaluation

現在の状態

予測後の検証に必要な主要資産は揃っていますが、ShadowとCalibrationを正式Evaluationへ流し込む経路はまだ完全には閉じていません。

実資金実行は引き続き NOT_AUTHORIZED で、今回確認したBankroll処理はSimulationです。

詳細

Shadow

Shadow判断では、モデル確率と市場確率を比較し、SHADOW_SELECT / SHADOW_HOLD を判定できます。

判断Evidenceには時刻、Model Version、Contract Versionを保持できます。

Calibration

Calibration経路では、Brier Score、Log Loss、ECE、MCEを評価できます。

Platt法とIsotonicによる補正、および時間順を意識したHoldout条件も実装されています。

Canonical Evaluation

Canonical Evaluationでは、判断、結果確定、Backtest / Unseen評価、経済評価をまとめて扱えます。

Value判断も正式な状態として扱われています。

Bankroll / Economic Simulation

Canonical EvaluationからBankroll・経済シミュレーションへの直接接続は確認できました。

Stake、Return、Net Profit、Maximum DrawdownなどをSimulationとして評価できます。

今回の3つのFINDING

1. Shadow → Calibration

Shadow判断結果を正式Calibrationへ直接渡す接続は確認できませんでした。

2. Shadow → Canonical Evaluation

Shadow RunnerからCanonical Evaluationを直接実行する接続は確認できませんでした。

3. Calibration → Canonical Evaluation

Calibrationの正式な選択・評価処理をCanonical Evaluationが直接利用する接続は確認できませんでした。

安全境界

今回の監査は実資金実行を有効化するものではありません。

real_money_execution = NOT_AUTHORIZED
production_mutation = NO
Database Write = NO

Bankroll・経済評価はSimulationとして扱われます。

検証結果

監査対象：14件
判定済み：14件
VERIFIED：11件
FINDING：3件
未解決：0件
Task Substance Gate：PASS

この結果が意味すること

不足箇所を「予測後の検証が弱い」という抽象的な問題ではなく、3つの直接接続として特定できました。

一方、Canonical Evaluation → Bankroll Simulationは接続済みです。

そのため次に判断すべき対象は、ShadowとCalibrationをCanonical Evaluationへどう統合するかに絞れます。

未達・対象外

この監査は、モデル精度・収益性・実資金運用の成功を証明するものではありません。

Evidenceに存在しない性能・収益・精度は主張しません。

次工程

次は、既存資産を **残す / 再利用する / 直す / 置き換える / 退役する** に分類します。

ここまでのPrediction Lifecycle監査で確認した実装と接続不足を、今後の正式構成へ反映するための判断工程です。