30秒でわかる概要
今回なにをした?
PRE15時点で利用可能なFeature Set V1を定義した。さらに、各Featureの由来・時点・変換履歴をFeature Provenance V1へ固定した。
なぜ必要?
該当する内部開発工程で市場確率Baselineは確定したが、追加Featureをどの根拠で採用し、どの条件で比較するかが未定義だった。
何が変わった?
PRE15市場確率をBaselineとして固定したまま、PRE15複勝オッズレンジを独立候補としてProvenance付きで管理し、共通Coverage・Brier Score・欠損差・変換独立性を比較できる枠組みを定義した。
現在の状態
検証完了です。確認できていないことは、確認済みとして扱いません。
詳細
Evidence Record
今回確定したこと
定義した境界・成果
- PRE15時点で利用可能なFeature Set V1を定義した
- 各Featureの由来・時点・変換履歴をFeature Provenance V1へ固定した
- 複勝オッズレンジがmarket_probabilityの単純なlower/upper/mid変換ではないことを実データで確認した
- 後続TaskでBaselineとの差を公平に比較できるAblation Framework V1を定義した
許可されること / できること
- Featureごとに由来・時点・変換を追跡できる(
Feature Provenance):DEFINED - Baselineと候補Featureの比較条件を固定できる(
Ablation Framework):DEFINED
安全境界・防止策
禁止されること / 防止策
- 結果情報を予測Featureから除外する(
Outcome Leakage Prevention):PASS - 1/oddsをfair probabilityと誤認しない(
Raw Odds Probability Misinterpretation Prevention):PASS - RF018では候補Featureの価値を断定せずRF019へ評価を送る(
Premature Feature Value Claim Prevention):PASS
実装・契約根拠
- 契約・実装識別子(
FEATURE_SET_V1) - 契約・実装識別子(
FEATURE_PROVENANCE_V1) - 契約・実装識別子(
ABLATION_FRAMEWORK_V1)
検証結果
- Leakage禁止、Feature役割、Ablation候補判定を専用テストで確認(
Feature/Ablation Contract Tests):PASS - PRE15複勝オッズレンジと市場確率の共通CoverageをREAD_ONLY実データで確認(
Real Data Coverage):PASS - market_probabilityがraw implied lower/upper/midの単純一致ではないことを確認(
Transformation Independence):PASS
未達・対象外
- RF018では新しいモデルファミリーの学習を実行しない
- raw implied rateはfair probabilityとして使用しない
- Feature追加による予測改善の結論はRF019以降で判定する
- DBはREAD_ONLYで評価し書き換えない
次工程
次はRF_DEV_019で候補モデルファミリーを比較し、このAblation Frameworkを使ってFeature追加がBaselineを本当に改善するか検証する。
Evidence Stage
IMPLEMENTATION_COMPLETE_VALIDATED
内部管理情報
Task ID: RF_DEV_018_FEATURE_SET_V1_AND_ABLATION_FRAMEWORK_V1