開発ログ

特徴量セットとアブレーション検証基盤を作る

30秒でわかる概要

今回なにをした?

PRE15時点で利用可能なFeature Set V1を定義した。さらに、各Featureの由来・時点・変換履歴をFeature Provenance V1へ固定した。

なぜ必要?

該当する内部開発工程で市場確率Baselineは確定したが、追加Featureをどの根拠で採用し、どの条件で比較するかが未定義だった。

何が変わった?

PRE15市場確率をBaselineとして固定したまま、PRE15複勝オッズレンジを独立候補としてProvenance付きで管理し、共通Coverage・Brier Score・欠損差・変換独立性を比較できる枠組みを定義した。

現在の状態

検証完了です。確認できていないことは、確認済みとして扱いません。

詳細

Evidence Record

今回確定したこと

定義した境界・成果

  • PRE15時点で利用可能なFeature Set V1を定義した
  • 各Featureの由来・時点・変換履歴をFeature Provenance V1へ固定した
  • 複勝オッズレンジがmarket_probabilityの単純なlower/upper/mid変換ではないことを実データで確認した
  • 後続TaskでBaselineとの差を公平に比較できるAblation Framework V1を定義した

許可されること / できること

  • Featureごとに由来・時点・変換を追跡できる(Feature Provenance):DEFINED
  • Baselineと候補Featureの比較条件を固定できる(Ablation Framework):DEFINED

安全境界・防止策

禁止されること / 防止策

  • 結果情報を予測Featureから除外する(Outcome Leakage Prevention):PASS
  • 1/oddsをfair probabilityと誤認しない(Raw Odds Probability Misinterpretation Prevention):PASS
  • RF018では候補Featureの価値を断定せずRF019へ評価を送る(Premature Feature Value Claim Prevention):PASS

実装・契約根拠

  • 契約・実装識別子(FEATURE_SET_V1)
  • 契約・実装識別子(FEATURE_PROVENANCE_V1)
  • 契約・実装識別子(ABLATION_FRAMEWORK_V1)

検証結果

  • Leakage禁止、Feature役割、Ablation候補判定を専用テストで確認(Feature/Ablation Contract Tests):PASS
  • PRE15複勝オッズレンジと市場確率の共通CoverageをREAD_ONLY実データで確認(Real Data Coverage):PASS
  • market_probabilityがraw implied lower/upper/midの単純一致ではないことを確認(Transformation Independence):PASS

未達・対象外

  • RF018では新しいモデルファミリーの学習を実行しない
  • raw implied rateはfair probabilityとして使用しない
  • Feature追加による予測改善の結論はRF019以降で判定する
  • DBはREAD_ONLYで評価し書き換えない

次工程

次はRF_DEV_019で候補モデルファミリーを比較し、このAblation Frameworkを使ってFeature追加がBaselineを本当に改善するか検証する。

Evidence Stage

IMPLEMENTATION_COMPLETE_VALIDATED

内部管理情報

Task ID: RF_DEV_018_FEATURE_SET_V1_AND_ABLATION_FRAMEWORK_V1

全体ロードマップを見る →

← 開発ログへ戻る

掲載内容は、その時点の開発・検証記録です。将来の利益や的中を保証するものではありません。