30秒でわかる概要
今回なにをした？
市場確率これまでの基準と3種類の候補モデルを同じ時系列Holdoutで比較した。さらに、同一レースが学習側とHoldout側にまたがらない分割を固定しました。
なぜ必要？
RF018で特徴量セットと比較基盤は整ったが、どのモデルファミリーが同じ条件でBaselineを上回るかは未評価だった。
何が変わった？
RANDOM_FOREST_V1 を次の確率校正・不確実性評価へ進める候補として選定した。
現在の状態
検証完了です。確認できていないことは、確認済みとして扱いません。
詳細
Evidence Record
今回確定したこと
定義した境界・成果
- 市場確率Baselineと3種類の候補モデルを同じ時系列Holdoutで比較した
- 同一レースが学習側とHoldout側にまたがらない分割を固定した
- Brier Scoreを主指標としてLog Loss・AUC・推論時間・複雑度・市場相対EVも記録した
- 最終採用ではなくRF020へ進める候補を選定した
許可されること / できること
- 複数モデルを同一条件で比較できる（
Model Family Comparison）：DEFINED - 性能・速度・複雑度・市場相対指標を記録できる（
Candidate Scorecard）：DEFINED
安全境界・防止策
禁止されること / 防止策
- ランダム行分割を防ぐ（
Random Split Leakage Prevention）：PASS - 結果情報を予測入力に使わない（
Outcome Feature Prevention）：PASS - RF019では最終採用を確定しない（
Premature Promotion Prevention）：PASS
実装・契約根拠
- 契約・実装識別子（
MODEL_FAMILY_COMPARISON_V1） - 契約・実装識別子（
MODEL_CANDIDATE_SCORECARD_V1）
検証結果
- race_date順で分割し同一レースの跨ぎがないことを確認（
Time-Ordered Holdout）：PASS - 時系列分割・Brier評価・Outcome特徴量禁止を確認（
Targeted Tests）：PASS - READ_ONLY実データでBaselineと3候補を比較（
Real Data Model Comparison）：PASS
未達・対象外
- 市場相対EVはPRE15複勝オッズ下限を使った記述的指標で実現利益を表さない
- 確率校正・不確実性評価はRF020で行う
- 最終モデル昇格はRF021まで確定しない
- DBはREAD_ONLYで評価し書き換えない
次工程
次はRF_DEV_020で RANDOM_FOREST_V1 を含む候補の確率校正と不確実性を評価する。
Evidence Stage
IMPLEMENTATION_COMPLETE_VALIDATED
内部管理情報
Task ID: RF_DEV_019_MODEL_FAMILY_CANDIDATE_EVALUATION_V1