30秒でわかる概要
今回なにをした？
競馬AIが出す勝率をそのまま使わず、未補正・Platt Scaling・Isotonic Regressionの3方式で確率補正を比較しました。
なぜ必要？
モデルが出す「勝率」が実際の勝ちやすさとズレていると、市場オッズとの比較そのものが不安定になるためです。
何が変わった？
2025年・2026年の結果を使わずに時系列分離で比較し、最終方式としてPlatt Scalingを固定しました。
現在の状態
特徴量とLogistic Regressionのモデル本体に加えて、確率補正方式まで固定済みです。次はRace Day条件で同じ確率処理を再現できるかを検証します。
検証結果
具体例として、2021〜2024年のOuter評価は187,806行・4分割で実施しました。
最終pre-2025選定では次の結果でした。
- Platt Scaling：Brier 0.06229378 / LogLoss 0.22643517 / ECE 0.00204690
- 未補正：Brier 0.06262163 / LogLoss 0.22813837 / ECE 0.01108146
- Isotonic Regression：Brier 0.06231615 / LogLoss 0.22655294
事前に固定した比較ルールではPlatt Scalingが1位でした。未補正との比較では、Brier・LogLoss・ECEの3指標すべてが改善しています。
Outer評価で見えたこと
選択された方式は年によって同一ではなく、Isotonic RegressionとPlatt Scalingの両方が選ばれました。
このOuter結果自体を最終方式の選択には使っていません。最終方式は2025年前の別の選定窓で固定しています。
今回の意味
この工程は収益性を最適化するものではありません。市場比較へ進む前に、モデルが出す確率のズレを小さくするための工程です。
ROIや払戻結果はCalibration方式の選択に使っていません。
まだ言えないこと
現時点で、収益性についてはまだ言えません。
- ROI100%超えや収益性は未証明です。
- Bet ConstructionとEconomic Validationは未実施です。
- Race Day条件で同じ確率処理を再現できるかは次工程で確認します。
次工程
Gate16 Race Day Reproduction Testへ進みます。前日までに利用可能な情報だけで、固定済みの特徴量・モデル・Platt Scalingを再現できるか検証します。
Evidence Record
- Gate15 status：PASS
- Final calibration method：SIGMOID_PLATT
- Outer evaluation：4 folds / 187806 rows
- 2025/2026 outcome selection use：NO