開発ログ

予測モデルが悪いのか、買い方が悪いのか? 競馬AIの信号を再診断

30秒でわかる概要

単勝・複勝や単純な組み合わせ券で利益化できなかった原因が、予測モデルそのものにあるのか、買い方への変換にあるのかを切り分けました。

2021〜2024年の凍結済みOOS予測を、結果を見る前に固定した基準で再診断。Calibration、順位分離は基準を満たし、PLACEとWIDEでは予測信号が強いほど的中率とROIが改善する経済応答を確認しました。

3チャネル中2チャネルが事前固定基準内だったため、分類は**BET_CONSTRUCTION_CONTINUE**です。

ただし、これは利益戦略の完成や市場優位を意味しません。次はモデル再設計ではなく、新しい買い方仮説を事前宣言して検証します。

なぜ再診断したのか

これまで、予測Top1を使った単勝・複勝や、予測上位をそのまま組み合わせるワイド・馬連・3連複では、利益化に届きませんでした。

そこで次に必要だったのは、新しい買い方を次々試すことではありません。

先に確認すべきなのは、**凍結済みモデルの予測信号自体に、経済的な選別へ使える強弱が残っているか**でした。

もし信号自体が弱ければ、モデルを作り直す必要があります。

反対に、予測確率や順位には意味があり、信号の強弱に応じて買った結果も変わるなら、次はBet Construction、つまり予測を買い目へ変換する方法を研究する余地があります。

Calibrationは固定基準内

Calibration(予測確率と実際の発生率のズレを見る考え方)は、今回の固定基準を満たしました。

今回のCalibration ECEは0.0006779645で、事前固定した上限0.03以内でした。

また、予測確率が高い帯ほど実際の勝率も高くなるかを確認したtrend correlationは0.982187。こちらも固定下限0.90以上でした。

順位分離も維持

予測順位別の実現勝率は、

  • Rank1:25.53%
  • Rank2:17.62%
  • Rank3+:4.90%

でした。

事前に求めていた「Rank1 > Rank2 > Rank3+」の順序を満たしています。

この結果から、少なくとも今回の評価範囲では、予測順位そのものが崩れているとは判断しませんでした。

PLACEとWIDEで信号強度に沿った変化

次に、予測信号の強さを結果や払戻を見る前に固定した四分位で比較しました。

PLACEの的中率は弱い側40.92%から強い側68.66%へ上昇。

WIDEも12.54%から36.07%へ上昇しました。

この2チャネルではROIも改善方向となり、事前固定した経済応答基準を満たしています。

一方、WINは基準には届きませんでした。

そのため結果は、

  • WIN:基準未達
  • PLACE:基準内
  • WIDE:基準内

で、3チャネル中2チャネルが基準内です。

必要数も事前に2チャネルと固定していたため、最終分類はBET_CONSTRUCTION_CONTINUEとなりました。

今回確認できたこと、まだ分かっていないこと

今回確認できたのは、凍結済み予測に「信号の強さによって結果が変わる構造」が残っており、次のBet Construction研究へ進む根拠が得られたことです。

一方、まだ分かっていないこともあります。

  • 利益戦略が完成したとは確認できていません。
  • ROI100%超えは確認できていません。
  • 市場に対する優位性は確認できていません。
  • Fresh Untouched Forwardでの維持は未検証です。
  • WINは今回の固定基準の範囲外でした。

BET_CONSTRUCTION_CONTINUEは、利益戦略の承認ではありません。

後付け最適化を禁止

今回の診断では、

  • ROI閾値探索
  • 払戻を見た後の条件選択
  • quartile境界の後付け変更
  • モデル再学習
  • Calibration再学習
  • 特徴量変更

を行っていません。

PRE15、当日・最終オッズ、人気も判断入力に使っていません。

2025年・2026年のoutcomeも今回の診断結論には使っていません。

現在地と次工程

モデル再設計へ戻る判定にはなりませんでした。

次は、PLACE/WIDEで確認した信号応答を使って、**新しいBet Construction仮説を結果を見る前に事前宣言**します。

次の焦点は、予測そのものを作り直すことではなく、「この信号をどのような買い方へ変換するか」です。

Evidence Stage

TASK_COMPLETE_VALIDATED / EXP16 Model Economic Signal Resolution Reassessment

全体ロードマップを見る →

← 開発ログへ戻る

掲載内容は、その時点の開発・検証記録です。将来の利益や的中を保証するものではありません。