30秒でわかる概要
最終特徴量を固定したまま、Logistic Regression / LightGBM / HistGradientBoosting / CatBoostの4モデルを、同じ2021〜2024固定4-foldで比較しました。
予測指標では CatBoostがChampion になりました。
しかし、そのCatBoost予測に既存の事前固定20方策を変更せず適用しても、単勝・複勝とも収益性の昇格条件には届きませんでした。
今回確認できたのは、予測性能の改善と収益性の改善は別問題ということです。
4モデルを同条件で比較
使ったのは、最終的に固定した97特徴量相当の構成「96 shared + 1 fold-train-only」です。
主指標のweighted binary loglossは次の通りでした。
- CatBoost：0.22356944
- HistGradientBoosting：約0.22379808
- Logistic Regression：約0.22750923
結果を見る前に固定した選定ルールに従い、CatBoostをChampionとしてFreezeしました。
CatBoostなら回収率も上がるのか
前回検証した20個の市場情報なし選別ルールを変更せず、CatBoost予測へ再適用しました。
- 単勝上位候補：4年合算ROI 約77.06%
- 複勝上位候補：4年合算ROI 約84.94%
- プラス年：0年
つまり、CatBoostは予測モデルとして改善しましたが、今回の選別方法だけでは収益性のある最終戦略には届いていません。
「良い予測」と「儲かる買い方」は別
今回改善したのはProbability Modelです。
一方で、実際に利益を狙うには、AIの予測確率、市場価格、券種、買う条件、見送る条件を別に設計する必要があります。
予測精度が上がっただけで利益が自動的に出るわけではないことを、今回の検証で確認しました。
後付け調整はしていません
- 2025年・2026年の結果は未使用
- モデル比較後のhyperparameter変更なし
- CatBoost再評価で既存20方策の閾値変更なし
- 同じ2021〜2024年で追加探索なし
- Fresh Untouched Holdoutという主張はしない
- 収益性のある最終戦略が完成したという主張もしない
次工程
次はGate16 Race Day Reproductionです。
前日までに実際に使える入力だけから、FreezeしたCatBoost用の特徴量と予測を再現できるか確認します。
その後、Forward / Shadowで性能維持を確認し、市場価格比較とBet Constructionへ進みます。
Evidence Stage
Gate15M Final Frozen Model Family Validation：PASS / CATBOOST CHAMPION
Gate15S CatBoost Champion Reevaluation：PASS / NO RULE PROMOTED