30秒でわかる概要
今回なにをした？
最終特徴量を固定したまま、Logistic Regression / LightGBM / HistGradientBoosting / CatBoostの4モデルを、同じ2021〜2024固定4-foldで比較しました。
なぜ必要？
予測モデルを変えることで予測指標に差が出るのかを、特徴量や評価条件を動かさずに確認するためです。
何が変わった？
事前に固定した選定ルールではCatBoostがChampionになりました。一方、そのCatBoost予測へ既存の事前固定20方策を変更せず適用しても、単勝・複勝とも収益性の昇格条件には届きませんでした。
現在の状態
予測モデルはCatBoostへ更新しましたが、収益性のある最終戦略はまだ完成していません。予測指標でのモデル選定と収益性の判定は別問題として扱います。
詳細
今回確定したこと
使ったのは、最終的に固定した「96 shared + 1 fold-train-only」の構成です。
比較対象はLogistic Regression、LightGBM、HistGradientBoosting、CatBoostの4モデルです。
検証結果
主指標のweighted binary loglossは次の通りでした。
- CatBoost：0.22356944
- HistGradientBoosting：約0.22379808
- Logistic Regression：約0.22750923
事前に固定した選定ルールに従い、CatBoostをChampionとしてFreezeしました。
続いて、前回の20個の市場情報なし選別ルールを変更せず、CatBoost予測へ再適用しました。
具体例として、単勝上位候補は4年合算ROI 約77.06%、複勝上位候補は約84.94%でした。
- 単勝上位候補：4年合算ROI 約77.06%
- 複勝上位候補：4年合算ROI 約84.94%
- プラス年：0年
CatBoostは事前固定した予測指標の選定ルールでChampionになりましたが、今回の選別方法だけでは収益性のある最終戦略には届いていません。
安全境界・防止策
- 2025年・2026年の結果は使用していません。
- モデル比較後のhyperparameter変更はしていません。
- CatBoost再評価で既存20方策の閾値は変更していません。
- 同じ2021〜2024年を見て追加の閾値探索はしていません。
未達・対象外
- 2021〜2024年はFresh Untouched Holdoutではありません。
- CatBoostがChampionであることは将来の利益を保証しません。
- 回収率100%超えの持続可能な戦略はまだ確立していません。
- 市場価格との比較は別工程です。
次工程
次はRace Day Reproductionです。前日までに実際に使える入力だけから、FreezeしたCatBoost用の特徴量と予測を再現できるか確認します。
その後、Forward / Shadowで性能維持を確認し、市場価格比較とBet Constructionへ進みます。
Evidence Stage
- Gate15M Final Frozen Model Family Validation：PASS / CATBOOST CHAMPION
- Gate15S CatBoost Champion Reevaluation：PASS / NO RULE PROMOTED
内部管理情報
- 2025 outcome use：NO
- 2026 outcome use：NO
- database access：NONE
- database write：NO