最後まで残った競馬AIが最終試験で大きく崩れた
Developmentで残したモデルを、条件を変えずに最終試験へ持っていった結果、採用を見送る判断になりました。
最終試験で選ばれたベットは73件、差額は-6510.0円です。
この結果を見ても、候補・特徴量・閾値の選び直しはしていません。
最終試験へのアクセスは1回、再実行は0回、結果を見たあとの再選択も0回です。
なぜ条件を変えないのか
最終試験を見たあとで条件を変えると、そのデータは最終試験ではなく調整用データになります。
そこで今回は、失敗したモデルを救うのではなく、研究ルール自体を変更しました。
次に変えること
今回使った最終試験データは、今後は既知ベンチマークとして扱います。
次の研究では、同じモデルの微調整ではなく、構造的に異なるモデル族を比較します。
評価の中心は、単発の数字ではなく、複数年で安定してROI100を超えられるかです。
最終的な外部評価には、新しい未使用の未来データを残します。
現在の状態
- Final Holdout bet count: 73
- Final Holdout profit: -6510.0円
- Final Holdout access count: 1
- Final Holdout reexecution count: 0
- Post-holdout reselection count: 0
今回の結果から原因を断定することはしません。
確認できたのは、Developmentで最後まで残ったモデルが未知期間の最終試験を通過できなかったこと、そしてその結果を見ても条件を選び直さなかったことです。
次は、モデルの作り方そのものを変えて比較します。