30秒まとめ
Development期間だけで、上位12特徴量の2特徴量組み合わせと6段階の購入閾値を使い、396方針を評価しました。
ROI基準以上の方針は11。
Development全体では最良方針が基準を超えました。
しかし、時系列のWalk-ForwardではROI45.0%、評価ベット数10。
そのためChampionには固定せず、Final Holdoutも未開封のままです。
全期間の最良値でも採用しない
今回の最良方針は、
prev_last3f_diff + prev_last3f_score
Development全体では最良方針が基準を超えました。
さらに、396方針のうち11方針がROI基準以上です。
数字だけを見ると、かなり良さそうに見えます。
ただし、全期間をまとめた結果だけで選ぶと、時系列で崩れる方針を残す可能性があります。
時系列で見直す
過去の期間だけで方針を選び、次の期間で評価するWalk-Forwardでは、ROI45.0%でした。
評価ベット数は10です。
サンプル数が少ないため、この45.0%だけで性能を断定することはできません。
一方で、Development全体の最良値だけを根拠にChampionへ固定するには弱い結果です。
今回の判断
Championは固定しません。
ROI基準以上の方針が11あっても、それだけではFinal Holdoutへ進む条件にしませんでした。
Final Holdoutは、今回も選択・評価に使っていません。
今の競馬AIにできること
一番高い数字をそのまま採用するのではなく、時系列で残るかを確認してから候補を絞れます。
今回はDevelopment全体の最良値を、そのまま採用しない判断になりました。
次にやること
次はDevelopment期間だけで、より豊かな特徴量の組み合わせと時系列評価へ進みます。
Final Holdoutを開くのは、Development側でChampionを固定できてからです。