30秒でわかる今回の検証
今回試したのは、3つの特徴量を組み合わせ、購入基準を変えながら1320通りの買い方を比較する探索です。
Final Holdoutは使わず、Development期間だけで評価しました。
Development全体では165方針がROI基準以上。最良方針はROI 155.3153153153153、222ベットでした。
しかし、過去側で方針を選び次の期間で評価するWalk-Forwardでは、3 Fold・458ベットで全体ROI 101.55021834061135。Worst Foldは0.0でした。
そのためChampion固定は見送り、Development探索を継続します。
何を試したのか
前段で有望だった特徴量の中から3つを組み合わせ、「どの条件がそろったときだけ買うか」という方針を作りました。
たとえば、前走の上がり差、前走の上がり順位、距離適性のような情報を組み合わせます。
さらに購入基準も変え、合計1320方針をDevelopment期間だけで比較しました。
なぜ全体ROIだけで採用しないのか
全期間をまとめた結果が良くても、時間を進めたときに同じ傾向が残るとは限りません。
そこで、過去の期間だけで方針を選び、その次の期間で評価するWalk-Forwardを実施しました。
全体ではROI基準を超えましたが、Worst Foldは0.0でした。
つまり、平均すると良く見えても、特定の期間で壊れる挙動が残っています。
今回の判断
Champion固定は見送りました。
Final Holdoutも未使用です。
今回確認できたのは、単に高い数字を探すだけではなく、候補が時間を進めても残るかまで確認する探索へ進んだことです。
次はDevelopment期間だけで、より時系列安定性の高い方針を探します。