30秒でわかる今回の結果
選択済みの特徴量群から4つを組み合わせ、購入条件も変えながら、Development期間だけで2970方針を比較しました。
Walk-Forward全体のROIは220.000000でしたが、評価は35ベット。Worst Foldは0.0、Median Foldも0.0でした。
そのためChampionには固定せず、Final Holdoutも開いていません。
今回重視したのは、最高ROIではなく「時間を進めても残るか」です。
何を試したのか
前回は3特徴量の組み合わせを中心に探索しました。
今回はそこから探索範囲を広げ、前段で使っていた選択済みの特徴量群から4つを組み合わせ、購入条件も変えて2970方針を作りました。
狙いは、Development全体で高い数字を出す組み合わせを探すことではありません。
過去の期間だけで選んだ方針が、その次の期間でも残るかをWalk-Forwardで確かめることです。
Development全体ではどうだったか
最も高かった方針はROI 200.94059405940592、202ベットでした。
Development全体だけを見ると、強い候補に見えます。
しかし、この数字だけでは採用しません。
時系列で見るとどうだったか
Walk-Forwardは3 Foldで実施しました。
合計35ベットで、集計ROIは220.000000。
一方でWorst Foldは0.0、Median Foldも0.0でした。
つまり、全体の数字は高くても、複数の期間にまたがって安定して残ったとは言えません。
また35ベットと評価量も少なく、集計値だけを根拠にChampionへ固定するには弱い状態です。
なぜ採用しなかったのか
今回の判断では、次の3点を重視しました。
- ベット数が十分か
- Worst Foldで崩れていないか
- Median Foldでも残っているか
今回はこの条件を満たしていません。
そのため、集計ROIが高くてもChampionには固定しませんでした。
今回の前進
今回の前進は、220.000000という数字が出たことではありません。
高い数字が出たあとに、その数字を期間別・ベット数別に分解し、採用に値するかを判断できるようになったことです。
今後は「全体で高い」だけでは候補に残しません。
次に試すこと
次はDevelopment期間だけで、各Foldの最低ベット数と最低ROIを探索条件に加えます。
つまり、探索の段階から「期間ごとに一定数買えて、Worst Foldでも大きく崩れない方針」を優先します。
Final Holdoutは、その条件を満たす候補が残るまで開きません。
制約
今回の探索は、選択済みの選択済みの特徴量群、4特徴量の組み合わせ、固定された購入条件の範囲に限られます。
またWalk-Forwardの評価は35ベットと少なく、この集計値だけで将来性能を断定できる状態ではありません。