Final Holdoutを1回だけ開いた結果、固定済みChampionはREJECTになりました。
Final Holdoutでは73ベット、4的中、差額は-6510円でした。
今回重要なのは、結果を見てから候補・特徴量・閾値を選び直していないことです。Final Holdoutのアクセスは1回だけで、このChampionに対する最終評価として消費済みです。
この結果を受けても、同じFinal Holdoutを使った再選定は行いません。次は、今回の結果を過去の記録として固定し、さらに先の新しいデータだけで評価できるForward Onlyの研究へ進みます。
今回確認した内容:
- ベット数: 73
- 的中数: 4
- 差額: -6510円
- Final Holdoutアクセス回数: 1
候補の再選定、特徴量の再選定、閾値の再選定は行いません。今回のREJECTは固定し、次の評価は新しい未使用データだけで行います。