今回の変更を短くまとめると
Candidate 003では、購入判断を前日23時までの情報で固定する設計へ切り替えました。
今回レースの確定オッズは、買う・買わないを決める入力には使いません。
また、馬の能力をみる確率モデルと、市場がどのような価格を付けそうかを見る補助モデルを分けて扱う構成にしました。
なぜ変えたのか
過去データを見たあとで条件を少しずつ変えると、数字が良く見えても、それが本当にレース前に見つけられた優位性なのか分かりにくくなります。
そこで今回は、先に判断条件を固定し、その後の新しいレースで検証する流れへ変更しました。
前日23時で判断を固定する
購入判断に使う情報は、前日23時までに利用できるものに限定します。
そのためのPoint-in-Time管理を用意し、今回レースの確定オッズを判断入力として使わないことも明示しました。
確定オッズは、レース後の確認材料として扱います。
能力と市場の値付けを分ける
今回の設計では、能力確率を推定するOOSモデルと、最終オッズを補助的に予測するモデルを別の役割として扱います。
馬の能力と市場評価を最初から同じものとして扱わず、それぞれの根拠を追えるようにしました。
確認したこと
この工程では11件を確認し、11件すべてを判定しました。未解決はありません。
確認対象には、前日情報の管理、確定オッズを判断入力に使わないこと、能力確率モデル、最終オッズ補助予測モデルが含まれます。
まだ経済結果は結論しない
この段階で確認したのは、前日時点で判断を固定できる設計と、その根拠を後続工程でも追える状態です。
Evidenceにない性能や精度、経済結果は主張しません。
次にやること
次は、前日23時で固定した購入方針を変えずに、新しい未使用Holdoutを前向きに蓄積します。
過去の結果を見ながら条件を調整するのではなく、先に判断を固定し、その判断が新しいレースでも通用するかを確認します。