30秒で分かる今回の変更
競馬AIでは、結果を見たあとで条件を変えると、検証の意味が崩れます。
そこで今回は、前日23時までに作った予測と購入判断を固定し、レース後に分かる情報を別経路で結び付ける仕組みを整えました。
さらに次の工程からは、既存データの中に「最後まで触らない検証期間」を先に固定し、それより前のデータだけで候補を作る研究方式へ切り替えます。
何を固定したのか
前日23時時点の予測と判断を、後から改変できない形で残します。
レース後に分かる結果は予測側へ混ぜず、別の情報として追加します。
また、予測内容にはハッシュを持たせ、あとから内容が変わった場合に検知できるようにしました。
なぜ必要なのか
過去データを見ながら条件を変え続けると、「その条件を本当に事前に決められたのか」が分からなくなります。
今回の仕組みは、前日時点の判断と事後結果を分離し、判断の改変を検知できる状態を作るためのものです。
確認したこと
この工程では、前日判断の固定、結果情報の分離、改変検知などを含む10件を確認し、すべて判定済み、未解決はありません。
次の研究方式
当初は、新しいレースを待ちながら未使用データを蓄積する予定でした。
次からは、既存履歴の中に完全封印する検証期間を先に設定し、それ以前を開発用として使います。
封印期間は候補作りの途中では開かず、最終候補を固定してから一度だけ評価します。
現時点の制約
この工程では、性能・収益・精度に関する結論は出していません。
確認したのは、前日判断を固定し、後から追跡できる状態になったことです。
次
ROI100研究を正式にリセットし、開発期間と完全封印Final Holdoutを先に固定する工程へ進みます。