30秒でわかる今回の進捗
競馬AIが前日に出した「この馬が勝つ確率」を、レース終了後の確定結果と照らして検証する仕組みを確認しました。
単に「当たった・外れた」を数えるのではなく、**予測した確率そのものが妥当だったか**を評価します。
今回の確認対象は8項目で、未解決は0でした。
なぜ必要なのか
AIがある馬に高い勝率を出しても、1回の結果だけで予測の良し悪しは判断できません。確率予測は、複数の予測と実際の結果を同じ基準で照らして評価する必要があります。
そこで、前日に固定した予測確率を、結果確定後に同じルールで検証できるようにします。
今回確認したこと
- 未確定のレース結果を評価に混ぜない
- 予測確率が有効な範囲にあることを確認する
- レース結果が正しく扱われていることを確認する
- Forward期間の確率品質をBrier scoreで評価できる形にする
- Evidence上の8項目を確認し、未解決0であることを確認する
これで何が変わるのか
前日に出した予測を保存し、レース終了後に確定結果と照らして、同じ基準で検証していけます。
結果を見てから予測や評価条件を都合よく変えるのではなく、**「前日時点で本当に出していた予測はどうだったのか」**を確認するための工程です。
まだ分からないこと
この工程だけでは、予測性能の高さや収益性は確認していません。
確認したのは、予測確率を同じルールで検証できる状態です。
次は、実際のオッズと確定結果を使って、Forward期間の経済性を評価します。