30秒でわかること
5種類の予測モデルが同じように評価しているレースだけを選べば、成績が良くなるのかを検証しました。
モデル同士の一致度が高い順に、全レース・上位50%・上位25%・上位10%を比較。
最良ROIは85%でした。
一方で、さらに対象を絞っても数字は伸びませんでした。
今回の実測では、**「複数モデルが同意しているレース＝買いやすいレース」とは言えない**という結果になりました。
何を試したのか
5種類の予測モデルについて予測を再生成しました。
その後、各レースでモデル同士の評価や順位がどれくらい一致しているかを算出。
一致度が高いレースだけに対象を絞った場合、結果がどう変わるかを確認しました。
比較した範囲は事前に決めた以下の4つです。
全レース、上位50%、上位25%、上位10%。
結果を確認したあとに、新しい条件を追加することはしていません。
なぜこの方法を試したのか
1つのモデルだけで予測するよりも、複数のモデルが同じ判断をしている方が信頼できそうに見えます。
そこで、
「5種類のモデルの意見がそろっているレースだけを選べば、より良い条件を抽出できるのではないか」
という仮説を実測しました。
実測結果
最良だったのは上位50%の範囲で、ROIは85%でした。
上位25%、上位10%までさらに絞っても、数字は伸びませんでした。
この結果から、モデル同士の一致度だけでは、今回のデータ上で十分な差は確認できませんでした。
この結果が意味すること
複数のAIが同じ予測をしていることと、そのレースが馬券として有利であることは同じではありません。
モデルの意見が一致していても、市場に対して有利な条件になっているとは限らないからです。
単純にモデル数を増やすだけでは、予想の構造そのものは変わりません。
検証ルール
結果を見たあとに5%や3%などの新しい範囲を追加して探すことはしていません。
また、結果に合わせてモデルごとの重みを調整することもしていません。
事前に決めた条件だけで判定しています。
現在の判断
今回の検証では、5モデルの一致度を使ったレース選別は採用しませんでした。
「複数モデルが同意しているから買う」という単純な判断だけでは、十分な根拠にならないことを確認できました。
競馬AIでは、良い結果だけでなく、こうした不採用になった仮説もEvidenceとして残しています。