30秒で分かる今回の進捗
競馬AIが出す確率を、そのまま信用してよいとは限りません。
今回、確率校正手法を同じ条件で比較するための契約と評価基準を固定しました。Task Evidenceでは8件を確認し、8件すべてが VERIFIED、未解決は0件です。
なぜ確率校正が必要か
モデルは「どの馬が相対的に強いか」をうまく並べられても、出した確率そのものがズレることがあります。
その確率をFair Oddsや意思決定に使うなら、確率のズレをどう扱うかが重要になります。
今回固定したもの
今回の工程では、確率校正手法を比較するための契約、固定された比較Authority、Calibration品質の評価軸、元の確率品質を壊していないかを確認するGuardなどを、後続工程から同じEvidence基準で参照できる状態にしました。
現在の状態
確認対象8件はすべて VERIFIED で、未解決は0件です。
ただし、この工程だけで「特定の校正手法が最も高性能」と結論づけたわけではありません。Evidenceに記録されていない性能差や収益面の結果は主張しません。
この先どうなるか
次は、同じ基準を使って条件別・時期別の頑健性を監査します。
全体では良く見える確率でも、特定条件やRegime変化で崩れる可能性があります。そこで次の工程では、「平均的に良い」だけでなく「状況が変わっても安定して使えるか」を確認します。