30秒でわかる概要
EXP30では、二段階方式の順位づけが強く見えました。
EXP31では、その強さが本当に経済信号の差なのかを監査しました。
結果は、**交絡を調整すると順位づけの優位が大きく縮小した**です。
良い数字が出ても、そのまま最終採用しない理由がここにあります。
なぜこの監査が必要なのか
順位相関が高いと、その方法の順位づけが強いように見えます。
しかし、レース条件や予測値の分布など別の要因が混ざっていると、その強さを過大評価する可能性があります。
そこで、生の指標だけでなく、交絡を調整した後の残差指標まで確認しました。
何が変わったのか
EXP30では、二段階方式の順位相関が約0.217、直接期待収益方式が約0.070でした。
EXP31では交絡調整後も確認し、二段階方式は約0.032、直接期待収益方式は約-0.001まで縮小することを確認しました。
現在地
対象は2021〜2024年の187,806行・13,782レースです。
今回も学習に使っていないデータでの検証結果だけを使っています。
OOF（Out-of-Fold、学習に使っていないデータでの検証）とは、AIが学習に使っていないデータに対して予測させ、その結果で方法を比べる検証方法です。簡単に言うと、「答えを見て覚えたデータで自己採点する」のを避けるための仕組みです。
検証結果
二段階方式の順位相関は約0.217から約0.032へ縮小しました。
順位スプレッドも約0.397から約0.083へ縮小しました。
直接期待収益方式の順位相関は約0.070から約-0.001へ縮小し、ほぼゼロになりました。
順位スプレッドは約0.359から約0.227へ縮小しました。
具体例で見ると
例えば、187,806行を使った同じ監査で、二段階方式の順位相関は0.217から0.032へ縮小しました。
直接期待収益方式も0.070から約-0.001へ縮小しました。
生の数字だけを見る場合と、交絡を調整した後を見る場合では、同じ二つの方法でも評価の見え方が大きく変わります。
この結果が読者にとって何を意味するか
今回分かったのは、「良い順位相関が出た」という事実だけでは、方法そのものの優位を証明できないということです。
条件の違いを取り除いても残る強さなのかを確認してから、採用判断をする必要があります。
不確実性も確認した
不確実性評価は、レース単位で300回反復しました。
一つの集計値だけで結論を固定せず、標本の変動も含めて確認しています。
未達・対象外
- 最終方式は未選定
- 購入しきい値は未決定
- 利益率100%超は未確認
- 市場に対する優位性は未確認
- 市場予測ルートは未実行
- 2025年・2026年の結果は未使用
正式な検証記録
- 2021〜2024年の187,806行・13,782レースを対象に監査しました。
- 二段階方式の生の順位相関は約0.217、交絡調整後の残差順位相関は約0.032でした。
- 二段階方式の順位スプレッドは約0.397、交絡調整後は約0.083でした。
- 直接期待収益方式の生の順位相関は約0.070、交絡調整後の残差順位相関は約-0.001でした。
- 直接期待収益方式の順位スプレッドは約0.359、交絡調整後は約0.227でした。
- 不確実性評価はレース単位の300回反復で行いました。
- 市場予測ルートは未実行です。
- 最終方式は選定していません。
- 購入しきい値の選定やしきい値探索は行っていません。
- 2025年・2026年の結果は使っていません。
- 対象期間：2021〜2024年
- 対象規模：187,806行・13,782レース
- 二段階方式の順位相関：約0.217 → 約0.032
- 二段階方式の順位スプレッド：約0.397 → 約0.083
- 直接期待収益方式の順位相関：約0.070 → 約-0.001
- 直接期待収益方式の順位スプレッド：約0.359 → 約0.227
- 不確実性評価：300回反復
- 最終方式：未選定
- 購入しきい値：未選定
次に確かめること
次はEXP32で、今回の監査結果を踏まえ、過度に強い順位づけ解釈を避けた保守的な期待収益ポリシーを固定します。
数字が強く見えても、弱く見積もったときに残るものだけを次へ進めます。