開発ログ

特徴量のアブレーション・重複・組み合わせ効果を検証する

<h1>効いた特徴量は、本当に全部必要? 3つの特徴量ファミリーを削って比べた</h1>

<p><strong>要点:</strong>DRAW・TEMPORAL・RACE_CONTEXTの3ファミリーを、単独・組み合わせで比較しました。最良は3ファミリーを残した <code>REDUNDANCY_PRUNED_COMBINATION_V1</code>。ValidationのBinary Log LossはBaseline比で0.0019927398改善し、Development Testでも0.0020123808改善。最終判定はPROMOTEです。</p>

<h2>何を確認したのか</h2> <p>個別に効いた特徴量を、そのまま全部残すのではなく、「どれかを削っても性能がほとんど変わらないか」を確認しました。</p>

<ul> <li><strong>DRAW</strong>:枠順・馬番を文脈込みで扱う情報</li> <li><strong>TEMPORAL</strong>:休養・ローテーションなど時間的な情報</li> <li><strong>RACE_CONTEXT</strong>:レース条件を表す文脈情報</li> </ul>

<p>単独、2ファミリーの組み合わせ、3ファミリーの組み合わせを比較した結果、最終的に3ファミリーを残した構成が最良でした。</p>

<h2>今回の具体的成果</h2> <p>今回の成果は、「特徴量を増やしたから全部残す」と決めたことではありません。実際に削って比較したうえで、それでもDRAW・TEMPORAL・RACE_CONTEXTの3ファミリーを残す方が良いと確認できたことです。</p>

<p>選定候補は <code>REDUNDANCY_PRUNED_COMBINATION_V1</code>。ValidationではBaseline比0.0019927398改善、Development Testでも0.0020123808改善し、改善方向を再確認しました。</p>

<h2>何が分かったのか</h2> <p>単独で強い特徴量だけを残せばよいとは限りません。単独では弱く見えるファミリーでも、他の情報と組み合わせることで追加価値を持つ可能性があります。</p>

<p>今回の検証では、明確に「不要」と切れるファミリーはなく、3ファミリー構成が最良でした。</p>

<h2>検証上の注意</h2> <p>今回のPROMOTEは回収率や実運用収益の改善を意味しません。確認したのは予測損失指標での特徴量構成の価値です。また、Final Holdoutは候補選定に使用していません。</p>

<h2>次の工程</h2> <p>次は前日23時時点の運用再現と計算時間・資源制約の検証へ進みます。特徴量を選ぶ段階から、実際のRace Day運用で使えるかを確認する段階へ移ります。</p>

全体ロードマップを見る →

← 開発ログへ戻る

掲載内容は、その時点の開発・検証記録です。将来の利益や的中を保証するものではありません。