30秒で分かる今回の結果
騎手・調教師に関する4候補を、同じBaseline・同じ評価条件で比較しました。
最も良かったのは JOCKEY_TRAINER_COMBINED_V1 です。
ValidationのBinary Log LossはBaseline比で **0.0136809000改善**。候補選択には使っていないDevelopment Testでも **0.0141120903改善**し、再確認結果はPASSでした。
最終判定は **PROMOTE**。Final Holdoutは候補選定に使用していません。
何を検証したのか
今回のテーマは、「騎手・調教師の情報が、既存の勝率予測Baselineへ追加価値を持つか」です。
競馬では騎手や調教師が重要視されますが、人間にとって重要に見える情報が、そのままモデルにも有効とは限りません。
そこで4候補を同一条件で比較し、Validationで選定、Development Testで再確認しました。
何が変わったのか
今回の検証により、騎手・調教師特徴量を感覚で採用するのではなく、共通Baseline・共通分割・共通評価契約で増分価値を判定できる状態になりました。
4候補の中で選ばれたのは、騎手と調教師を組み合わせた JOCKEY_TRAINER_COMBINED_V1 です。
これは、騎手単独・調教師単独ではなく、両者の組み合わせにも追加情報が含まれる可能性を示す結果です。
検証結果
- 候補比較：PASS
- Validation選定：PASS
- 選定候補：
JOCKEY_TRAINER_COMBINED_V1 - Validation改善：0.0136809000
- Development Test改善：0.0141120903
- Development Test再確認：PASS
- 最終判定：PROMOTE
- Final Holdout：候補選定には未使用
この結果の意味
今回確認できたのは、騎手・調教師特徴量を追加したときに予測損失が改善したことです。
これは実運用での有効性まで直接確認したことを意味するものではありません。
そのため今回は「特徴量候補として残す価値がある」と判断し、次工程へ進めます。
過学習を避けるための扱い
候補選択はValidationで行い、Development Testは選定後の確認に使っています。
Final Holdoutは特徴量選定に使用していません。
特徴量探索を続ける中でも、最終確認用データを選定から隔離したまま維持します。
次の工程
次は、血統特徴量の増分価値を同じ基準で検証します。
競馬で重要視される情報をそのまま採用するのではなく、既存Baselineに対して実際に追加価値があるものだけを残していきます。