30秒で分かる今回の変更
問題は、既存の107個の特徴量から何を削るかだけではありません。
**本当に使える情報が、最初から全部候補に入っているか。**
例えば、競馬場コードのように本来取得できる情報が既存scopeから漏れていました。Result・Lap・Payout・HorseHistoryなど、既存parserで再利用できるRaw情報も確認しています。
そのため、現在のRaw補完完了後はIndividual Ablationへ直行せず、
Raw Completion → PIT / Leakage → Raw Fact Freeze → Feature Inventory V2 → Coverage / Family / Baseline / Scope事前宣言 → 固定4-fold → Family Ablation → 必要時のみIndividual Ablation
の順へ変更しました。
なぜ必要なのか
特徴量選定は、候補母集団に入っている特徴量しか評価できません。
既存の107・157・27などの固定scopeを最終Authorityにすると、本来利用可能だった情報を最初から評価対象外にする可能性があります。
そこで、補完後Raw SourceからFeature Inventory V2をゼロベースで再構築します。
固定した評価ルール
Walk-Forwardは次の固定7年rolling 4-foldを維持します。
- 2014-2020 → 2021
- 2015-2021 → 2022
- 2016-2022 → 2023
- 2017-2023 → 2024
2025・2026の結果はFeature / Model選定に使いません。ただし、2026年現在の入力availability監査は必須です。
Feature選定のPrimaryはLog Loss・Brier Score・Calibrationとし、ROIはSecondaryとして扱います。
Leakageと選定バイアスへの対策
当該レースのResult・Lap・Payoutは予測入力に使いません。Strict Priorとして証明できる過去情報だけを候補にします。
また、2021-2024を何度も確認しながら手動KEEP/DROPを繰り返すこと、complete-caseの減少だけを理由にFeatureを落とすことも禁止しました。
Evidenceと検証
Post-Recovery Execution Roadmap V2とResearch Profile V5へ実行Authorityを切り替えています。
ロードマップ・評価Protocol・特殊結果Policyを合わせて12個のテストがPASSし、Gate 1からGate 18までの順序、固定4-fold、Family-first Ablationとの整合を検証しています。
具体例として、既存scopeから漏れていた競馬場コードをきっかけに「削る前にFeature Inventoryそのものを再構築する」必要性を確認しました。
現在地と限界
現在はRaw補完を継続中です。補完完了後、Gate 01 Raw Completion Certificationから新ロードマップを開始します。
今回確認できたのは研究工程とガバナンスの再設計です。
**モデル性能が上がった、ROIが改善したとはまだ言えない**段階です。