30秒でわかる概要
今回なにをした？
候補モデルごとに未校正・Sigmoid・Isotonicを同じ外側Holdoutで比較した。さらに、Brier Score・Log Loss・ECE・MCE・予測エントロピーを同一評価で記録したです。
なぜ必要？
RF019では候補モデルを比較したが、確率そのものの信頼性と不確実性は未評価でした。
何が変わった？
RF019の候補モデルを同じ時系列Holdoutで再評価し、SigmoidとIsotonicによる確率校正と不確実性診断を追加しました。
現在の状態
検証完了です。確認できていないことは、確認済みとして扱いません。
詳細
Evidence Record
今回確定したこと
定義した境界・成果
- 候補モデルごとに未校正・Sigmoid・Isotonicを同じ外側Holdoutで比較した
- Brier Score・Log Loss・ECE・MCE・予測エントロピーを同一評価で記録した
- RF019で選定したRANDOM_FOREST_V1について、今回のHoldoutでは未校正が校正後より良いBrier Scoreを示した
- 校正用データもレース単位の時系列内部分割に限定し、同一レースの分割跨ぎを防止した
許可されること / できること
- 候補モデルごとに未校正・Sigmoid・Isotonicを同じHoldout条件で比較できる（
Calibration Method Comparison）：DEFINED - Brier Score・Log Loss・ECE・MCE・予測エントロピーを記録できる（
Uncertainty Diagnostics）：DEFINED
安全境界・防止策
禁止されること / 防止策
- ランダム行分割を使わない
- RF020では最終モデル昇格を確定しない
実装・契約根拠
- Evidenceに記録された契約・実装を参照
検証結果
- RF019と同じ時系列Holdoutを維持した（
Time-Ordered Outer Holdout）：PASS - 校正用データもレース単位の時系列分割に限定し、同一レースの跨ぎがないことを確認した（
Inner Calibration Time Split）：PASS - READ_ONLY実データで未校正・Sigmoid・Isotonicの校正比較と不確実性診断を実行した（
Real Data Calibration）：PASS
未達・対象外
- RF020の校正結果だけでは実現利益を示しません。
- 最終モデル昇格はRF021で判断します。
次工程
RF_DEV_021_MODEL_FEATURE_ABLATION_AND_PROMOTION_V1で、RF020の校正・不確実性結果を含めてモデルと特徴量の最終昇格候補を比較します。
Evidence Stage
IMPLEMENTATION_COMPLETE_VALIDATED
内部管理情報
Task ID: RF_DEV_020_CALIBRATION_AND_UNCERTAINTY_V1