今回の進捗
Baseline単勝勝率モデルを学習する前に、比較対象となる「何も学習しない予測」を固定しました。
1レース内の全出走馬に同じ勝率を割り当てる一様確率をNaive Baselineとし、 Log LossとMulticlass Brierを比較指標として使います。
何を固定したか
今回のNaive Baselineは、出走頭数に応じて全馬へ同じ勝率を割り当てます。 モデルがデータから何も学習していない状態の基準です。
この基準に対して、今後の学習モデルを同じレース集合・同じ評価指標で比較します。
なぜ必要か
複雑なモデルの数値だけを見ても、その結果が意味のある予測なのか判断できません。
先に単純な基準を固定しておけば、 後続の学習モデルが「何もしない予測」と比べてどこまで違うかを同じ条件で確認できます。
今回固定した評価軸
- Naive Baseline: レース内一様確率
- Primary Metric: Log Loss
- Secondary Metric: Multiclass Brier
- Field Size: 出走頭数に応じた一様予測の期待値を基準化
- Comparison: 同一レース集合・同一指標
- Final Holdout: モデル選択には使用しない
検証結果
6項目を確認し、6項目すべてを判定しました。 未解決は0件です。
この工程でまだ言えないこと
この段階では、学習モデルの精度や実運用での成果は評価していません。 今回の成果は、後続モデルを判定するための単純な比較基準を固定したことです。
次
次はBaseline単勝勝率モデルを学習し、 このNaive Baselineと同じ条件で比較できる状態へ進みます。