今回の更新の要点
Baselineを、今後のモデル改善を比較するための正式な基準として認証しました。
実測済みBaseline、Fair Oddsの契約、再現性Freezeを一つの比較原点として結び付けています。
今回の意味は性能向上ではありません。
**これから特徴量やモデルを変えたとき、何が本当に改善したのかを同じ基準で比較できるようになったことです。**
何を固定したか
今回の認証では、校正済み勝率とFair Oddsの関係、実測済みBaseline、再現可能なFreezeを認証入力として扱います。
そしてBaseline v1を、今後の比較で書き換えない不変の比較原点として扱います。
なぜ必要か
特徴量、学習条件、校正方法が変わると予測値も変わります。
比較元まで変わると、改善の意味が曖昧になります。
そこで、先にBaselineを認証し、後続モデルはこの基準との差として評価できるようにしました。
現在の状態
Task Substance EvidenceはPASSです。
認証対象はすべて確認され、未解決は残っていません。
FINAL_HOLDOUTはこの認証でも使用していません。
次に進むこと
次はPhase 14の開始準備に進みます。
特徴量研究を棚卸しし、どの情報を追加するとBaselineから予測がどう変わるのかを検証できる形へ進めます。