今回の要点
モデル候補を複数評価するとき、都合の良い一つの結果だけを根拠に昇格させないための研究ガバナンスを実装しました。
Final Holdoutの封印、多重比較への対応、明示的な最小Effect Size、評価期間をまたいだtemporal robustnessを昇格条件として扱います。
今回の工程ではFinal Holdoutそのものにはアクセスしていません。
Final Holdoutの扱い
Final Holdoutは SEALED → AUTHORIZED_FOR_FINAL_CERTIFICATION → CONSUMED というライフサイクルで管理します。
未承認での利用や、消費後の再利用は拒否します。
今回固定したのは、Final Holdoutを最終認証まで封印したまま扱うためのルールです。
多重比較への対応
複数候補を評価する場合は、Holm step-downによるfamily-wise error controlを用います。
これにより、複数候補を比較したにもかかわらず、補正されていない都合の良いp値だけを昇格根拠にすることを防ぎます。
Effect Sizeと時間的頑健性
昇格には明示的な最小Effect Sizeの条件を要求します。
さらに、評価期間をまたいだtemporal robustnessも確認対象にします。
統計的な判定だけでなく、差の大きさと期間別の頑健性を同じ研究判断の中で扱うためです。
現在の状態
Final Holdoutは未使用のままです。
今回の成果は、Holdout、多重比較、Effect Size、temporal robustnessを後続研究から同じ基準で参照できる研究ルールとして固定したことです。
この工程のEvidenceにない性能、収益、精度については主張しません。
次の工程
次はVersion・Run Manifest・Rollbackの正式ルールを整備し、研究結果の再現性と追跡可能性をさらに固定します。