30秒で分かる今回の変更
最終試験で一度使ったデータを、今後いっさい見ない方式から変更しました。
今後は、そのデータを「過去の基準データ」として、考え方の違うモデル同士を比べるために再利用します。
ただし、同じモデルの条件や特徴量を、結果に合わせて細かく調整する用途には使いません。
今回の研究では、候補モデルを5種類、構造の違いを5種類に整理し、過去の複数年で見る基準を、投じた金額に対する戻りが100.0%となる水準に設定しました。
これは、すでに新しいモデルがその100.0%水準を超えたという意味ではありません。
なぜ変えたのか
最終試験データを完全に封印すると、新しい未使用データが十分に貯まるまで研究がほとんど進みません。
一方で、結果を知ったデータを見ながら同じモデルを細かく調整し続ければ、過去結果に合わせすぎる危険があります。
そこで、データの役割を分けました。
過去の最終試験データは、考え方の違うモデルを比べるための基準データとして使います。
本当の最終確認には、これから新しく増えていく未使用データを残します。
今回固定したルール
同じモデルの事後的な微調整は禁止です。
考え方が違うモデル同士の比較だけを、過去の基準データ上で行います。
研究用の基準は100.0%水準ですが、今回のタスクはその到達を主張するものではありません。
最終確認には、新しい未使用の未来データが必要です。
現在地
研究ルールの切り替えと安全境界の確認は完了しました。
次は、考え方の違うモデルを実際に比べ、過去の複数年で安定する候補があるかを調べます。