過去データを再構築し、本番同等データとは分けて特徴量を確かめるべきなのか？

30秒でわかる概要

過去データを再構築し、本番同等データとは分けて特徴量の利用可能性を確かめました。

後から復元した情報を、レース前に本当に持っていた情報と混ぜると、過去検証だけが実運用より有利になるおそれがあるためです。

再構築した過去データと、本当に前日時点で利用できたデータを別の証拠として扱う境界を固定しました。

具体例として、228レースを確認しました。3,156頭を確認しました。5項目を確認し、5項目を再構築可能と判定。再構築失敗は0件でした。監査対象12件のうち12件を分類しました。

過去データの再構築結果は研究用の時系列検証に利用できます。

一方、後から復元できたことだけを理由に、本番の前日時点で取得済みだった情報とは扱いません。

現在レースの情報を過去側へ混ぜないこと、過去履歴の時系列を崩さないこと、本番同等のデータとして誤って扱わないことも確認しました。

実測検証の完了状態はPASSでした。検証対象の確認範囲もPASSでした。未解決項目の確認もPASSでした。検証根拠の確認もPASSでした。

再構築できた情報を、本番同等の証拠へ自動的に格上げしません。

研究用の過去検証と、本当に前日時点で利用可能だった情報を使う本番同等の検証は分けて扱います。

この線引きにより、次のモデル評価でも実運用より有利な情報が混ざっていないかを確認しやすくなります。

今回の確認だけでは、予測モデルの精度向上や収益性の改善は証明していません。

本番の前日予想と完全に同じ条件で再現できることも、まだ証明していません。

次は、この境界を守ったままモデル研究へ進みます。

再構築した過去データは研究用、本当に前日時点で利用可能だったデータは本番同等の検証用として分け、予測性能と収益性を確認します。

検証記録では、対象の確認範囲、未解決項目、検証根拠の確認が完了しています。

内部のタスク識別子や実装詳細は読者向け本文には出さず、公開内容は凍結済みの検証記録で確認できる範囲に限定しています。