開発ログ

意思決定時点境界と未来情報混入防止を監査する

30秒でわかる概要

今回なにをした?

競馬AIの予測で、予測時点より後に分かる情報が特徴量へ混ざらないよう、意思決定時点とLeakage防止の12項目を実監査しました。

12件すべてを判定し、未解決は0件です。

結果

  • 予測前に利用可能と確認:4件
  • 結果後の情報として予測利用から除外:2件
  • 安全側で拒否するのLeakage防止ルール:6件

なぜ必要?

バックテストや学習処理では、後から確定した情報を誤って過去時点の特徴量として扱うと、実際の予測時と条件が変わります。

そのため「使える特徴量か」だけではなく、「その値が予測時点で本当に存在したか」をEvidenceで確認する境界が必要です。

現在の状態

意思決定時点と未来情報混入防止の監査は完了しています。未解決項目はありません。

具体的な監査結果

予測前に利用可能と確認した4要素

  • race_identity
  • runner_identity
  • pre15_odds
  • pre15_market_probability

pre15_odds などの時系列情報は、予測時点のスナップショットであることを確認できる場合に限って扱います。後から取得した値を過去時点の値として推測する運用は許可しません。

予測特徴量として使わない2要素

  • result_finish_position
  • result_place_flag

この2つはレース結果後に確定する情報です。予測特徴量としての利用は禁止対象です。

確認した6つの安全側で拒否するルール

  • FEATURE_MUST_BE_PRE_DECISION_AVAILABLE
  • POST_EVENT_OUTCOME_AS_FEATURE_FORBIDDEN
  • UNKNOWN_AVAILABILITY_FORBIDDEN
  • DECISION_TIME_MATCH_REQUIRED
  • EVIDENCE_REQUIRED_FOR_FEATURE
  • IMPLICIT_LATEST_FORBIDDEN

利用可能時点が不明、意思決定時点が不一致、Evidenceがない、暗黙に最新値を選んでいる――こうした場合は、そのまま処理を続けず拒否または安全側で拒否するにします。

Evidence Record

  • 監査対象:12件
  • 判定済み:12件
  • 未解決:0件
  • VERIFIED_PRE_DECISION_AVAILABLE:4件
  • VERIFIED_POST_EVENT_ONLY:2件
  • VERIFIED_SAFETY_REJECTION_ENFORCEMENT:6件
  • Evidence Stage:TASK_COMPLETE_VALIDATED

この工程で確定した境界

特徴量を採用する条件は「値が存在すること」だけではありません。

**予測時点より前に利用可能だったことをEvidenceで確認できること**を要求します。

結果後情報、時点不明情報、時点不一致、根拠のない暗黙の最新値は予測特徴量として扱いません。

対象外

この工程のEvidenceに記録されていないモデル性能・収益性については主張しません。

次工程

次は、この時間境界を前提にモデル学習パイプラインの実体を監査します。

関連リンク

競馬AI計画ロードマップ https://keiba-ai-plan.pages.dev/roadmap/

Task ID: RF_DEV_104_DECISION_TIME_AND_LEAKAGE_GUARANTEE_AUDIT_V1

全体ロードマップを見る →

← 開発ログへ戻る

掲載内容は、その時点の開発・検証記録です。将来の利益や的中を保証するものではありません。