30秒でわかる概要
今回なにをした？
競馬AIのモデル学習工程について、**時間順のデータ分割から学習済みArtifactの記録まで12項目を監査**しました。
12項目すべてを確認し、未解決は0件でした。
なぜ必要？
モデルの精度を評価する前に、
- 正しい時系列で学習しているか
- 最終テストへ途中で触れていないか
- 学習条件を後から再確認できるか
- 作ったモデルを後から特定できるか
を確認できなければ、結果の数字そのものを評価しにくいためです。
何が変わった？
モデル学習について、「動いたか」だけではなく、**どの条件で学習し、どの結果とArtifactが生まれたのかを後から追える状態**を確認しました。
現在の状態
監査対象12項目をすべて確認済みです。未解決は0件です。
確認した12項目
1. 時間順・レース単位で学習データを分ける 2. 学習期間と検証期間の時間境界を明示する 3. 行の無作為分割を主方式にしない 4. 最終テストを学習工程から除外する 5. 本番運用・自動投票・DB書き込みを学習工程から除外する 6. 学習データへのアクセスを読み取り専用にする 7. 乱数seedを明示する 8. 学習回数に上限を設ける 9. 前処理のfit / transform経路を追跡可能にする 10. モデルへ渡す特徴量契約を明示する 11. 学習済みArtifactのハッシュを記録する 12. 学習結果とManifestを保存する
なぜ時間順分割を見るのか
競馬は時系列データです。
そのため、モデルの学習と検証をどの時間範囲で分けたのかを明示できることが重要です。
今回の監査では、過去側を学習に使い、その後の期間を検証する境界が実装に結び付いていることを確認しました。
また、行を無制限にランダムに混ぜる方法を主な分割方法にはしていません。
最終テストは学習から分離
最終評価に使うデータについても、限定された学習工程から明示的に除外されていることを確認しました。
モデル作成途中の判断と、最後の評価を分けるための境界です。
再現性と試行回数
学習候補には明示的な乱数seedが必要です。
さらに、モデル学習回数にも上限があります。
同じ条件を後から確認しやすくしつつ、試行を無制限に繰り返す構造を避けるための制御です。
Artifactまで追跡する
監査対象は学習処理だけではありません。
学習済みArtifactにはハッシュによる識別情報を残し、学習結果とManifestを保存する経路も確認しました。
これにより、後続工程で「どのモデルを使ったのか」を追跡するための土台を作ります。
安全境界
今回の学習工程では、本番運用、自動投票、DB書き込みを行いません。
学習データへのアクセスも読み取り専用の制約を確認しています。
検証結果
監査対象は12件。
12件すべてを確認し、未解決は0件でした。
11件は通常の検証で確認し、1件は前処理の実装経路まで追跡して確認しました。
今回の結果だけでは言えないこと
この監査は学習パイプラインの構造を対象としています。
そのため、この結果だけでモデル性能、予測精度、収益性を主張することはしません。
それらは後続の正式な検証Evidenceで確認します。
次工程
次は、学習済みモデルのArtifact・Registry・Version管理を監査します。
学習手順だけでなく、実際に利用するモデルを後から正確に特定できる状態になっているかを確認します。