まず分かる今回の変更
競馬AIの実験が増えると、「何を変えた実験なのか」「どの実験同士を比較してよいのか」が曖昧になります。
今回は、実験ID、親子関係、Experiment Family、比較境界、試行回数の数え方、Evidenceに結びついた判断を管理する基盤を構築しました。
Task Evidenceでは6件を確認し、6件すべてを判定、未解決は0件でした。
何が問題だったのか
実験Aと実験Bの結果が違っても、比較条件そのものが違えば、その差だけを見て判断することはできません。
今回の仕組みでは、同じExperiment Familyに属する実験は比較対象にできる一方、別Familyの実験は比較対象として扱わないことを確認しました。
また、子実験には親実験のidentityを結びつけ、どの実験から派生したかを追えるようにしています。
具体的に確認したこと
同じ条件の実験・Familyは安定したidentityを持ち、条件が変われば別identityになります。
同じFamily内では比較でき、Familyが違えば比較を拒否します。
さらに、試行回数、uniqueな実験数、duplicateな試行を明示的に数えられることも確認しました。
判断結果についてもEvidenceと結びつけ、同じ判断の再登録は同一として扱い、同じ実験に対する異なる判断への書き換えは拒否する形を確認しています。
実測結果
- 6件を実際に確認
- 6件すべてを判定
- 未解決0件
- 実測検証の完了状態：PASS
- 検証対象の確認範囲：PASS
- 未解決項目の確認：PASS
- 検証根拠の確認：PASS
確認対象には、experiment identity、parent lineage、Family比較境界、multiplicity accounting、Evidenceに結びついた判断が含まれます。
現在の意味
今回の成果は、実験数が増えても、
「何を変えた実験だったか」 「この2つは比較してよいか」 「同じ実験を重複して数えていないか」
を後から辿れるようにする研究管理の基盤です。
ただし、この工程だけで予測精度・回収率・収益性が向上したとは主張しません。今回確認したのは実験管理と比較境界です。
次に進むこと
次は、この基準を使って近走成績特徴量の増分価値を検証します。
特徴量の結果を見るだけでなく、「何を変えた実験か」「どのFamilyの中で比較したか」を明確にした状態で検証を進めます。