30秒でわかる概要
今回なにをした?
モデルArtifact IDをmodel family・config hash・特徴量 contract・training data signature・training partitionから決定論的に生成する境界を固定しました。さらに、Experiment IDをArtifact ID・split contract・seed・evaluation scopeから決定論的に生成する境界を固定しました。
なぜ必要?
RF070まででFeatureを同じ条件で再現できるようになりましたが、そのFeatureから作ったモデルArtifactと実験結果を一意に結び付ける正式Registryは未定義でした。
何が変わった?
model config・Feature contract・training data signature・partitionから決定論的なArtifact IDを作り、そのArtifactにExperiment IDを結び付けられる状態になりました。
現在の状態
検証完了です。確認できていないことは、確認済みとして扱いません。
詳細
Evidence Record
今回確定したこと
定義した境界・成果
- モデルArtifact IDをmodel family・config hash・Feature contract・training data signature・training partitionから決定論的に生成する境界を固定した
- Experiment IDをArtifact ID・split contract・seed・evaluation scopeから決定論的に生成する境界を固定した
- strict unseenをモデル選択やPromotion判断へ使うことを禁止し、最終Generalization確認専用の境界を維持した
許可されること / できること
- 同じモデル設定と同じ学習条件から同じArtifact identityを再現できます。(
deterministic model artifact identity):SHA256_CANONICAL_JSON - Artifact・split・seed・評価範囲を含めて実験を一意に識別できます。(
experiment identity):SHA256_CANONICAL_JSON - 研究中・候補・昇格・却下をArtifact単位で区別できます。(
promotion state boundary):RESEARCH_ONLY / CANDIDATE / PROMOTED / REJECTED
安全境界・防止策
禁止されること / 防止策
- 最終確認用データをモデル選択やPromotion判断へ使うことを防ぎます。(
strict unseen model selection):FORBIDDEN - 設定やFeature contractが変わったモデルを同一Artifactとして扱うことを防ぎます。(
artifact identity reuse after material change):FORBIDDEN - 正式Artifactをvalidation・test・strict unseenで学習することを防ぎます。(
non-train artifact training source):FORBIDDEN
実装・契約根拠
- Evidenceに記録された契約・実装を参照
検証結果
- Artifact identity、Experiment identity、train境界、strict unseen禁止を自動テストで確認しました。(
RF071 targeted tests):7/7 PASS - Feature Materialization Authorityを壊していないことを確認しました。(
RF070 regression):PASS - 時系列partitionとstrict unseen境界を維持していることを確認しました。(
RF069 regression):PASS - この工程ではデータベース書き込みを行っていません。(
database write):NO
未達・対象外
- この工程では実モデルの再学習やArtifactファイル保存は行っていません。
- 実際のモデル比較・Promotion判断は後続taskで、このRegistry Authorityを使って行います。
次工程
次のtaskでは、このRegistry Authorityを使って実際のモデル研究・比較・Promotionへ接続します。
Evidence Stage
IMPLEMENTATION_COMPLETE_VALIDATED
内部管理情報
Task ID: RF_DEV_071_MODEL_AND_EXPERIMENT_REGISTRY_V1