開発ログ

モデル・実験レジストリ

30秒でわかる概要

今回なにをした?

モデルArtifact IDをmodel family・config hash・特徴量 contract・training data signature・training partitionから決定論的に生成する境界を固定しました。さらに、Experiment IDをArtifact ID・split contract・seed・evaluation scopeから決定論的に生成する境界を固定しました。

なぜ必要?

RF070まででFeatureを同じ条件で再現できるようになりましたが、そのFeatureから作ったモデルArtifactと実験結果を一意に結び付ける正式Registryは未定義でした。

何が変わった?

model config・Feature contract・training data signature・partitionから決定論的なArtifact IDを作り、そのArtifactにExperiment IDを結び付けられる状態になりました。

現在の状態

検証完了です。確認できていないことは、確認済みとして扱いません。

詳細

Evidence Record

今回確定したこと

定義した境界・成果

  • モデルArtifact IDをmodel family・config hash・Feature contract・training data signature・training partitionから決定論的に生成する境界を固定した
  • Experiment IDをArtifact ID・split contract・seed・evaluation scopeから決定論的に生成する境界を固定した
  • strict unseenをモデル選択やPromotion判断へ使うことを禁止し、最終Generalization確認専用の境界を維持した

許可されること / できること

  • 同じモデル設定と同じ学習条件から同じArtifact identityを再現できます。(deterministic model artifact identity):SHA256_CANONICAL_JSON
  • Artifact・split・seed・評価範囲を含めて実験を一意に識別できます。(experiment identity):SHA256_CANONICAL_JSON
  • 研究中・候補・昇格・却下をArtifact単位で区別できます。(promotion state boundary):RESEARCH_ONLY / CANDIDATE / PROMOTED / REJECTED

安全境界・防止策

禁止されること / 防止策

  • 最終確認用データをモデル選択やPromotion判断へ使うことを防ぎます。(strict unseen model selection):FORBIDDEN
  • 設定やFeature contractが変わったモデルを同一Artifactとして扱うことを防ぎます。(artifact identity reuse after material change):FORBIDDEN
  • 正式Artifactをvalidation・test・strict unseenで学習することを防ぎます。(non-train artifact training source):FORBIDDEN

実装・契約根拠

  • Evidenceに記録された契約・実装を参照

検証結果

  • Artifact identity、Experiment identity、train境界、strict unseen禁止を自動テストで確認しました。(RF071 targeted tests):7/7 PASS
  • Feature Materialization Authorityを壊していないことを確認しました。(RF070 regression):PASS
  • 時系列partitionとstrict unseen境界を維持していることを確認しました。(RF069 regression):PASS
  • この工程ではデータベース書き込みを行っていません。(database write):NO

未達・対象外

  • この工程では実モデルの再学習やArtifactファイル保存は行っていません。
  • 実際のモデル比較・Promotion判断は後続taskで、このRegistry Authorityを使って行います。

次工程

次のtaskでは、このRegistry Authorityを使って実際のモデル研究・比較・Promotionへ接続します。

Evidence Stage

IMPLEMENTATION_COMPLETE_VALIDATED

内部管理情報

Task ID: RF_DEV_071_MODEL_AND_EXPERIMENT_REGISTRY_V1

全体ロードマップを見る →

← 開発ログへ戻る

掲載内容は、その時点の開発・検証記録です。将来の利益や的中を保証するものではありません。