欠損は「データ不足」ではなく情報になるのか？ 5候補を実モデルで比較
30秒で分かる今回の結果
欠損に関する5候補を、同じBaseline・同じ評価条件で比較しました。
最も良かったのは MISSINGNESS_COMBINED_V1 です。
ValidationのBinary Log LossはBaseline比で0.0044887451改善し、候補選択には使っていないDevelopment Testでも0.0008447370改善しました。再確認結果はPASS、最終判定はPROMOTEです。
Final Holdoutは候補選定に使用していません。
何を確認したのか
通常、欠損は「足りないデータ」として扱われます。
今回は、値そのものではなく、どの情報が存在し、どの情報が欠けているかという状態に追加価値があるかを検証しました。
5候補を同一条件で比較し、Validationで最良だった MISSINGNESS_COMBINED_V1 を選択。その後、Development Testで改善方向を再確認しました。
今回の結果
- 選定候補：MISSINGNESS_COMBINED_V1
- Validation Binary Log Loss改善：0.0044887451
- Development Test Binary Log Loss改善：0.0008447370
- Development Test再確認：PASS
- 最終判定：PROMOTE
- Final Holdout：候補選定には未使用
何が変わったのか
これまでは、欠損を主にデータ品質上の不足として扱っていました。
今回の検証で、実際に存在する欠損パターンを特徴量として比較し、複数領域の欠損情報を組み合わせた候補に追加価値が確認されました。
これは「欠損を増やす」という意味ではありません。
現実に存在する欠損状態を、そのまま捨てずに情報として扱えるかを検証した結果です。
評価方法
候補選定はValidationで行い、その後Development Testで方向を再確認しています。
Final Holdoutは特徴量選定から隔離したまま維持しています。
制約
今回確認したのは予測損失指標での特徴量価値です。
回収率や実運用収益の改善を直接示す結果ではありません。
また、この工程のEvidenceに記録されていない性能・収益・精度は主張しません。
現在の状態
MISSINGNESS_COMBINED_V1 はPROMOTE判定となり、欠損パターンを特徴量候補として次段階へ進められる状態になりました。
特徴量探索では今後も、重要そうだから採用するのではなく、共通Baseline・共通分割・共通評価条件で追加価値を実測して判断します。