特徴量間Interactionの増分価値を実モデルで検証しました。
5候補を同じBaseline・同じ評価条件で比較し、最良候補は INTERACTION_COMBINED_V1 でした。ValidationのBinary Log LossはBaseline比で0.0006333651改善し、候補選択に使っていないDevelopment Testでも0.0008036752改善しました。最終判定はPROMOTEです。
今回のポイントは、個別特徴量を単に追加するだけではなく、特徴量同士の組み合わせによって生まれる追加情報を検証したことです。
比較対象には、ペアのInteraction、差・変化を扱うInteraction、特徴量ファミリーの利用状態を考慮するInteraction、複数特徴量を同時に組み合わせるInteraction、そしてそれらをまとめた候補を含めました。
最終的に選ばれたのは INTERACTION_COMBINED_V1 です。ValidationだけでなくDevelopment Testでも改善方向を再確認できました。
今回のPROMOTEは回収率や実運用収益の改善を意味するものではなく、予測損失指標で追加価値が確認されたという意味です。Final Holdoutは候補選定に使用していません。
次は、特徴量のアブレーション・重複・ファミリー組み合わせを検証し、増やすだけではなく「何を残し、何を削るべきか」を絞り込みます。