【今回の更新を短くまとめると】
回収率100%超を目指す検証を始める前に、研究ルールを固定しました。
回収率100%超は研究目標であり、将来の回収率を保証するものではありません。
既存の前日予想、確率、Fair Odds、Holdout、Forward、Shadowの仕組みは再利用し、新しい候補では仮説・Holdout・ROI・購入数・的中数・期間や条件のEvidence・リスクEvidence・判断・判断理由を残します。
一度見たUnused Holdoutを再び未見として使うことは禁止します。
なぜ先にルールを決めるのか
候補を繰り返し試す研究では、良く見える結果だけを拾ったり、結果を見た後で条件を変えたりすると、何が本当に有効だったのか分からなくなります。
そのため今回は、候補を評価する前に、再利用する既存資産、必要なEvidence、Holdoutの扱い、PROMOTE・HOLD・REJECTの判断方法を固定しました。
候補ごとに残すもの
候補には、仮説、固定したHoldout参照、ROI、購入数、的中数、期間や条件ごとのEvidence、リスクEvidence、判断、判断理由を要求します。
これにより、数字だけではなく「何を試し、どのEvidenceで、なぜ次へ進めたのか」を後から追えるようにします。
Holdoutの扱い
一度結果を確認したUnused Holdoutを、もう一度未見データとして使うことは禁止します。
また、Holdoutで回収率100%を超えただけでは採用条件を満たしません。
Forward Validation、Robustness Validation、明示的なPromotion Decisionを後続Gateとして残します。
確認できたこと
今回の検証対象は9件です。
9件すべてがVERIFIEDとなり、未解決は0件でした。
今回まだ確認していないこと
回収率100%超の予想手法が見つかったことは確認していません。
今回確認したのは、回収率100%超を目指す研究をEvidenceに沿って進めるためのルールと境界です。
次へ
次は、これまで作った資産と実候補を整理し、再利用できるものを確定します。