Backtest
スコアの過去検証
P30/P90/P180が過去のTOB公表をどの程度捉えたかを、対象会社だけを正例として検証します。
買付者は正例に含めず、TOB公表後のサンプルは除外します。
検証サマリー
生成日時2026-06-17
評価期間2026-02-13 - 2026-06-17
検証データ日次スコア履歴
スコアサンプル287750
TOB対象イベント1506
保存済みの日次スコア履歴を使った検証です。低カバレッジの日は除外しています。
P30 / P90 / P180
| 期間 | サンプル | 正例 | 捕捉イベント | Top20捕捉 | ROC-AUC | PR-AUC | Brier | Precision@20 | Lift@20 |
| P30 | 268974 | 648 | 31 / 33 | 0 | 0.555 | 0.003 | 0.008 | 0.000 | 0.000 |
| P90 | 268974 | 1306 | 31 / 33 | 0 | 0.531 | 0.005 | 0.029 | 0.000 | 0.000 |
| P180 | 268974 | 1306 | 31 / 33 | 0 | 0.531 | 0.005 | 0.073 | 0.000 | 0.000 |
この検証で確認していること
正例はTOBの対象会社だけに限定し、買付者側の銘柄は含めません。買付者を正例に入れると、買収を実行する企業の特徴と、買われる企業の特徴が混ざるためです。
TOB公表後のサンプルは除外します。公表後の株価や出来高は、予測ではなくイベント発生後の反応を含むため、スコアの先行性を検証する材料にはしません。
保存済みの日次スコア履歴を使える場合は、全銘柄の時点別スナップショットで検証します。保存開始前の期間はまだ評価対象外です。
指標の読み方
- ROC-AUCは、正例と負例の順位づけがどの程度分離できたかを見る指標です。正例が少ない期間では値が不安定になりやすいため、単独では評価しません。
- PR-AUCは、TOBのように正例が少ない事象で上位候補の濃さを見るための指標です。候補数が少ないときはPrecision@Kやヒットケースの中身と合わせて確認します。
- Brierは、確率らしさのずれを確認するための指標です。順位が当たっていても、P30/P90/P180の数値が過大または過小なら改善対象になります。
- Precision@20とLift@20は、実際に上位から確認する運用に近い指標です。TOBレーダーでは、全銘柄を平均的に当てるより、確認すべき上位候補の質を重視します。
品質管理で見ている点
- 対象会社と買付者を分けるevent_roleを持たせ、買付者側イベントでスコアが良く見えないようにする。
- 公表後サンプルを除外し、ランキングがニュースの後追いになっていないかを確認する。
- ヒットケースとミスケースをCSVに分け、単なる指標の上下ではなく、外した理由を個別に読めるようにする。
- キャリブレーションCSVで、確率帯ごとの過大評価・過小評価を点検する。
event_roleチェック
- target: 1506
- acquirer: 500
- unknown: 89
出力ファイル
artifacts/backtest/backtest_summary.json artifacts/backtest/backtest_report.md artifacts/backtest/calibration_p30.csv / p90 / p180 artifacts/backtest/hit_cases.csv / missed_cases.csv / lead_time.csv
現時点の評価と改善方針
このページの数値は、TOBレーダーのスコアを過大に見せるためではなく、どこまで検証できていて、どこが未検証かを公開するために掲載しています。
正例が少ない期間や限定データでは、AUCやPrecisionが空欄になることがあります。その場合も、空欄を隠さず、サンプル不足として扱います。
- 保存開始前のランキング入力データを再現できるようにし、検証期間をさらに伸ばす。
- 公表イベントのロール分類を増やし、対象会社、買付者、親会社、ファンド、関連会社をより細かく分ける。
- ミスケースを理由別に分類し、価格・支配構造・大量保有・ガバナンスのどのシグナルが不足していたかを見直す。
- スコアの説明文と実際のバックテスト結果が食い違う場合は、表示上の注意書きや重みを調整する。
制約
- 保存済みの日次スコア履歴を使っていますが、保存開始前の期間は評価できません。
- 過去時点の株主構成・財務データを現在値から復元していません。
- 評価対象日はJPX営業日カレンダーで休場日を除外しています。