研究筆記 · 實驗全記錄
我們測了6種強化學習配比算法——然後決定不用它們
發佈日期 2026-10-24 · 樣本外窗口 2010–2026(202個月)· 結論:維持靜態50/50。大部分"AI策略"網站不會發表失敗的實驗;我們認爲負結果恰恰是最該公開的——它是盡調材料。
實驗設置
- <b>決策</b>:月度"動量腿 vs 防禦腿"配比(0–100%),等價於擇時問題。
- <b>狀態</b>:8維市場特徵——SPY趨勢(價/MA200)、21日年化波動、63日收益、Top10動量寬度與中位擁擠度、TLT/GLD趨勢、動量-TLT 63日相關。
- <b>獎勵</b>:log(次月淨收益),含兩腿月內漂移、月度重置、股票腿10bp/ETF腿2bp交易成本與配比變動費。
- <b>參賽</b>:DQN / PPO / A2C / SAC / TD3 / DDPG;基線 static50、static60、voltarget、MCPI(上輪)。
主結果 · 202 個樣本外月(seed=7)
| 策略 | CAGR | MaxDD | Sharpe | Vol |
|---|---|---|---|---|
| DQN | 13.97% | −19.11% | 0.99 | 14.20% |
| PPO | 12.46% | −16.67% | 0.89 | 14.16% |
| A2C | 15.71% | −25.95% | 0.80 | 20.65% |
| SAC | 12.13% | −15.57% | 0.89 | 13.80% |
| TD3 | 14.93% | −19.62% | 0.81 | 19.33% |
| DDPG | 11.16% | −32.80% | 0.67 | 18.05% |
| static50 · 現行 | 12.84% | −16.63% | 0.90 | 14.43% |
| static60 | 14.34% | −20.41% | 0.86 | 17.08% |
| voltarget | 11.18% | −16.07% | 0.87 | 13.05% |
| MCPI | 12.78% | −20.36% | 0.87 | 14.89% |
單種子指標會騙人
DQN 在 seed=7 的 Sharpe 0.99 看起來是勝利——直到換種子:
| 算法 | 三種子 Sharpe | 判定 |
|---|---|---|
| DQN | 0.99 / 0.98 / 0.82 | 高方差,seed123 輸給 static50 |
| PPO | 0.89 / 0.94 / 0.90 | 穩定但無超額(≈static50) |
| A2C | 0.80 / 0.91 / 0.82 | 不穩定 |
策略形態同樣說明問題:PPO 自己坍縮回 0.49(≈50/50),A2C 釘死在 0.75 上限(≈75/25),DQN 是唯一會擇時的但規則對種子敏感。月度頻率下,"該配多少動量"這個決策裏沒有可遷移的條件信息。
結論與產物
- 不改生產規格,維持靜態 50/50。
- 6 種 DRL + MCPI + 3 種子,沒有一種在樣本外穩健擊敗靜態配比。
- 唯一值得保留的變體是 voltarget(最低波動 13.05%,代價約 1.7pt CAGR)——可作保守檔,不替換默認檔。
- 復現材料:balanced_drl.py(--seed/--algos/--years/--steps 可復跑)、balanced_drl_oos.csv(逐月 OOS 收益)、balanced_drl_actions.csv(逐月動作日誌)。