Perché i backtest fuorvianti convincono così tanto
Il software facilita iterare: cambi un parametro, rilanci lo storico, vedi migliorare la curva. Senza disciplina, non stai più testando un’ipotesi. Stai adattando una storia al passato.
L’obiettivo di un backtest non è il grafico più bello. È una stima realistica se un’idea merita demo o rischio live ridotto. Tieni visibile quell’obiettivo quando l’ottimizzatore ti tenta.
1. Overfitting
Affinare molti parametri finché il passato sembra perfetto di solito cattura rumore, non un edge. La strategia diventa un abito su misura per un percorso storico e fallisce quando il mercato cambia abito.
Preferisci meno parametri, riserva dati out-of-sample e verifica che la performance sia stabile su valori vicini. Se una modifica minima distrugge i risultati, probabilmente hai adattato rumore.
- Limita i parametri liberi prima di ottimizzare
- Riserva un periodo finale non visto che non tocchi fino alla fine
- Preferisci plateau di buoni setting rispetto a un picco fortunato
2. Look-ahead bias
Usare informazioni che non sarebbero state disponibili al momento della decisione gonfia i risultati. Esempi classici: entrare all’open usando il close della stessa candela, o leggere un indicatore che include segretamente dati futuri.
Assicurati che i segnali usino solo candele completate e che la modalità bar-replay o Strategy Tester corrisponda a come opererai in live. Se la piattaforma può «vedere» l’intera candela prima che decidi, il tuo edge è fittizio.
3. Survivorship bias
Testare solo aziende che esistono oggi ignora quelle delistate o fallite. Il tuo paniere storico sembra più sano dell’universo reale di opportunità che i trader avevano allora.
Nelle strategie azionarie, usa dataset che includano titoli delistati quando possibile. Su altri mercati, chiediti comunque se la tua lista simboli è una lista pulita di vincitori o un universo realistico.
4. Ignorare i costi di trading
Commissioni, spread, slippage e costi di prestito possono trasformare un’idea profittevole ad alta frequenza in perdente. Molti backtest predefiniti sottostimano l’attrito, soprattutto su news, liquidità sottile ed entrate con stop.
Modella i costi in modo conservativo. Se la strategia funziona solo con fill perfetti e spread zero, non funziona. Rilancia con assunzioni di costo più dure e guarda se l’edge sopravvive.
5. Troppe poche operazioni
Un pugno di trade dice poco su una strategia. Dieci vincitori belli possono essere fortuna. Vuoi un campione abbastanza grande da essere statisticamente significativo e distribuito su regimi diversi: trend, range, volatilità alta e bassa.
Se il tuo timeframe non produce abbastanza operazioni, amplia la finestra storica, prova simboli correlati o accetta di non avere ancora evidenza sufficiente.
6. Fill irrealistici
Assumere che ogni ordine limit si esegua, o che puoi operare strumenti illiquidi al mid, sovrastima la performance. Stop che si eseguono sempre al prezzo dello stop senza slippage sono un’altra fantasia comune.
Controlla come il software modella i fill nella modalità che usi (open candela, OHLC, every tick, real ticks). Il replay visuale aiuta i trader discrezionali a vedere se l’entrata presunta era davvero disponibile.
7. Non testare la robustezza
Prima di fidarti di un risultato, stressalo. Una strategia che funziona solo su un anno, un simbolo o un set esatto di parametri è fragile. I controlli di robustezza non garantiscono profitti live, ma individuano presto molte illusioni soft.
- Walk-forward analysis o una divisione chiara in-sample / out-of-sample
- Ricampionamento Monte Carlo di operazioni o percorsi equity
- Test su mercati e periodi diversi
- Variazione di parametri, costi e date di inizio
Una checklist pratica prima del live
Fatti quattro domande: Ho usato informazioni che non avrei avuto in live? Ho incluso costi realistici? Ho abbastanza operazioni su regimi diversi? I risultati si sono mantenuti cambiando setting e periodi?
Se una risposta è no, continua a investigare. Dopo backtest promettenti, fai forward testing su demo o conto live piccolo prima di scalare il rischio.