Pourquoi les backtests trompeurs convainquent autant
Le logiciel facilite l’itération : vous changez un paramètre, relancez l’historique, la courbe s’améliore. Sans discipline, vous ne testez plus une hypothèse. Vous ajustez une histoire au passé.
L’objectif d’un backtest n’est pas le plus beau graphique. C’est une estimation réaliste de savoir si une idée mérite une démo ou un petit risque live. Gardez cet objectif visible quand l’optimiseur vous tente.
1. Sur-optimisation (overfitting)
Affiner de nombreux paramètres jusqu’à ce que le passé paraisse parfait capture souvent du bruit, pas un edge. La stratégie devient un costume sur mesure pour un chemin historique et échoue quand le marché change de tenue.
Préférez moins de paramètres, réservez des données out-of-sample et vérifiez que la performance reste stable sur des valeurs proches. Si un changement minime détruit les résultats, vous avez probablement ajusté du bruit.
- Limitez les paramètres libres avant d’optimiser
- Réservez une période finale non vue que vous ne touchez qu’à la fin
- Préférez des plateaux de bons réglages à un pic chanceux
2. Look-ahead bias
Utiliser des informations qui n’auraient pas été disponibles au moment de la décision gonfle les résultats. Exemples classiques : entrer à l’open en utilisant le close de la même chandelle, ou lire un indicateur qui inclut secrètement des données futures.
Assurez-vous que les signaux n’utilisent que des chandelles complètes et que le mode bar-replay ou Strategy Tester correspond à votre exécution live. Si la plateforme peut « voir » toute la chandelle avant que vous décidiez, votre edge est fictif.
3. Survivorship bias
Tester seulement des entreprises qui existent aujourd’hui ignore celles qui ont été retirées de la cote ou ont fait faillite. Votre panier historique paraît plus sain que l’univers réel d’opportunités que les traders avaient alors.
Sur les stratégies actions, utilisez des jeux de données incluant les titres delistés lorsque c’est possible. Sur d’autres marchés, demandez-vous aussi si votre liste de symboles est une liste propre de gagnants ou un univers réaliste.
4. Ignorer les coûts de trading
Commissions, spreads, slippage et coûts de financement peuvent transformer une idée rentable haute fréquence en perdante. Beaucoup de backtests par défaut sous-estiment les frictions, surtout sur les news, la liquidité fine et les entrées au stop.
Modélisez les coûts de façon conservative. Si la stratégie ne fonctionne qu’avec des fills parfaits et spread zéro, elle ne fonctionne pas. Relancez avec des hypothèses de coût plus dures et voyez si l’edge survit.
5. Trop peu de trades
Une poignée de trades en dit peu sur une stratégie. Dix gagnants jolis peuvent être de la chance. Vous voulez un échantillon assez grand pour être statistiquement significatif et réparti sur des régimes différents : tendance, range, volatilité haute et basse.
Si votre timeframe ne produit pas assez de trades, élargissez la fenêtre d’historique, testez des symboles corrélés ou acceptez de ne pas encore avoir assez de preuves.
6. Exécutions irréalistes
Supposer que chaque ordre limite est exécuté, ou que vous pouvez trader des instruments illiquides au mid, surestime la performance. Des stops toujours exécutés au prix du stop sans slippage sont un autre fantasme courant.
Vérifiez comment votre logiciel modélise les fills dans le mode que vous utilisez (open de chandelle, OHLC, every tick, real ticks). Le replay visuel aide les traders discrétionnaires à voir si leur entrée supposée était vraiment disponible.
7. Ne pas tester la robustesse
Avant de faire confiance à un résultat, stressez-le. Une stratégie qui ne fonctionne que sur une année, un symbole ou un réglage exact de paramètres est fragile. Les contrôles de robustesse ne garantissent pas les profits live, mais repèrent tôt beaucoup d’illusions douces.
- Walk-forward analysis ou division claire in-sample / out-of-sample
- Rééchantillonnage Monte Carlo des trades ou trajectoires d’equity
- Tests sur différents marchés et périodes
- Variation des paramètres, coûts et dates de début
Une checklist pratique avant le live
Posez-vous quatre questions : Ai-je utilisé des informations que je n’aurais pas eues en live ? Ai-je inclus des coûts réalistes ? Ai-je assez de trades sur des régimes différents ? Les résultats se sont-ils maintenus en changeant réglages et périodes ?
Si une réponse est non, continuez à investiguer. Après des backtests prometteurs, faites du forward testing en démo ou petit compte live avant d’augmenter le risque.