Indicateurs statistiques de prédiction d'un algorithme en réel
Forums › ProRealTime forum Français › Support ProOrder › Indicateurs statistiques de prédiction d'un algorithme en réel
- This topic has 58 replies, 6 voices, and was last updated 4 years ago by Nicolas.
-
-
05/04/2020 at 1:57 PM #12983705/10/2020 at 9:13 AM #130830
Bonjour à tous,
Bilan de la semaine pas très concluant…
Sur 4 algos: Les 2 avec kurtosis élevé (Cf pièce jointe) et skewness négatif ont fait -22 et -20 % en réel à l’issue de la semaine !
Limite celui avec un kurtosis négatif, donc théoriquement moins moins a moins perdu
Et un algo n’a pas démarré sans raison…
1 user thanked author for this post.
05/10/2020 at 9:17 AM #130833En pièce jointe le backtest de l’algo qui a fait -22,5 % !!!
Comme on le voit tous les voyants étaient au vert : 95 % de trades gagnants, toutes les journées gagnantes, Ratio Gain/perte de 11,9 etc…
Cela conforte toujours plus mon sentiment d’inutilité des Backtests (Non Walk Forward et encore…).
Un backtest élimine les mauvais candidats mais ne permet pas de préjuger des bons candidats !
1 user thanked author for this post.
05/10/2020 at 9:19 AM #13083605/10/2020 at 9:37 AM #130844J’ai pas très bien compris, essayons d’être clair pour que chacun puisse bien comprendre 🙂
Ce backtest qui ne correspond pas à ta semaine de trading, c’est une optimisation ou le backtesting avec les exacts mêmes paramètres que ceux utilisés durant la semaine qui vient de s’écouler ?
1 user thanked author for this post.
05/10/2020 at 10:12 AM #130854Non comme la semaine précédente (Cf post plus haut) dimanche dernier j’ai lancé 4 backtests avec 4 algos différents desquels ont été extraits 4 “candidats” tantôt avec un kurtosis positif ou négatif.
Chacun de ces candidats ayant plus de 95 % de trades gagnants, très bons ratio gain/perte etc… Et donc un “potentiel” pour faire une bonne semaine en réel
Ces très bons candidats ont été mis en réel lundi matin, pour fonctionner toute la semaine et ramassage des copies en fin de semaine, ce matin et bilan pour comparer les très bons résultats des backtests de ces algos dimanche dernier et le bilan après une semaine.
Le but étant toujours de rechercher les “meilleurs” indicateurs de corrélation In / Out Of Sample
Et donc à la fois aucune corrélation cette semaine entre le kurtosis positif ou négatif et le bilan de la semaine et au sens large aucune corrélation entre les résultats des backtests il y a une semaine et après une semaine en réel. Un peu comme avoir misé sur un cheval de course pour au final s’apercevoir qu’il courre moins vite qu’un âne…
Je ferai bien les mêmes tests avec un Walk Forward mais c’est ingérable vu la lenteur des calculs sur des algos un peu lourd
See U
05/10/2020 at 1:50 PM #130895Ok merci c’est plus clair pour moi maintenant, merci. Mais ces candidats ont-ils étaient optimisés jusqu’à Dimanche dernier, donc complètement In-Sample, et si oui ne penses-tu pas que la distribution est donc elle même biaisée par la dite optimisation .. finalement ?
Si il n’y a aucune “sur” optimisation, et que la méthode de validation en OOS en backtest est trop longue, pourquoi ne pas diviser le backtest à la main. Backtest sur 70/80% de l’historique souhaitée tout d’abord puis valider à la main dans un deuxième backtest dans les 30/20% de l’historique restant ?
05/10/2020 at 2:07 PM #130899Oui le backtest a été fait sur les 2 semaines précédentes donc semaines 17 et 18 pour être mis en réel sur la semaine 19 (Cette semaine)
Il est certain qu’un backtest va biaiser la distribution mais impossible de faire autrement sinon inutile de faire un backtest
Je ne suis pas sur de bien comprendre ta deuxième phrase “A la main”
Je pense / ai l’impression que plus le backtest est long moins on devrait avoir de déviation dans la continuité par ex 4 semaines de backtest In Sample pour mise en réel en OOS sur une semaine mais mon dieu la longueur des calculs. Difficile de le confirmer en Walk Forward tant que l’on ne peut pas faire d’optimisation sur une variable (car les bons candidats ne sont généralement pas les premiers)
Le seul que j’ai en cours en réel qui a été testé sur 50 000 unités, initialement pour test sur 10 000 donne des résultats dans ce sens en tout cas (Pièce jointe)
05/10/2020 at 2:11 PM #130901Tu n’as pas répondu à ma question, est-ce que les backtests sont issues d’optimisation ? Si oui, tu fais par exemple un BT sur les semaines 1 et 2 pour faire tes optimisations, puis tu prends tes valeurs optimisés et tu les valides dans un backtest (sans opti cette fois) sur la semaine 3 de l’historique. Plus rapide que le mode walk forward interne.
05/10/2020 at 2:34 PM #13090806/02/2020 at 5:24 PM #13425806/02/2020 at 8:26 PM #134292Pour le moment j’ai arrêté les tests car pas suffisamment concluants et surtout car je voulais plus d’historique pour les faire
Le problème c’est la durée de l’optimisation avec ces codes. Des heures et des heures pour faire un seul backtest pour à peine 5000 combinaisons sur 20 000 unités par exemple.
Bref, impossible à utiliser pour avancer et tester différentes idées.
Bonne soirée
10/24/2020 at 10:33 PM #148365Bonjour,
Je ne crois absolument pas que les Skewness et autres kurtosis puissent être indicatifs de la performance future d’une stratégie. En revanche, il me semble qu’on pourrait les mesurer dans une stratégie pour adapter les paramètres de la stratégie en conséquence : par exemple adapter les stops et TP en fonction du Kurtosis ou calculer les bandes de Bolinger en fonction des skewness et kurtosis pour être plus réalistes…
Pour remonter au fond du sujet, la question est “comment savoir si une stratégie est robuste”, si je comprends bien. Je ne sais pas comment mettre ici un lien vers une réponse que j’ai fait à ce sujet à April O’Neil sur le sujet “Test de robustesse”. Ma réponse s’appuie sur une utilisation personnelle de ce que je comprends de la Dimension de Vapnik-Chervonenkis.
Avantage : Ca marche…
Dîtes-moi ce que vous en pensez.
10/26/2020 at 9:36 AM #148482L’explication de Thierry sur sa vision des tests de robustesse se trouve ici: https://www.prorealcode.com/topic/test-de-robustesse/#post-148363
-
AuthorPosts
Find exclusive trading pro-tools on