Optimisation et analyse Walk Forward _ aides
Forums › ProRealTime forum Français › Support plateforme ProRealTime › Optimisation et analyse Walk Forward _ aides
- This topic has 36 replies, 6 voices, and was last updated 3 years ago by Nicolas.
-
-
03/08/2017 at 5:13 PM #27786
Suite à l’arrivée de ce nouveau module dans la plateforme, j’ouvre ce topic dédié pour toutes questions, aides et explications nécessaires à son fonctionnement ainsi qu’à l’interprétation des résultats.
Liens disponibles sur le site pour en savoir plus:
Vidéo explicative du fonctionnement dans sa globalité en Français (+20min): https://www.prorealcode.com/blog/video-tutorials/analyse-walk-forward-prorealtime/
Vidéo récapitulative sur le Walk Forward (6 min.): https://www.prorealcode.com/blog/recapitulatif-sur-lutilisation-du-module-walk-sous-prorealtime/
Extrait de la documentation ProBacktest en Anglais: https://www.prorealcode.com/blog/learning/strategy-optimisation-walk-analysis/
EDIT 26/04/17: Nouvel article en Anglais dans le blog, reprenant un peu toutes les questions évoquées sur les différents forums depuis l’apparition du Walk forward: https://www.prorealcode.com/blog/prorealtime-walk-analysis-tool/
03/08/2017 at 6:29 PM #2780103/08/2017 at 7:56 PM #27827J’ai créé le sujet pour pouvoir coller son lien dans la vidéo YouTube justement. J’ai donc fait comme prévu une rapide vidéo d’explication cette après midi, ça n’était pas très préparé mais je pense que le principal y est 🙂
https://www.prorealcode.com/blog/video-tutorials/analyse-walk-forward-prorealtime/
03/08/2017 at 9:31 PM #27862Resalut Nicolas,
Je pense effectivement que tu étais un poil fatigué. J’adore le “c’est de la merde !”
Bref plusieurs questions à froid
1/ je n’ai rien compris à ce que PRT appelle le WFE. comment il est calculé, et comment l’interpréter ?
2/ de même que signifie performance annualisee ? C’est les résultats que l’on aurait obtenu après une année avec ces paramètres ??
3/ si j’ai bien compris qu’ il fallait que le wfe soit supérieur à 50%. Est ce que cela signifie que les 5 périodes de test doivent être supérieures à 50% pour que la stratégie soit viable . Ce qui me paraît compliqué. Ou seuls 3 sur 5 par exemple suffisent ?
4/ dernière chose au final de ces 5 tests, quels variables retenir ?
Merci d’avance
Zilliq
1 user thanked author for this post.
03/08/2017 at 9:58 PM #2787103/09/2017 at 5:22 PM #27958La vidéo est corrigé, ouf! Je vais pouvoir monter un bêtisier des vidéos un jour 🙂
Pour répondre à tes questions:
1/ ça n’est pas PRT qui a crée le WFE. Le Walk Forward Efficiency est le ratio de “qualité” du test pour déterminer la robustesse de la stratégie. Il est simplement calculé en divisant le rendement annualisé de la période hors échantillon (OOS) par le rendement annualisé de l’échantillon optimisé (IS). Logique, puisque ces 2 périodes n’ont pas la même durée, il faut pouvoir les comparer ensemble, donc on annualise leurs performances.
Dans ce cas, si le WFE (l’éfficacité Walk Forward en Français..) est supérieur à 50%, on considère que l’optimisation a réussi, puisque le rendement de la stratégie dans la durée hors échantillon a été d’au moins 50% vis à vis de notre optimisation. Plus elle est importante, mieux cela serait bien sûr. Si elle était plus faible, alors sans doute que l’optimisation aurait échoué, l’optimisation aurait mené à une “sur optimisation”, l’overfit en Anglais : on est trop adapté à ce qui s’est passé et sans se soucier de comment la stratégie pourrait performer dans le futur. C’est ici que prend l’intérêt de ce mode d’optimisation.
2/ répondu dans le 1)
3/ Attention, l’analyse Walk Forward ne va pas faire d’une mauvaise stratégie sur-optimisé, une meilleure stratégie moins sur-optimisé. C’est un outil qui permet de tirer nous mêmes des conclusions.
Dans le Walk Forward, on a plusieurs occurrences, qui nous permettent de simuler plusieurs fois à la suite le trading ‘temps réel’ de la stratégie et cela sur toutes la durée de notre historique. On pourrait le faire qu’une seule fois (1 seule occurrence), mais nous n’aurions qu’une seule période de validation. En multipliant les occurrences, on a ainsi plus de périodes de validation, nous permettant de vérifier si celles-ci ont un bon WFE. Plus il y a d’occurrences vérifiant un bon WFE, alors plus de chances on a d’avoir trouvé une stratégie robuste.
4/ Toutes et aucunes. Chaque occurrence est une optimisation à part entière. Comme je le stipule dans la vidéo, le fait d’avoir plusieurs occurrences valides, nous permet de connaître par avance, la durée adéquate pendant laquelle on peut trader la stratégie sans la ré-optimiser (période hors échantillon = Out Of Sample). Une fois cette période passée, on ré-optimise pour la même durée d’échantillon.
2 users thanked author for this post.
03/09/2017 at 5:45 PM #27960Euh,
Je comprends un peu mieux, mais
Ce que tu appelles rendement annualisé, c’est ce qu’aurait gagné la stratégie sur l’année avec ces paramètres ? Mais comment c’est possible car le test n’est fait que sur une courte période?
Mais pourtant quand on met les premières variables ou-sample les gains sur l’ensemble de la période sont différents ?
Pour le 4, ce que je ne comprends pas c’est que l’on teste 5 sets de variables pour au final et théoriquement choisir le set qui donne ou donnerait les meilleurs résultats.
Là le truc c’est que que tu te retrouves avec 5 sets *2, ancré ou non ancré avec des résultats complètement différents et rien ne dit que si le 2ème test était bon, il le sera encore dans le futur sur les 3 autres tests
Sincèrement, vraiment pas simple à utiliser et à en tirer quelque chose. J’aurai vraiment espérer qu’en le faisant tourner il te donner UN set des meilleurs variables sur les 5 périodes et non pas un set pour chaque période
Et puis ils ne précisent pas à partir de quel moment on considère qu’une stratégie est robuste, intéressante ou non, et de fait avec quels variables
Zilliq
1 user thanked author for this post.
03/09/2017 at 6:50 PM #27964Ce que tu appelles rendement annualisé, c’est ce qu’aurait gagné la stratégie sur l’année avec ces paramètres ? Mais comment c’est possible car le test n’est fait que sur une courte période?
Le rendement annualisé c’est une simple règle de 3, calculé avec le résultat de cette “courte période” en effet.
Pour le 4, ce que je ne comprends pas c’est que l’on teste 5 sets de variables pour au final et théoriquement choisir le set qui donne ou donnerait les meilleurs résultats.
Alors ça équivaudrait à faire une optimisation “normale”, non ?
Là le truc c’est que que tu te retrouves avec 5 sets *2, ancré ou non ancré avec des résultats complètement différents et rien ne dit que si le 2ème test était bon, il le sera encore dans le futur sur les 3 autres tests
Et oui, même l’analyse Walk Forward ne peut prédire le futur, il va falloir s’y faire 🙂
Sincèrement, vraiment pas simple à utiliser et à en tirer quelque chose. J’aurai vraiment espérer qu’en le faisant tourner il te donner UN set des meilleurs variables sur les 5 périodes et non pas un set pour chaque période
Idem que précédemment, cela équivaudrait à faire une optimisation ordinaire. Une stratégie robuste est une stratégie qui s’adapte au marché et qui tire un bénéfice de la ré-optimisation et c’est que l’on simule avec ces X occurrences (5 par défaut). Si le WFE avait été bon sur les X occurrences hors échantillon, alors on pourrait dire que la stratégie est robuste car elle se cale correctement avec le marché si on l’optimise. On peut donc lui faire confiance pour l’avenir (la période à trader soit la période hors échantillon .. ). Je sais c’est pas très accessible au premier abord. Pour moi, c’est plutôt clair, je comprends que ça le soit moins pour la plupart.. J’essaie d’expliquer au plus “simple”, enfin je crois 🙂
03/09/2017 at 9:25 PM #27995Bah non pas une optimisation normale sur une période globale, une optimisation qui fait ressortir les variables de la période p-1 qui aurait donné les meilleurs résultats sur la période p+1, mais 5 fois de suite
Le problème c’est qu’avec ce Walk Forward la stratégie n’est robuste QUE sur la période testée, pas sur 5 périodes prises les unes après les autres et vu que les variables optimales changent à chaque fois
Honnetement je suis déçu de ce Walk Forward, pour moi c’est une usine à gaz avec 350 chiffres que personnes ne sait interpréter ni utiliser alors je ne vois pas bien quel en est son intêrêt
On parle de robustesse, ok, mais le fait que sur 5 périodes on est un WFE>50 % avec des variables optimisées à chaque fois, ne permet pas plus de dire que sur une sixème période cela se passera de la même manière
Eventuellement pourrais tu poster des exemples concrets d’algo passés au WF et ce que tu tires des résultats obtenus. Perso je pense qu’avoir 5 périodes testées avec un WFE>50 % va falloir y aller.
Merci en tout cas pour les explications et essayer d’expliquer l’inexplicable
Zilliq
03/09/2017 at 10:09 PM #27999Bonsoir
Un peu compliqué honnêtement je m’attendais à autre chose.
Pour moi le walk forward c’est le walk forward de chez Selfinvest qui teste une stratégie
en faisant défiler le graphique en accéléré , en reprenant ce qui s’est passé comme si on était en réel , d’où des backtests beaucoup plus précis
et réalistes
Ici pour moi le terme walk forward est inapproprié
Alors à quand un vrai walk forward???
Madrosat
1 user thanked author for this post.
03/09/2017 at 10:35 PM #28001C’est bon, j’ai compris comment fonctionnait le WF de PRT !
Vache cela n’a pas été simple
Et le salut est venu de l’aide du Walk Forward de Tradestation 🙂 Qui est gigantesque. Alors que sur PRT on a un mini papier. No comment…
http://help.tradestation.com/09_01/tswfo/tswfo.htm#topics/about_wfo.htm
En gros, et pour faire simple, c’est comme si A CHAQUE DEBUT DE PERIODE on faisait une optimisation en réel et que l’on utilisait les meilleures variables déterminées par le système sur la période In Sample, sur les prochaines données Out Sample !
L’idée est donc de déterminer si une optimisation à intervalle régulier permttrait d’avoir une stratégie payante, ou non.
Ouf !
Donc le WF de PRT ne détermine pas les meilleures variables, mais il teste les variables optimisées sur la période précédente sur la période à venir
D’où le ratio WFE qui doit être supérieur à 50 % donc meilleur que la période In Sample
Moralité et perso je pense qu’il vaut mieux une optimisation ANCREE car c’est plus ce que nous faisons dans la vraie vie=optimisation depuis le début, qu’une optimisation non ancrée uniquement sur une période précédente.Après cela n’engage que moi
Et bien cela n’aura pas été simple. Comprendre comment fonctionne une Mercedes en lisant la notice d’une BMW, il nous aura tout fait PRT 🙂
Zilliq
1 user thanked author for this post.
03/09/2017 at 11:17 PM #28009@zilliq Tu viens d’expliquer avec d’autres mots, la même chose que j’explique dans mes précédents messages. Il y a bien d’autres plateformes qui pourraient sans doute te plaire, en tout les cas, pour lesquels tu n’aurais pas une critique à formuler à chaque évolution.. Peut-être ? Le walk forward était pour mémoire une des requêtes de ta liste, c’est disponible maintenant, profitons on, c’est gratuit et développé spécifiquement pour les développeurs de stratégies que nous sommes.
Personnellement je suis satisfait, je n’ai plus à faire moi même à la main les tests OOS, désormais tout est automatisé. Avec les tests de monte Carlo à venir et l’évolution du walk-forward sur des optimisations autres que sur le gain global, alors on sera gâté. On aura une solution complète de développement pour le trading algorithmique.
@Madrosat je pense que tu confonds avec un forward test, ça n’est pas la même chose 🙂03/10/2017 at 12:26 AM #28010Tu sais pour avoir fais le tour de nombreuses plateformes, pour moi PRT n’est pas la plus mauvaise, je suis notamment passé longtemps sur MT4 qui a bien plus de problèmes, mais admets que pour une évolution majeure que l’on attend des puis des lustres (comme le MTF) avoir une toute petite feuille d’explications c’est quand même ultra léger là où les concurrents font des notices ultra complètes.
C’est un peu toujours pareil, ils font des trucs super bien, mais pas aboutis (trading à la souris etc…), ou bien il y a de super trucs tout simples, comme la possibilité de donner un nom à une variable et hop il le retire et maintenant on se retrouve avec des variables avec des noms à rallonge. Un jour il y aura le MTF mais tu verras ce ne sera pas pour tout etc…Et tout ca bien sur alors que les concurrents ont ca depuis belle lurette (Le monte Carlo est déjà chez Tradestation notamment).
Enfin bref, c’est pas grave, espérons qu’ils lisent nos desiderata et cela va s’améliorer avec le temps
Bye et merci
Zilliq
03/10/2017 at 8:49 AM #2802503/10/2017 at 10:46 AM #28060 -
AuthorPosts