Optimisation et analyse Walk Forward _ aides

Forums ProRealTime forum Français Support plateforme ProRealTime Optimisation et analyse Walk Forward _ aides

Viewing 15 posts - 1 through 15 (of 37 total)
  • #27786

    Suite à l’arrivée de ce nouveau module dans la plateforme, j’ouvre ce topic dédié pour toutes questions, aides et explications nécessaires à son fonctionnement ainsi qu’à l’interprétation des résultats.

    Liens disponibles sur le site pour en savoir plus:

    Vidéo explicative du fonctionnement dans sa globalité en Français (+20min): https://www.prorealcode.com/blog/video-tutorials/analyse-walk-forward-prorealtime/

    Vidéo récapitulative sur le Walk Forward (6 min.): https://www.prorealcode.com/blog/recapitulatif-sur-lutilisation-du-module-walk-sous-prorealtime/

    Extrait de la documentation ProBacktest en Anglais: https://www.prorealcode.com/blog/learning/strategy-optimisation-walk-analysis/

    EDIT 26/04/17: Nouvel article en Anglais dans le blog, reprenant un peu toutes les questions évoquées sur les différents forums depuis l’apparition du Walk forward: https://www.prorealcode.com/blog/prorealtime-walk-analysis-tool/

    4 users thanked author for this post.
    #27801

    Bonjour Nicolas,

    On va peut être attendre tes vidéos d’explications et voir comment compléter ensuite 😉

    Merci d’avance

    Zilliq

    #27827

    J’ai créé le sujet pour pouvoir coller son lien dans la vidéo YouTube justement. J’ai donc fait comme prévu une rapide vidéo d’explication cette après midi, ça n’était pas très préparé mais je pense que le principal y est 🙂

    https://www.prorealcode.com/blog/video-tutorials/analyse-walk-forward-prorealtime/

    #27862

    Resalut Nicolas,

    Je pense effectivement que tu étais un poil fatigué. J’adore le “c’est de la merde !”

    Bref plusieurs questions à froid

    1/ je n’ai rien compris à ce que PRT appelle le WFE. comment il est calculé, et comment l’interpréter ?

    2/ de même que signifie performance annualisee ? C’est les résultats que l’on aurait obtenu après une année avec ces paramètres ??

    3/ si j’ai bien compris qu’ il fallait que le wfe soit supérieur à 50%. Est ce que cela signifie que les 5 périodes de test doivent être supérieures à 50% pour que la stratégie soit viable . Ce qui me paraît compliqué. Ou seuls 3 sur 5 par exemple suffisent ?

    4/ dernière chose au final de ces 5 tests, quels variables retenir ?

    Merci d’avance

    Zilliq

    1 user thanked author for this post.
    #27871

    Oups j’ai oublié de couper ça au montage.. Je vais refaire la vidéo demain 🙂

    #27958

    La vidéo est corrigé, ouf! Je vais pouvoir monter un bêtisier des vidéos un jour 🙂

    Pour répondre à tes questions:

    1/ ça n’est pas PRT qui a crée le WFE. Le Walk Forward Efficiency est le ratio de “qualité” du test pour déterminer la robustesse de la stratégie. Il est simplement calculé en divisant le rendement annualisé de la période hors échantillon (OOS) par le rendement annualisé de l’échantillon optimisé (IS). Logique, puisque ces 2 périodes n’ont pas la même durée, il faut pouvoir les comparer ensemble, donc on annualise leurs performances.

    Dans ce cas, si le WFE (l’éfficacité Walk Forward en Français..) est supérieur à 50%, on considère que l’optimisation a réussi, puisque le rendement de la stratégie dans la durée hors échantillon a été d’au moins 50% vis à vis de notre optimisation. Plus elle est importante, mieux cela serait bien sûr. Si elle était plus faible, alors sans doute que l’optimisation aurait échoué, l’optimisation aurait mené à une “sur optimisation”, l’overfit en Anglais : on est trop adapté à ce qui s’est passé et sans se soucier de comment la stratégie pourrait performer dans le futur. C’est ici que prend l’intérêt de ce mode d’optimisation.

    2/ répondu dans le 1)

    3/ Attention, l’analyse Walk Forward ne va pas faire d’une mauvaise stratégie sur-optimisé, une meilleure stratégie moins sur-optimisé. C’est un outil qui permet de tirer nous mêmes des conclusions.

    Dans le Walk Forward, on a plusieurs occurrences, qui nous permettent de simuler plusieurs fois à la suite le trading ‘temps réel’ de la stratégie et cela sur toutes la durée de notre historique. On pourrait le faire qu’une seule fois (1 seule occurrence), mais nous n’aurions qu’une seule période de validation. En multipliant les occurrences, on a ainsi plus de périodes de validation, nous permettant de vérifier si celles-ci ont un bon WFE. Plus il y a d’occurrences vérifiant un bon WFE, alors plus de chances on a d’avoir trouvé une stratégie robuste.

    4/ Toutes et aucunes. Chaque occurrence est une optimisation à part entière. Comme je le stipule dans la vidéo, le fait d’avoir plusieurs occurrences valides, nous permet de connaître par avance, la durée adéquate pendant laquelle on peut trader la stratégie sans la ré-optimiser (période hors échantillon = Out Of Sample). Une fois cette période passée, on ré-optimise pour la même durée d’échantillon.

     

     

    2 users thanked author for this post.
    #27960

    Euh,

    Je comprends un peu mieux, mais

    Ce que tu appelles rendement annualisé, c’est ce qu’aurait gagné la stratégie sur l’année avec ces paramètres ? Mais comment c’est possible car le test n’est fait que sur une courte période?

    Mais pourtant quand on met les premières variables ou-sample les gains sur l’ensemble de la période sont différents ?

    Pour le 4, ce que je ne comprends pas c’est que l’on teste 5 sets de variables pour au final et théoriquement choisir le set qui donne ou donnerait les meilleurs résultats.

    Là le truc c’est que que tu te retrouves avec 5 sets *2, ancré ou non ancré avec des résultats complètement différents et rien ne dit que si le 2ème test était bon, il le sera encore dans le futur sur les 3 autres tests

    Sincèrement, vraiment pas simple à utiliser et à en tirer quelque chose. J’aurai vraiment espérer qu’en le faisant tourner il te donner UN set des meilleurs variables sur les 5 périodes et non pas un set pour chaque période

    Et puis ils ne précisent pas à partir de quel moment on considère qu’une stratégie est robuste, intéressante ou non, et de fait avec quels variables

    Zilliq

     

    1 user thanked author for this post.
    #27964

    Ce que tu appelles rendement annualisé, c’est ce qu’aurait gagné la stratégie sur l’année avec ces paramètres ? Mais comment c’est possible car le test n’est fait que sur une courte période?

    Le rendement annualisé c’est une simple règle de 3, calculé avec le résultat de cette “courte période” en effet.

    Pour le 4, ce que je ne comprends pas c’est que l’on teste 5 sets de variables pour au final et théoriquement choisir le set qui donne ou donnerait les meilleurs résultats.

    Alors ça équivaudrait à faire une optimisation “normale”, non ?

    Là le truc c’est que que tu te retrouves avec 5 sets *2, ancré ou non ancré avec des résultats complètement différents et rien ne dit que si le 2ème test était bon, il le sera encore dans le futur sur les 3 autres tests

    Et oui, même l’analyse Walk Forward ne peut prédire le futur, il va falloir s’y faire 🙂

    Sincèrement, vraiment pas simple à utiliser et à en tirer quelque chose. J’aurai vraiment espérer qu’en le faisant tourner il te donner UN set des meilleurs variables sur les 5 périodes et non pas un set pour chaque période

    Idem que précédemment, cela équivaudrait à faire une optimisation ordinaire. Une stratégie robuste est une stratégie qui s’adapte au marché et qui tire un bénéfice de la ré-optimisation et c’est que l’on simule avec ces X occurrences (5 par défaut). Si le WFE avait été bon sur les X occurrences hors échantillon, alors on pourrait dire que la stratégie est robuste car elle se cale correctement avec le marché si on l’optimise. On peut donc lui faire confiance pour l’avenir (la période à trader soit la période hors échantillon .. ). Je sais c’est pas très accessible au premier abord. Pour moi, c’est plutôt clair, je comprends que ça le soit moins pour la plupart.. J’essaie d’expliquer au plus “simple”, enfin je crois 🙂

    #27995

    Bah non pas une optimisation normale sur une période globale, une optimisation qui fait ressortir les variables de la période p-1 qui aurait donné les meilleurs résultats sur la période p+1, mais 5 fois de suite

    Le problème c’est qu’avec ce Walk Forward la stratégie n’est robuste QUE sur la période testée, pas sur 5 périodes prises les unes après les autres et vu que les variables optimales changent à chaque fois

    Honnetement je suis déçu de ce Walk Forward, pour moi c’est une usine à gaz avec 350 chiffres que personnes ne sait interpréter ni utiliser alors je ne vois pas bien quel en est son intêrêt

    On parle de robustesse, ok, mais le fait que sur 5 périodes on est un WFE>50 % avec des variables optimisées à chaque fois, ne permet pas plus de dire que sur une sixème période cela se passera de la même manière

    Eventuellement pourrais tu poster des exemples concrets d’algo passés au WF et ce que tu tires des résultats obtenus. Perso je pense qu’avoir 5 périodes testées  avec un WFE>50 % va falloir y aller.

    Merci en tout cas pour les explications et essayer d’expliquer l’inexplicable

    Zilliq

     

    #27999

    Bonsoir

    Un peu compliqué  honnêtement je m’attendais à autre chose.

    Pour moi  le walk forward  c’est  le walk forward de chez Selfinvest qui teste une stratégie

    en faisant défiler le graphique en accéléré , en reprenant ce qui s’est passé  comme si on était en réel ,  d’où des backtests beaucoup plus précis

    et réalistes

    Ici pour moi le terme walk forward est inapproprié

    Alors à quand un vrai walk forward???

    Madrosat

     

     

    1 user thanked author for this post.
    #28001

    C’est bon, j’ai compris comment fonctionnait le WF de PRT !

    Vache cela n’a pas été simple

    Et le salut est venu de l’aide du Walk Forward de Tradestation 🙂 Qui est gigantesque. Alors que sur PRT on a un mini papier. No comment…

    http://help.tradestation.com/09_01/tswfo/topics/frequently_asked_questions.htm#How_many_walk-forward_runs_should_be_done_to_validate_a_walk-forward_analysis_

    http://help.tradestation.com/09_01/tswfo/tswfo.htm#topics/about_wfo.htm

    En gros, et pour faire simple, c’est comme si A CHAQUE DEBUT DE PERIODE on faisait une optimisation en réel et que l’on utilisait les meilleures variables déterminées par le système sur la période In Sample, sur les prochaines données Out Sample !

    L’idée est donc de déterminer si une optimisation à intervalle régulier permttrait d’avoir une stratégie payante, ou non.

    Ouf !

    Donc le WF de PRT ne détermine pas les meilleures variables, mais il teste les variables optimisées sur la période précédente sur la période à venir

    D’où le ratio WFE qui doit être supérieur à 50 % donc meilleur que la période In Sample

    Moralité et perso je pense qu’il vaut mieux une optimisation ANCREE car c’est plus ce que nous faisons dans la vraie vie=optimisation depuis le début, qu’une optimisation non ancrée uniquement sur une période précédente.Après cela n’engage que moi

    Et bien cela n’aura pas été simple. Comprendre comment fonctionne une Mercedes en lisant la notice d’une BMW, il nous aura tout fait PRT 🙂

    Zilliq

    1 user thanked author for this post.
    #28009

    @zilliq Tu viens d’expliquer avec d’autres mots, la même chose que j’explique dans mes précédents messages. Il y a bien d’autres plateformes qui pourraient sans doute te plaire, en tout les cas, pour lesquels tu n’aurais pas une critique à formuler à chaque évolution.. Peut-être ? Le walk forward était pour mémoire une des requêtes de ta liste, c’est disponible maintenant, profitons on, c’est gratuit et développé spécifiquement pour les développeurs de stratégies que nous sommes.

    Personnellement je suis satisfait, je n’ai plus à faire moi même à la main les tests OOS, désormais tout est automatisé. Avec les tests de monte Carlo à venir et l’évolution du walk-forward sur des optimisations autres que sur le gain global, alors on sera gâté. On aura une solution complète de développement pour le trading algorithmique.


    @Madrosat
    je pense que tu confonds avec un forward test, ça n’est pas la même chose 🙂

    #28010

    Tu sais pour avoir fais le tour de nombreuses plateformes, pour moi PRT n’est pas la plus mauvaise, je suis notamment passé longtemps sur MT4 qui a bien plus de problèmes, mais admets que pour une évolution majeure que l’on attend des puis des lustres (comme le MTF) avoir une toute petite feuille d’explications c’est quand même ultra léger là où les concurrents font des notices ultra complètes.

    C’est un peu toujours pareil, ils font des trucs super bien, mais pas aboutis (trading à la souris etc…), ou bien il y a de super trucs tout simples, comme la possibilité de donner un nom à une variable et hop il le retire et maintenant on se retrouve avec des variables avec des noms à rallonge. Un jour il y aura le MTF mais tu verras ce ne sera pas pour tout  etc…Et tout ca bien sur alors que les concurrents ont ca depuis belle lurette (Le monte Carlo est déjà chez Tradestation notamment).

    Enfin bref, c’est pas grave, espérons qu’ils lisent nos desiderata et cela va s’améliorer avec le temps

    Bye et merci

    Zilliq

    #28025

    Le principal est que tu as compris l’intérêt de ce type d’optimisation.

    Si d’autres personnes ont des questions ou besoin d’éclaircissement, qu’elles n’hésitent surtout pas !

    #28060

    C’est vrai, parce que là autant s’appeler cela sera plus simple 😉

     

Viewing 15 posts - 1 through 15 (of 37 total)

Create your free account now and post your request to benefit from the help of the community
Register or Login