Backtest Algos In/OOS

Forums › ProRealTime forum Français › Support ProOrder › Backtest Algos In/OOS

Viewing 15 posts - 1 through 15 (of 18 total)
1 2
  • 05/12/2020 at 8:50 AM #131246
    zilliq

    Bonjour à tous,

    Ce matin, comme souvent, j’aime faire un point dans ce que j’appelle mon “incubateur” à algo, pour voir ce qui a fonctionné et surtout ce qui n’a pas fonctionné, quelles sont les idées qui s’en dégage etc…Je pense que chaque codeur algos doit en faire de même

    Et ce matin j’ai trouvé une jolie pépite. Non pas par ses trades gagnants, au contraire mais pour son évolution qui conforte de plus en plus certaines impressions

    Un backtest a été fait sur la partie encadrée en jaune, puis mis en réel après OOS, sur la longue période de trades perdants et de manière régulière. Un très beau triangle isocèle

    Et durant toute cette période le kurtosis était positif et le skewness négatif !

    Moralité:

    1/ Ne pas faire confiance aux backtests, un “très” bon candidat peut être catastrophique une fois mis en réel ! Pourquoi ? comment ? c’est ce que je cherche toujours..Les conditions du marché, des paramètres qui étaient bons lors du backtests n’était plus bon après etc..

    2/ Intérêt du kurtosis et du skewness ?? De plus en plus dubitatif. S’il donne une idée de la régularité des trades une corrélation In/OOS semble de moins en moins probable

    A suivre

    Très bonne fin de journée

     

    05/12/2020 at 8:51 AM #131248
    zilliq

    Désolé j’ai voulu mettre un autre titre plus “parlant” mais le post n’a pas voulu être mis en ligne…

    05/12/2020 at 9:09 AM #131252
    Mauro T. “Algorithm System”

    Salut … en regardant le graphique, c’est un laps de temps rapide …. quelques opérations dans le Backtest … c’est une conséquence normale de la façon de perdre de l’argent …. Mais c’est juste ma façon personnelle de voir le trading.

    05/12/2020 at 9:16 AM #131254
    Nicolas

    Quel serait le bon titre pour ton sujet ? Je vais le modifier.

    Pour répondre à tes questions:

    1/ c’est bien ceux à quoi sert la validation OOS. La stratégie développée sur ta période IS est biaisée, sur-optimisée, comme tu le constates dans ton image, d’où l’intérêt des tests de robustesse (pas non plus fiable à 100% puisque le futur restera toujours incertain) avec le module de walk-forward par exemple. Tu as d’ailleurs peut être effectué ces tests durant ta période développement et déclaré ta stratégie robuste à ce moment là, mais rien ni personne ne pourra jamais attesté de ce qui se passera par la suite. Malheureusement, les tests de robustesse c’est tout ce que l’on a à disposition et rien d’autres. Il faut se rendre à l’évidence, si ça ne marche pas OOS c’est souvent peut être par ce que ça ne devait pas marcher, tant pis, next ! 🙂

    2/ idem que pour le 1. La distribution des ordres en période IS est aussi surement biaisé par la stratégie.

    Mais en effet, peut être que les conditions de marché en OOS n’ont pas été suffisamment optimisé pour valider ta période IS 😉

    05/12/2020 at 9:56 AM #131263
    Mauro T. “Algorithm System”

    Personnellement, après avoir fait le Backtest, je l’insère dans Demo pendant au moins un an, et s’il reste stable à la fois dans les bénéfices et principalement dans Drawdown, je peux le mettre en compte en réel.

    05/12/2020 at 11:29 AM #131269
    zilliq
    Mauro wrote:

    Personnellement, après avoir fait le Backtest, je l’insère dans Demo pendant au moins un an, et s’il reste stable à la fois dans les bénéfices et principalement dans Drawdown, je peux le mettre en compte en réel.

    Oui c’est ce que je fais dans “l’incubateur” à algo, sorte de test de robustesse OOS sorte de Walk Forward sauf qu’au lieu de le tester dans le passé on le fait dans le futur, mais la démarche est la même globalement

    05/12/2020 at 11:31 AM #131270
    zilliq
    Nicolas wrote:

    Quel serait le bon titre pour ton sujet ? Je vais le modifier.

    Pour répondre à tes questions:

    1/ c’est bien ceux à quoi sert la validation OOS. La stratégie développée sur ta période IS est biaisée, sur-optimisée, comme tu le constates dans ton image, d’où l’intérêt des tests de robustesse (pas non plus fiable à 100% puisque le futur restera toujours incertain) avec le module de walk-forward par exemple. Tu as d’ailleurs peut être effectué ces tests durant ta période développement et déclaré ta stratégie robuste à ce moment là, mais rien ni personne ne pourra jamais attesté de ce qui se passera par la suite. Malheureusement, les tests de robustesse c’est tout ce que l’on a à disposition et rien d’autres. Il faut se rendre à l’évidence, si ça ne marche pas OOS c’est souvent peut être par ce que ça ne devait pas marcher, tant pis, next ! 🙂

    2/ idem que pour le 1. La distribution des ordres en période IS est aussi surement biaisé par la stratégie.

    Mais en effet, peut être que les conditions de marché en OOS n’ont pas été suffisamment optimisé pour valider ta période IS 😉

    100 % d’accord avec toi Nicolas, après comme tu as du voir sur un autre post, 6 heures pour faire un WF sur 35 000 unités c’est vraiment trop long

    05/12/2020 at 11:40 AM #131271
    zilliq

    Sinon @Nicolas sais tu s’ils ont bientôt prévu de pouvoir backtester sur un indicateur car cela manque vraiment sur les backtest ?

    Merci

    05/12/2020 at 11:45 AM #131272
    bertrandpinoy

    bonjour Zilliq quel confiance peut on accorder au compte demo par rapport au réel d après toi ? (je ne parle pas de backtest). Merci

    05/12/2020 at 12:02 PM #131275
    zilliq
    bertrandpinoy wrote:

    bonjour Zilliq quel confiance peut on accorder au compte demo par rapport au réel d après toi ? (je ne parle pas de backtest). Merci

    La démo c’est la femme dont tu rêves, le réel c’est la femme avec qui tu vis 😉

    Je suis en train de faire un test (pièce jointe): En enlevant les optimisations, le machine learning, recodant les boucles For/Next, en allégeant le money management etc…Passage des algos d’environ 600 lignes de codes d’algos à 200, on peut gagner du temps (20 mn pour faire 70 % d’une passe sur 35 0000 unités ), mais bon ce n’est plus exactement le même algo. A voir à l’usage

    1 user thanked author for this post.
    avatar bertrandpinoy
    05/12/2020 at 12:07 PM #131280
    zilliq

    Pour infos, la version “normale” non allégée de cet algo avait mis environ 3 fois plus de temps (Pièce jointe)

    05/12/2020 at 1:20 PM #131303
    zilliq

    Je confirme le gain de temps : 1h30 environ pour faire un WF après allègement au max du code.

    C’est 4 fois moins de temps qu’avec l’algo originel

    05/12/2020 at 2:36 PM #131312
    Nicolas

    Pour mémoire, d’un backtest à l’autre le temps n’est pas comparable puisque comme tu le sais ils sont fait server-side et tout dépend de ta position dans la liste et de la surcharge des serveurs (notamment importante dans le contexte actuel).

    05/13/2020 at 10:02 AM #131450
    MAKSIDE

    Effectivement, c’est incroyable en ce moment le temps BT..  update des serveurs serait la bienvenue ….

    ce matin, 30mn pour bt 10.000 units….

    05/13/2020 at 11:39 AM #131481
    zilliq
    MAKSIDE wrote:

    Effectivement, c’est incroyable en ce moment le temps BT.. update des serveurs serait la bienvenue ….

    ce matin, 30mn pour bt 10.000 units….

    Tu as de la chance, j’en suis à 2h15 de Walk Forward pour 8000 units en ayant allégé au maximum le code …

  • Author
    Posts
Viewing 15 posts - 1 through 15 (of 18 total)
1 2

Find exclusive trading pro-tools on ProRealCode Marketplace

Similar topics:
aide sur programation en backtest
anomalie du rapport détaillé d’un backtest
backtest d’une stratégie de pullback supertrend
backtest des variables hs
backtest résultats étrange
backtest/algo trend bougie japonaises
besoin de comprendre un code, backtest 100% gagnant
erreur de backtest avec tableau dans une condition
extratrend, metascore: erreur prt lors du backtest
graphiques diffèrent entre backtest et réels

Create your free account now and post your request to benefit from the help of the community
Register or Login