Problemet — modellen som lär sig för väl
Kapitel 1 av 6 · 4 min
Backtestens paradox: ju bättre resultatet ser ut, desto mer misstänkt är modellen. Kapitlet förklarar varför och principen för botet.
En modell med tillräckligt många rattar kan passera vilken historisk kurva som helst — det är överanpassningens mekanik, och begreppet ägs av backtestkursen (ek-04): modellen memorerar bruset i stället för att lära sig signalen, och historien önskar tillbaka det den fått se. Symtomet är detsamma i varje labb: träningsvärdena glänser, verkliga utfall bleknar, och ingen i rummet kan säga var gränsen gick mellan kunskap och anpassning. Botet är inte mer data — det är en mur: något av historien får ALDRIG vara med när modellen byggs, och måste sedan mötas som främling.
Det är walk-forward-principen i en mening: optimera på ett stycke historia, pröva på nästa, och repetera framåt genom tiden som en maskin av små öden. Gränsen mot ek-04 dras noggrant: där ägs fällorna (urval, överlevnad, framförhållning) och begreppet överanpassning — här ägs proceduren som mäter den, fönstret och dess tal. Skillnaden är skillnaden mellan att veta att man kan luras och att ha en rutin som visar när det händer: den första är insikt, den andra är instrument — och labbet behöver båda.