Prognosens katastrofmuseum — varför nästan alla prognoser failar
Kapitel 1 av 14 · 10 min
Nate Silver publicerade The Signal and the Noise 2012, samma höst som hans valprognoser träffade alla femtio delstater — och boken är ändå en bok om misslyckande. Silvers tes är obehaglig för en databaserad epok: informationen exploderar, men förståelsen gör den inte, för bruset växer lika snabbt som signalen. Detta kapitel ritar kartan över katastrofmuseet och ställer frågan som hela kursen och hela labbet måste bära: vad skiljer prognoser som fungerar från prognoser som underhåller?
Silver formulerar bokens grundmetafor redan i inledningen: »Signalen är sanningen. Bruset är det som distraherar oss från sanningen.« Han skrev boken i kölvattnet av en decennielång explosion av data — och hans observation är den omvända av teknikoptimisternas: mängden information växer exponentiellt, men signal-brus-förhållandet blir inte bättre av det.
Tvärtom. Mer data ger fler möjliga hypoteser, fler sätt att hitta mönster som inte finns, fler kurvor som kan passas till gårdagens brus. Fenomenet känner du från din egen terminal: hundra nyckeltal, tusen nyhetsnotiser, tiotusentals prisstick — och ändå ingen särskilt bättre koll på vad nästa kvartal bringar än en analytiker hade 1995.
Katastrofmuseet är välutfyllt. 2008: en global finanskris som nästan ingen ansvarig modell fångade i förväg — trots att marknaden bad i data. Ekonomerna: konjunkturprognoser som i praktiken jagade varje recession nedåt i stället för att förutsäga den. Punditerna: politiska TV-prognoser med träffsäkerhet i storleksordningen slantsingling — men med betydligt högre segerprocent i mediepanelen.
Jordbävningsforskare som lovat tidsangivelser och fått dra sig tillbaka. Terroranalytiker som missade 9/11 trots att bitarna fanns i systemet. Silvers poäng är inte att dessa människor var dumma — utan att de var kalibrerade fel: för säkra, för exakta, för ensamma med sina teser.
Och museet har en läktarsektion där motståndarna sitter: domänerna där prognoserna faktiskt blir bättre. Väderprognosen är den äldsta och ännu levande framgångssagan — fysikbaserade ensemblemodeller, ärliga sannolikheter och ett system som mäter och bestraffar sina egna fel. Baseball, Silvers egen hemmaplan, där hans PECOTA-system slog branschen genom att jämföra spelare med aggregat av liknande spelare.
Schack, där maskiner och människor i samspel lyfter nivån. Klimatvetenskapen, som gör något svårt (långsiktig trend) hyfsat medan båda lägren missbrukar det enkla (kortsiktigt brus). Skillnaden mellan bra och dåliga domäner är inte datamängd — det är återkoppling, kalibrering och ödmjukhet.
För AK1A-labbet är kursen fundamental eftersom den formulerar problemet innan vi får presentera någon lösning. AKM1 poängsätter fundamentaldata på tjugo variabler från V01 Försäljningstillväxt till V20 Återköp; AK1TS bygger deterministiska vågmatriser på fem tidshorisonter. Båda är prognosanspråk — och Silver är den som bäst formulerar varför sådana anspråk brukar misslyckas.
Kursens löfte är därför dubbla: du ska kunna varenda anklagelse mot prognosmakaren på rak arm, och du ska kunna skilja det legitimt strukturskapande från det oärligt spådande. Skillnaden heter kalibrering, och den går att mäta — det är kapitel ett i praktiken.