Atlas błędów poznawczych #57 · Dane i testy. Idealny backtest, słaba przyszłość
Jak to wygląda w tradingu
parametry dobrane tak, żeby wynik historyczny był najlepszy
testowanie setek wariantów i wybór najlepszego
reguły typu „ale nie w czwartki po 19:00”
Przykład z sesji
Symulacja z Błędów w liczbach #6: 200 losowych „strategii” na losowych danych. Najlepsza ma świetny wynik w okresie testu, a w kolejnym okresie jest przeciętna. Nic dziwnego: nigdy nie miała przewagi.
Co mówią badania
Halbert White (2000) zaproponował test sprawdzający, czy najlepsza z wielu przetestowanych strategii jest lepsza od przypadku. Bailey, Borwein, López de Prado i Zhu (2014) pokazali, jak łatwo przy wielu próbach otrzymać fałszywie świetny backtest. Harvey, Liu i Zhu (2016) zaproponowali ostrzejsze progi istotności w finansach z tego powodu.
Dopasowanie metody do szczegółów danych historycznych, w tym do przypadkowego szumu. Taka metoda świetnie opisuje przeszłość i słabo działa w przyszłości. Po angielsku: overfitting, data snooping.
Jak nadmierne dopasowanie objawia się w tradingu?
Typowe objawy: parametry dobrane tak, żeby wynik historyczny był najlepszy; testowanie setek wariantów i wybór najlepszego; reguły typu „ale nie w czwartki po 19:00”.
Treść edukacyjna, nie porada psychologiczna ani rekomendacja inwestycyjna.