April 18th, 2021

Всемирный заговор статистиков

Почитал очень хорошую статью, рекомендую всем.

Не бойтесь, говорить "а я предупреждал" не буду, хотя я и предупреждал :) Колмогоров подложил всем свинью, на которой все и едут до сих пор, и куда она нас всех завезет - совершенно неясно.

Свинья называется "распределение с толстым хвостом" и ее особенность в том, что она очень хорошо притворяется гауссианой.

Чтобы пояснить разницу между ними - возьмем два примера.

1. Измерим рост сотни человек, результаты сведем в гистограмму. В зависимости от региона у нас получится холмик - наибольшее число результатов измерений придется на район 170-175 см (для России, по крайней мере), а слева и справа от середки величины будут спадать, в общем-то до нуля (если добавить к середке метр или вычесть полтора). Правда холмик будет не очень симметричный и если уж честно, это не совсем гаусс, но принцип понятен. Самое в нем главное - то, что мы можем оперировать средним значением как некоторой моделью случайного числа. Ну, добавим для точности среднеквадратическое отклонение - и вообще, можно сказать, все про него знаем.

2. А теперь вычислим средние гонорары тысячи писателей. Если брать их наугад, то велик шанс на то, что в выборку попадут 99 честных МТА с гонорарами в пару тысяч и, например, Стивен Кинг, с гонораром в миллион. Ну, мы можем честно так посчитать среднее и даже СКО, но только они нам сообщат, что средняя зарплата писателя - десять тысяч с копейками. Совсем неплохо, все на автор.тудей.

С биржей в примере по ссылке - то же самое. Откройте какой-нибудь учебник по биржевой торговле, там вам непременно скажут, что ежели бы вы в 1959 году вложили тысячу, то сейчас были бы миллионером. На деле же миллион вложили по тысяче и 999 этой тысячи лишились, но один заработал так много, что его прибыль, размазанная на всех дала такие вот интересные цифры.

И по большому счету все так, по крайней мере в областях, которые связаны с людьми и их поведением. Там гаусс появляется редко и в довольно специфических условиях. А бал правят именно, что толстые хвосты.

Именно поэтому все предсказания будущего (которые делаются в подавляющем большинстве случаев именно на гауссовой основе) летят мимо.