Читать книгу Астрология и рождение науки. Схема небес - Александр Боксер - Страница 8

Глава 1
Всему свое время

Учет и контроль

Оглавление

Тысячелетиями звезды учили нас извлекать информацию из непомерных массивов беспорядочных на вид данных. И пусть, как показали нам звезды, у нашего разума есть свои причуды, если приходится работать с большими и произвольными величинами, это не значит, что мы бессильны освоиться с громоздкими системами, нерегулярными системами и системами, которые одновременно и громоздкие, и нерегулярные. К счастью, у нашего мозга есть в запасе пара трюков, которые помогают компенсировать – хотя бы отчасти – наше необъективное первое впечатление от вещей. И прежде всего нас выручает способность считать.

Как пример того, что можно узнать при помощи скрупулезного подсчета, сошлюсь еще раз на рис. 1.2. На нем четыре изображения настоящего ночного неба: b – Телец и Возничий, d – Лев, e – Скорпион и f – Лебедь. Если вы рискнули сделать свою догадку, то по числу правильно угаданных настоящих карт можете заработать 0, 1, 2, 3 или 4 балла. У обычного человека – не ветерана визуальных прогулок по звездному небу – будет немного шансов выбрать все четыре подлинные карты. Что значит немного? Посмотрим на баллы и шансы заработать их наугад в приведенной ниже таблице 1.1[11].


Таблица 1.1. Баллы за сортировку звездных карт

* Имеется в виду туз, двойка, …, десятка, а не валет, дама или король. – Прим. перев.


Нередко высокая или низкая вероятность некоторого события противоречит нашей интуиции. Вам казалось, что угадать три подлинные карты созвездий – это нечто? Как указано в таблице 1.1, это не более удивительно, чем бросить монету два раза и оба раза получить орла, – другими словами, ничего особенного.

Угадайка наподобие той, что представлена на рис. 1.2, бывает весьма полезна, когда нет других способов получить информацию, например, о том, правда ли человек так искусен в опознании созвездий, как утверждает. Собственно, это пример так называемого статистического теста – тщательно продуманного эксперимента, в котором знание законов вероятностей помогает извлечь из фактов обоснованный ответ на поставленный вопрос. На самом деле я составил рис. 1.2 как точное подобие одного из самых знаменитых тестов в истории статистики, так называемого чайного эксперимента. Его формат был разработан Рональдом Фишером, одним из титанов статистики XX века, когда одна из его коллег заявила, будто может отличить, что было сначала налито в ее чашку: чай или молоко. (Предание гласит, что она легко рассортировала восемь чашек чая с молоком, расставленные в случайном порядке, на правильные группы по четыре чашки, и Фишеру пришлось нехотя признать ее талант чайного дегустатора.) [12]

В наше время статистические тесты широко применяются в науке и промышленности, от оценки эффективности лечения до оценки влияния дизайна веб-страницы на число пользовательских кликов и даже для оценки постоянства вкуса пива от бутылки к бутылке. Такие тесты применимы к числовым данным любого рода, и для их планирования не требуется знать контекст – ведь эти тесты имеют дело с голыми числами и выдают в качестве результата голые числа. Поэтому они так полезны в самых разных областях исследований, включая такие ненадежные и быстро меняющиеся сферы, как гуманитарные и социальные тренды, где у ученых нет надежных теорий. В таких случаях статистические тесты – это единственное, на что можно положиться, чтобы как-то судить о положении вещей.

У такого подхода, где выводы делаются только по голым числам, без опоры на соображения за пределами статистики, есть коварный недостаток: оказывается, слишком легко ошибиться в оценке значения редкого результата. Трудно сопротивляться искушению придать глубокий смысл маловероятному событию, объявить, что случилось большее, чем простое совпадение. Особенно когда случай подтверждает теорию, в которую нам ужасно хочется верить. Но что именно считать редким, вопрос относительный. Если процедура повторяется многократно, редкие результаты появляются практически с неизбежностью, и они будут сбивать нас с толку, если мы не ведем учет тех случаев, где ничего редкого не произошло[13].

Возвращаясь к примеру со звездными картами, заметим, что существует ровно 70 способов отобрать четыре из восьми картинок. На этот случай есть известная математическая формула: если вы создаете группу, содержащую k предметов, имея в своем распоряжении N кандидатов (так называемый выбор из N по k), то число вариантов составляет


(Здесь восклицательный знак означает вычисление факториала. Например, 4! читается как «четыре факториал» и означает 4×3×2×1 = 24.)


Правилен лишь один способ из 70 (выбор из 8 по 4 имеет как раз 70 вариантов). Значит, наугад выбрать подлинные звездные карты – один шанс из 70, около 1,4 %. Обычно такой результат считается статистически значимым. Другими словами, видя такой результат, который при выборе наугад должен встречаться лишь в 1,4 % случаев, мы склонны признать вероятным наличие некоей причины. Может быть, мы столкнулись с настоящим знатоком звездного неба.

При таком подходе мы даем эксперту возможность доказать свою компетентность, однако в то же время удачный выбор четырех подлинных карт созвездий еще не гарантия компетентности. Даже наоборот, этот тест гарантирует, что среди тех, кто пытался выбрать нужные карты наугад, один из 70 в этом преуспел. И значит, силой голых чисел, этот редкий исход не просто возможен, – при большом числе попыток он просто неизбежен.

11

Стандартное колесо рулетки разделено на 37 карманов, так что ваши шансы проиграть составляют 36/37 = 97,3 %. В колоде из 52 карт 40 карт – без картинки, так что шансы вытянуть такую карту составляют 40/52 = 76,9 %. Вероятность того, что, когда монету бросают два раза, оба раза выпадет орел, составляет 1/2 × 1/2 = 25 %. Вероятность того, что, когда монету бросают шесть раз, каждый раз выпадает орел, составляет 1/2 × 1/2 × 1/2 × 1/2 × 1/2 × 1/2 = 1,6 %.

12

См.: Ronald A. Fisher. The Design of Experiments. Edinburgh; London: Oliver and Boyd, 1935. Ch. 2. Без математики та же история (включая утверждение о правильной сортировке всех восьми чашек чая) рассказана здесь: David Salsburg. The Lady Tasting Tea: How Statistics Revolutionized Science in the Twentieth Century. New York: W. H. Freeman, 2001. Ch. 1.

13

Во многих областях исследований порогом статистической значимости для публикации открытия считается достоверность 5 %, или 1 из 20. Каждое двадцатое из таких открытий должно быть случайным шумом, а не эффектом, о котором заявляют авторы. См., например: John P. A. Ioannides. Why Most Published Research Findings are False // PLoS Med. 2005. e124. Ситуация еще хуже, если исследователи повторяют эксперимент, пока не добьются «значимого» результата. В физике элементарных частиц за пороговую значимость принимается пять сигм, это примерно 1 на 3,5 миллиона. Если бы мы открыли 3,5 миллиона фундаментальных физических частиц (чего на самом деле не было), следовало бы подозревать, что примерно одно из открытий при дальнейших исследованиях окажется результатом случайной флуктуации.

Астрология и рождение науки. Схема небес

Подняться наверх