Читать книгу Камень ломает ножницы. Как перехитрить кого угодно: практическое руководство - Уильям Паундстоун - Страница 6

Наша судьба как в школе, так и после ее окончания в значительной степени зависит от контрольных опросов, выпускных испытаний, экзаменов на водительские права, приемных экзаменов и подтверждения квалификации. Составители тестов стараются сделать так, чтобы тот, кто не знает материал, не мог отгадать правильный ответ. В случае теста с несколькими вариантами ответов это означает, что каждый из предложенных должен иметь одинаковую вероятность оказаться верным.

Составление подобного теста – эксперимент по имитации случайности. Обычно тест с несколькими вариантами ответов представляет собой либо вертикальный список, либо строку. Можно ожидать, что составитель неосознанно предпочтет одни варианты другим, и последовательность правильных ответов не будет случайной.

В тот или иной момент большинство преподавателей, вероятно, получают предупреждение об этих проблемах. Журнальные статьи и учебники советуют работникам образования располагать правильные ответы случайно, хотя редко признают, что это легче сказать, чем сделать. Для эффективной рандомизации составителям тестов требуются компьютерные программы, игральные кости или монетка. Однако они вряд ли прибегнут к этим средствам, если не поймут, что проблема действительно серьезна и у них есть возможность ее избежать. Знают ли они, беспокоятся ли?

Именно это я и попытался выяснить. В настоящее время университеты публикуют в интернете архивы старых тестов с ключами ответов. В сети также имеется невероятное количество других тестов. Я набрал статистику из выборки в количестве 100 тестов – 34 из школ и колледжей и 66 из других источников, всего 2456 вопросов. Были взяты экзаменационные тесты для средних и старших классов школы, выпускных экзаменов колледжей и профессиональных училищ, экзаменов на права из десяти штатов (в том числе Нью-Йорка, Пенсильвании, Джорджии и Калифорнии), из программ самотестирования для процедуры натурализации, квалификационных испытаний для пожарных и операторов любительской радиосвязи, из газетных тестов на знание текущих событий, спорта и жизни знаменитостей, тестов из журнала Cosmopolitan («50 фраз, которые предпочитают мужчины»), а также тестов по технике безопасности (электричество, контрацепция и пищевые отравления). Я искал стратегии, помогающие угадать верный ответ, и вычислял степень их полезности.

Составители разных тестов не похожи друг на друга. Некоторые стремятся перемешать ответы, другие об этом даже не задумываются. Студенту, выполняющему несколько тестов, составленных одним и тем же профессором, полезно сохранить их (или найти в сети) и поискать закономерность в расположении правильных ответов, чтобы определить алгоритм действий составителя. Собранные мной данные, однако, дают основание предположить: даже не зная материала, можно делать ставку на некоторые распространенные закономерности.

Начнем с экзаменационных вопросов, предполагающих выбор ответа «да» или «нет». Преподаватель использует такого рода тесты потому, что их легче всего составлять и проверять. Составитель тестов, выбирающий тест с вопросами, требующими ответа «да» или «нет», идет кратчайшим путем, и с точки зрения стратегии это хорошо.

В данном случае выявились две закономерности. Первая: ответов «да» больше, чем ответов «нет». В среднем 56 процентов приходится на «да» и 44 процента на «нет».

Причину найти нетрудно. Ответ «да» первым приходит на ум. Мы вспоминаем какой-либо факт быстрее, чем придумываем ложь. Составители тестов следуют по пути наименьшего сопротивления, и у них получаются тесты с преобладанием ответа «да».

Другая закономерность вполне ожидаема – ответы «да» и «нет» чередуются гораздо чаще, чем при настоящей случайной последовательности. Вот, например, ключ к ответам теста из учебника для колледжа, состоящего из 20 вопросов (Plummer, McGeary, Carlson’s Physical Geology, девятое издание): НДДНДННДДНДДНДДДНДДН. Изобразим этот ключ в виде черных и белых квадратов, где белые обозначают ответ «да».

Эта последовательность только выглядит случайной. Один из способов проверки – подсчитать, сколько раз за правильным ответом («да» или «нет») следует тоже правильный. Таких случаев семь из 19 (после 20-го ответа нет следующего). Другими словами, вероятность того, что следующий ответ будет отличаться от текущего, составляет 63 процента. Это больше ожидаемых 50 процентов для случайной последовательности.

Будем надеяться, что вы не станете угадывать каждый ответ. В большинстве случаев вы заранее знаете правильные ответы на вопросы, которые предшествуют трудным и следуют за ними. Это позволяет разработать стратегию для теста с вопросами, предполагающими выбор ответа «да» или «нет»:

• Прежде чем пытаться что-то угадать, просмотрите весь тест, пометив вопросы, ответы на которые вы знаете.

• Посмотрите на известные правильные ответы, расположенные до и после тех, которые вызывают у вас затруднение. Если оба они одинаковы (например, оба «нет»), выбирайте противоположный («да»).

• Если ответы до и после разные, выбирайте «да» (поскольку такие ответы, скорее всего, преобладают).

Пример. Вам предстоит угадать ответ, окруженный ответами «да», в которых вы уверены. В этом случае предпочтительно ответить «нет».

Когда один из ответов до и после «да», а другой «нет», правило чередования дает противоречивые сигналы. Поэтому следует выбирать более распространенный вариант – «да».

Об угадывании в тесте с несколькими вариантами ответов существует богатый фольклор. Я помню, как мне советовали выбирать среднее. Судя по собранным мной данным, эта тактика бесполезна. В тестах с тремя вариантами выбора (назовем их A, Б, и В) все варианты с равной вероятностью правильные. При четырех вариантах второй ответ (Б) предпочтительнее с вероятностью 28 процентов – по сравнению с ожидаемыми 25 процентами для каждого варианта.

Когда вариантов пять, то чаще (23 процента) оказывается правильным последний ответ (Д). Наименее популярен (17 процентов) центральный вариант (В).

Похоже, что составители тестов интуитивно придерживались правильных пропорций для трех вариантов, но не смогли этого сделать для числа вариантов больше трех. Это согласуется с экспериментальными данными, свидетельствующими, что с увеличением числа вариантов выбора надежда угадать уменьшается.

Наилучшая стратегия – выбирать второй ответ (Б) в тестах с четырьмя вариантами и пятый ответ (Д) в тестах с пятью вариантами выбора.

Другой популярный совет при подготовке к тестам звучит так: «Никогда не выбирайте “никогда”». Следует избегать ответов, содержащих такие слова, как никогда, всегда, все или ничего. В нашем грешном и сложном мире эти универсалии без труда превращают истинное утверждение в ложное. Данный совет легко принять, особенно если задуматься, какой нелегкий труд – сочинять тест с несколькими вариантами ответа. На каждый верный ответ преподаватель должен придумать несколько правдоподобных неверных. Простые рецепты составления ложных утверждений должны использоваться достаточно часто.

Я обнаружил одно любопытное исключение. В исследованных мною тестах ответы «ни одно из вышеперечисленных» и «все из вышеперечисленных» в большинстве случаев оказывались верными. В одном из учебников для колледжа в тесте с четырьмя вариантами ответов такие, как «все/ничего», были правильными в 65 процентах случаев!

Ответы «ни одно из вышеперечисленных» не могут существовать отдельно; они должны быть окружены другими. Сложность задачи, по-видимому, мешает составителям включить нужное количество неверных ответов из категории «ни одно» или «все». В моей выборке ответ ни одно/все оказался верен в 52 процентах случаев. Такая близость к репрезентативности не может не вызывать удивления.

Другое любопытное эмпирическое правило гласит, что верным, скорее всего, окажется самый длинный из нескольких возможных ответов. На один из вопросов экзамена на водительские права в штате Вашингтон верным действительно оказывается самый длинный вариант (В):

Для поворота направо вы должны находиться:

А. В левом ряду.

Б. В среднем ряду.

В. В ряду, ближайшем к направлению, куда вы хотите повернуть.

Г. В любом ряду.

Составители тестов должны убедиться, что верные ответы бесспорны. Нередко это требует точных определений. В неверных ответах они могут не так стараться.

Подобно тестам, предполагающим выбор ответа «да» или «нет», тесты с несколькими вариантами ответа характеризуются избыточным чередованием. Довольно часто обнаруживались короткие тесты, в которых ни один правильный вариант не повторялся два раза подряд. Ключ к ответам напоминал поле для игры в классики.

Я подсчитал, насколько часто положение правильного ответа (A, Б, В…) повторяет положение предыдущего правильного ответа. Для тестов с тремя вариантами на выбор в моей базе данных правильные ответы в двух соседних вопросах совпадали только в 25 процентах случаев (против 33 процентов, ожидаемых для случайной последовательности). Для тестов с четырьмя вариантами выбора – совпадений 19 процентов (против 25 ожидаемых), а для тестов с пятью вариантами ответов – 18 процентов (против 20 ожидаемых).

На графике, иллюстрирующем эти результаты, линия отображает ожидаемую вероятность для настоящей случайной последовательности. Для любого количества вариантов выбора повторений оказалось слишком мало. Это означает, что испытуемый повышает свой шанс угадать ответ, просто не повторяя предыдущий.

Вероятность повторения ответа два раза подряд

Я составил соотношение этой и других стратегий, вычислив, насколько они улучшают шансы по сравнению со случайным угадыванием.

Совершенно очевидно, что лучшая стратегия – выбирать ответ «ничего из вышеперечисленного» или «все из вышеперечисленного». Эти варианты годятся почти в два раза чаще, чем остальные, на 90 процентов повышая шанс угадать по сравнению со случайным выбором (в некоторых наборах вариантов даны оба ответа, «ничего» и «все». Если вы хоть что-то знаете по теме, то сумеете отсеять неверный ответ).

Успеху способствуют и две другие стратегии – выбирать наиболее часто встречающиеся ответы и не повторять предыдущий. Эффективность примерно одинакова, особенно если вы поймете, что можете немного повысить вероятность успеха стратегии «не повторять предыдущий ответ» тем, что не повторите и следующий.

Когда требуется угадать ответ на вопрос с несколькими вариантами ответа, первым делом следует исключить явно неверные. Знание надежнее угадывания! Если вариант «ничего/все» не попал в число исключенных, выбирайте его. В противном случае используйте два других правила.

Пример. Вы не знаете ответа на вопрос № 2, но не сомневаетесь, что третий вариант (В) неверен. Остается три возможности. Среди предложенных вариантов нет «ничего из вышеперечисленного» или «все из вышеперечисленного».

В тестах с четырьмя вариантами выбора чаще верен второй вариант, и поэтому он предпочтительнее. Мысленно отметьте его «галочкой».

Вам известно, что правильные варианты ответов на соседние вопросы № 1 и № 3 – В и Г. Поэтому предпочтительнее отличный от них ответ – A или B. Мысленно отметьте их «галочками».

Анализ дает нам один голос за A, два за Б и ни одного за Г – В исключен на основании фактов. Вариант Б наиболее правдоподобен.

Если «голосование» дает равный результат, выбирайте любой из вариантов.

Совет колледжей прекрасно осведомлен о недостатках тестов, составленных вручную. Стандартизированный «Отборочный тест» (SAT) написан лучше, и угадать правильные ответы труднее, чем в обычных тестах для старших классов школы или колледжей. По возможности несколько вариантов ответа в тесте SAT располагаются в логическом или нумерационном порядке. В других случаях правильные ответы перемешиваются при помощи программного обеспечения. Это обесценивает стратегии, основанные на местоположении верного ответа в списке.

Совет колледжей публикует на своем сайте вопросы SAT (предполагается, что их не будут больше использовать) и примеры тестов. Я обнаружил, что для реальных тестов SAT, похоже, эффективна стратегия самого длинного ответа. Из 20 опубликованных на сайте вопросов с ответами в виде фразы или предложения в пяти случаях правильный ответ оказался самым длинным, и три раза он был связан с самым длинным ответом на другой вопрос. Если выбирать один из самых длинных ответов, то шанс угадать правильный составляет 6,5 из 20, или около 33 процентов, что превышает ожидаемые 20 процентов для SAT с пятью вариантами ответов.

Вполне возможно, что порядок ответов перетасован при помощи программного обеспечения. Но сами ответы все же приходится писать преподавателю, человеку. Он стремится замаскировать верный ответ, окружив его правдоподобными, но ошибочными вариантами (профессионалы называют их дистракторами). Правильный ответ обычно прячется в середине. Я имею в виду не середину списка – средним будет его значение. Аномальные ответы обычно неверные.

Распространено ложное представление, что в тесте SAT угадывание наказывается. Точнее было бы сказать, что система подсчета баллов, используемая Советом колледжей, наказывает за неверные ответы. При подсчете баллов Совет колледжей берет количество правильных ответов и вычитает определенную долю неправильных. Эта доля, составляющая 1/4 для тестов с выбором из пяти вариантов ответов, просто гарантирует, что невежда, пытающийся угадать ответ, не получит преимущества над тем, кто оставляет вопрос без ответа.

Такой подход включает в себя философию, которую я пытаюсь здесь применить. Стратегия угадывания полезна в том смысле, что она превосходит случайный выбор. Любая стратегия, обеспечивающая статистическое преимущество, работает на вас – в тестах SAT и во всех остальных.

И последнее правило: всегда пытайтесь угадать. Это эффективно даже при отсутствии какой-либо системы. Оптометристы предлагают пациенту угадать нижнюю строку таблицы, поскольку знают, что эти ответы часто оказываются правильными, несмотря на заверения пациента, что он не видит букв. Если вы совсем растерялись, спросите себя, какой из ответов выглядит более знакомым. Правильный ответ чаще кажется таковым. Возможно, вы его уже видели, а потом просто забыли, и это оставляет слабое ощущение «знакомого». Выбирайте «уже виденное» в качестве ответа.

Резюме: Как перехитрить тест с несколькими вариантами ответов

• В тестах «да» или «нет» чаще встречаются ответы «да».

• В тестах с несколькими вариантами ответов чаще всего правильным бывает ответ (Б).

• Ответы «ничего из вышеперечисленного» и «все из вышеперечисленного» имеют непропорционально высокую вероятность оказаться верными.

• Ответ, который был правильным в предыдущем вопросе (например, «да» или Г), скорее всего, будет неверным в текущем.

• Стратегия для стандартизированных тестов, наподобие SAT, состоит в исключении аномалий. Не выбирайте ответ, который слишком сильно отличается от остальных.