Читать книгу Тирания показателей - Джерри Мюллер - Страница 3

Показанный кабельным каналом HBO сериал «Прослушка» (The Wire) основан на реальном опыте создателей, Дэвида Саймона и Эда Бернса. Его считают одним из величайших достижений современной культуры, и для этого есть веские основания. Хотя действие в нем разворачивается в одном американском городе, а именно в Балтиморе, сериал раскрывает деятельность важнейших институтов общества – полиции, школ, муниципальной администрации и средств массовой информации. Сериал – своего рода рентгенограмма работы этих институтов и ее негативных аспектов. Он вызывает интерес и за пределами США, поскольку поднятые в нем проблемы актуальны для всех западных стран.

Одна из сквозных тем сериала – значимость, которую придают количественным показателям, или оценке результативности, как центральному звену «учета». Полицейское начальство не видит ничего, кроме цифр – количества раскрытых дел и задержанных торговцев наркотиками, уровня преступности и т. п., – и жертвует эффективностью ради хорошей статистики. Цифры нужны политикам, которые хотят видеть успехи полиции в борьбе с преступностью. Поэтому в отделениях полиции делают всё, лишь бы избежать регистрации убийств на своих участках: когда шайки наркоманов подбрасывают трупы в заброшенные дома, сержант убойного отдела не горит желанием обнаружить их – это ведь снизит «уровень раскрываемости», то есть процент раскрытых преступлений. В центре сюжета находятся преданные своему делу детективы, которые хотят раскрутить сложное уголовное дело против крупного наркобарона. Но на расследование нужны месяцы, если не годы, а с точки зрения руководства, лучше вылавливать побольше мелкой рыбешки и, таким образом, повышать показатели работы. Городская администрация требует, чтобы к концу года уровень серьезных преступлений снизился на 5 %, а достичь этого можно только ценой отказа от регистрации реальных преступлений или занижения их тяжести. И то и другое – не что иное, как «приукрашивание статистики», то есть улучшение показателей за счет искажения реальных данных или траты времени и сил не на предупреждение преступлений, а на менее продуктивную работу.

Другая сюжетная линия связана с бывшим полицейским, который преподает в средней школе в районе для бедных, где много неполных семей и распространена наркомания. В школе низкая успеваемость, и, если результаты экзаменов не улучшатся, ее могут закрыть. Так вот, за шесть недель до стандартизированных тестов по чтению и письму директор школы дает учителям указание заниматься только подготовкой к тестам, а об остальных предметах просто забыть (эту стратегию обозначают эвфемизмом «подстраивание учебного плана»). «Натаскивание на тест», как и приукрашивание статистики, это способ введения в заблуждение, поскольку силы направляются не на истинную цель (общеобразовательную подготовку), а на достижение целевых показателей, от которых зависит существование учреждения.

Извращающий идею эффект применения показателей результативности наблюдается и по другую сторону Атлантики, в Великобритании[1]. Там то же самое явление показано в телесериале «Тела» (Bodies), сценарий для которого написал Джед Меркурио, бывший врач. Его действие разворачивается в отделении акушерства и гинекологии крупной городской больницы. В первой серии недавно приехавший в город хирург делает сложную операцию пациентке, которая в результате умирает. Соперник этого врача дает ему такой совет: «Высококлассный хирург должен, опираясь на свой опыт, избегать ситуаций, опасных для его репутации». Другими словами, он советует избегать тяжелых случаев, чтобы поддерживать высокий процент успеха. Это классическая стратегия «снятия сливок», то есть избегания рискованных случаев, которые могут отрицательно сказаться на показателе результативности. Цена этого подхода такова: пациентов с высоким риском неблагоприятного исхода просто оставляют без хирургической помощи.

«Тела» – художественное произведение, но явления, о которых в нем говорится, вполне реальны. Многочисленные исследования показывают, что при оценке хирургов или их вознаграждения на основе процента успешных операций часть из них отказывается оперировать пациентов в тяжелом или критическом состоянии. Исключение сложных случаев, связанных с высоким риском, улучшает результаты работы хирургов и, соответственно, повышает репутацию и заработки. Разумеется, все это достигается за счет исключенных пациентов, которые платят за успех хирургов своей жизнью. Но потеря этих жизней ни в чей показатель результативности не входит.

Игра с цифрами идет во всех сферах: в охране правопорядка, в образовании, в здравоохранении, в некоммерческих организациях и, конечно же, в бизнесе. При этом игра с цифрами – лишь одна из проблем, неизбежно возникающих, когда показатели результативности используются как основа для вознаграждения или взыскания. Есть вещи, которые можно измерить. Есть вещи, которые полезно измерять. Но поддающееся измерению не всегда оказывается тем, что нужно измерять. Измеряемое может не иметь никакого отношения к тому, что мы на самом деле хотим узнать. Затраты на измерения могут превышать приносимую пользу. Измерения могут отвлекать нас от действительно важных вещей. К тому же измерения могут давать превратное представление, которое выглядит обоснованным, а на самом деле вводит в заблуждение.

Мы живем в век отчетности, вознаграждений за результаты деятельности и веры в благо раскрытия количественных показателей в соответствии с политикой «прозрачности». Но отождествление отчетности с количественными показателями и прозрачностью вводит в заблуждение. Под отчетностью следует понимать ответственность человека за свои действия. Но в результате передергивания отчетность стала означать демонстрацию успехов с помощью стандартных показателей, словно значение имеет только то, что можно подсчитать. Другая исходная посылка (ее часто принимают как само собой разумеющуюся) гласит: «Отчетность требует, чтобы результаты деятельности были открытыми для общественности, то есть прозрачными».

От зацикленности на количественных показателях – прямой путь к оценке результатов деятельности, их публикации и использованию для определения размера вознаграждения зачастую вопреки свидетельствам того, что такой подход не слишком адекватен.

При должном использовании количественные оценки – хорошее дело, точно так же, как и прозрачность. Вместе с тем они могут приводить к искажениям, к отвлечению внимания и ресурсов, к подменам, к рассеиванию сил и разочарованиям. Хотелось бы, конечно, жить в эпоху измерений, однако на деле это эпоха неправильных, избыточных, лукавых и контрпродуктивных измерений. Эта книга не о пороках измерения, она о непреднамеренных негативных последствиях попыток подменить основанные на опыте и знаниях суждения стандартными показателями результативности. Проблема не в измерениях, а в их чрезмерности и неадекватности – не в количественных показателях, а в патологической зацикленности на них.

Нам часто говорят, что сбор показателей результативности и их открытая публикация позволяют улучшить функционирование наших институтов. Причем нигде не расхваливают пользу учета, показателей результативности и прозрачности сильнее, чем в сфере здравоохранения. Это и понятно, ведь ни от одной другой сферы не зависит так много. Помимо того, что на сектор здравоохранения приходится более 17 % ВВП США, в нем в буквальном смысле решаются вопросы жизни и смерти. Если следовать логике, то измерение результативности должно помогать экономить деньги и спасать жизни.

Считается, что сбор данных о проценте успешных операций, или о коэффициенте выживаемости пациентов по больницам, полезен. Если государственные ведомства или частные страховые компании платят врачам или больницам в зависимости от процента успешных операций, это повышает их заинтересованность в повышении качества обслуживания. А если данные о результатах деятельности открыто публикуются, то это помогает людям выбирать врачей и больницы. Таким образом, количественные показатели, отчетность и прозрачность становятся средством устранения недостатков в здравоохранении. Что тут может быть не так?

Как мы уже видели, «не так» может быть очень многое. Когда в основу системы вознаграждения и мотивации кладут количественные показатели, хирурги, как и другие специалисты под жестким контролем, начинают заниматься «снятием сливок», то есть просто избегать рискованных случаев. Если больницы наказывают за высокий процент пациентов, умерших в течение 30 дней после операции, то делается все, чтобы пациенты продержались 31 день и не портили показателей[2]. В Англии Министерство здравоохранения в попытке сократить время ожидания помощи в отделениях неотложной помощи решило наказывать больницы, где ждать приходилось больше четырех часов. Программа оказалась успешной, по крайней мере внешне. На самом деле некоторые больницы стали держать поступающих пациентов за пределами своих стен в машинах скорой помощи до тех пор, пока персонал не убедится в том, что уложится в отведенные четыре часа[3].

К здравоохранению мы еще вернемся, однако характерные для него проблемы возникают и во многих других сферах – в школьном и среднем специальном образовании, в охране правопорядка и других госуслугах, в бизнесе и финансах, в благотворительных организациях. Работающие в этих отраслях неизбежно должны чувствовать их существование. Социологи препарируют эти проблемы в отдельно взятых областях. При этом, однако, из виду ускользает, что те же самые негативные последствия использования показателей результативности, отчетности и прозрачности вновь и вновь проявляются во множестве других институтов[4].

Стоит лишь затронуть проблему зацикленности на количественных показателях, и она начинает вылезать повсюду, а не только в телесериалах.

Куда ни глянь, повсеместно наталкиваешься на количественные показатели. Ngram, онлайн-сервис Google, мгновенно просматривающий тысячи отсканированных книг и других публикаций, позволяет составить примерную, но красноречивую картину изменений в нашей культуре и обществе. Задайте годы и слово или фразу – и получите график, показывающий частоту встречаемости слов в текстах, созданных с 1800 г. до нынешнего дня. Введите слово «отчетность» и увидите линию, которая поворачивает вверх примерно в 1965 г., а после 1985 г. поднимается все круче. Такой же график будет и у слова «показатели»: после 1985 г. линия резко идет вверх. Аналогичными оказываются графики для понятий «контрольные ориентиры» и «индикаторы эффективности».

В книге приводятся доказательства того, что, несмотря на потенциальную ценность этих инструментов, достоинства построенной на количественных показателях отчетности преувеличены, а затраты на ведение такой отчетности занижены. Она предлагает этиологию и диагноз, а также прогноз лечения зацикленности на количественных показателях и снятия болезненных симптомов.

Самая характерная особенность зацикленности на количественных показателях – стремление заменить основанные на опыте суждения стандартизированными оценками. Суждения считаются личными, субъективными и предвзятыми, а количественные показатели – достоверными и объективными. Стратегия заключается в повышении эффективности институтов путем вознаграждения тех, у кого показатели самые высокие или достигнуты установленные ориентиры, и наказания отстающих. Политика, в основе которой лежат эти идеи, проводится уже несколько десятилетий, и, как показывают графики Ngram, небезрезультатно.

Разумеется, во многих ситуациях решения, принимаемые на основе стандартных показателей, лучше решений на основе личного опыта и знаний. Решения, основанные на анализе больших данных, полезны, когда опыт отдельно взятого практика слишком ограничен для интуитивного понимания причин и надежной оценки эффективности. Например, когда врач сталкивается с симптомами редкого заболевания, ему лучше полагаться на стандартизированные критерии, выработанные в результате обобщения множества случаев. Контрольные листы (стандартные процедуры, устанавливающие порядок действий) оказываются ценными в таких разных сферах, как авиаперевозки и здравоохранение[5]. Как отмечается в книге «MoneyBall. Как математика изменила самую популярную спортивную лигу в мире»[6], статистический анализ иногда выявляет измеримые, но не учитываемые характеристики, которые оказываются более важными, чем следует из интуитивных представлений, опирающихся на опыт[7].

Иначе говоря, измерение того, что ранее не измеряли, если пользоваться такими измерениями с разумной осторожностью, может приносить реальные выгоды. Попытка измерить результаты деятельности, хотя, как будет показано, и сопряжена с неприятными неожиданностями, по сути своей желательна. Если фактически измеряемое является приемлемым индикатором того, что нужно измерять, и если измерение не отменяет суждения, то это может помочь практикам в оценке результатов деятельности – как на индивидуальном уровне, так и на уровне организаций. Проблемы начинаются, когда количественные показатели становятся критериями для поощрения и наказания, то есть когда количественные показатели становятся основой для выплат по результатам или для тарификации.

Схемы оценки результативности обманчиво привлекательны потому, что они нередко «доказывают» свою полезность, раскрывая вопиющие ошибки или упущения. Как следствие, их начинают применять везде. Инструменты, подходящие для выявления действительно плохого выполнения обязанностей, становятся инструментами измерения всех результатов. В первый момент измерение результативности может заставить исправиться тех, кто работает плохо, или вытеснить плохих работников с рынка. Но во многих случаях при расширении применения стандартизированные измерения теряют полезность и даже становятся вредными, превращаясь из разумного решения в безумное. Измерения контрпродуктивны прежде всего при попытках измерить неизмеримое и количественно оценить неисчислимое.

Речь идет о власти, деньгах и статусе. Зацикленность на количественных показателях ведет к перетоку ресурсов от занятых производительной деятельностью к менеджерам, администраторам и тем, кто собирает данные и манипулирует ими.

Использование количественных показателей для контроля зачастую рождает конфликт между стремлением руководства измерять результативность и вознаграждать за нее и профессиональной гордостью специалистов (врачей, медсестер, полицейских, преподавателей и т. д.). В основе профессиональной гордости лежат знания, полученные в результате долгого обучения, она предполагает самостоятельность в работе, принадлежность к определенной профессиональной группе и чувство ответственности перед коллегами, высокую ценность внутреннего вознаграждения и преданность интересам клиентов[8].

Такой конфликт иногда необходим и желателен, поскольку профессионалы склонны закрывать глаза на затраты и возможности их снижения. Другими словами, они склонны видеть только выгоды наращивания объема своих услуг, не обращая особого внимания на ограниченность ресурсов или преимущества их альтернативного использования. Профессионалы не любят думать о затратах в отличие от тех, кто занимается измерениями и учетом. Сотрудничество этих групп может принести удовлетворение обеим сторонам, а их противоборство – конфликт и снижение морального духа.

Несмотря на существование интересов, превращающих разумный учет количественных показателей в безумие, причина сложившейся ситуации кроется в не меньшей мере в некритическом принятии идеологии измерений. Как и любая другая культура, культура количественного учета имеет свои сакральные условности и характерные слепые зоны[9]. Так или иначе, сегодня эта культура господствует настолько, что ее изъяны остаются незамеченными.

Возникает вопрос: «С чего это вдруг историк взялся за такую тему – зацикленность на количественных показателях?» Дело в том, что проблема, с которой я столкнулся в своей профессиональной деятельности, оказалась частью намного более широкой проблемы нашего общества. Осознание того, что перекосы в моей узкопрофессиональной вотчине характерны для многих современных институтов, превратило микровозмущения в макроанализ.

Окунуться в тему мне пришлось как заведующему кафедрой в частном университете. У заведующего кафедрой много задач: надо следить за работой преподавателей и способствовать их развитию как ученых и наставников; принимать на работу новых преподавателей; обеспечивать преподавание необходимых курсов; поддерживать отношения с деканами и другими представителями администрации университета. Все это ложилось на мои плечи сверх других обязанностей как члена профессорско-преподавательского коллектива – преподавания, исследовательской работы и поддержания профессионального уровня. Я воспринимал это как вполне естественное положение вещей. Работа с преподавателями давала свои результаты и помогала моим подчиненным совершенствоваться. Я гордился разнообразием и качеством курсов, которые мы читали, а отношения с другими кафедрами были отличными. Преподавание, исследования и подготовка статей и книг – занятия, которые требуют немалых усилий, но приносят удовлетворение.

А потом положение начало меняться. Как и все прочие высшие учебные заведения, наш университет раз в 10 лет оценивается Комиссией среднеатлантических штатов по высшему образованию, занимающейся аккредитацией. Так вот, она потребовала увеличить количество показателей с целью будущей «оценки». В сфере высшего образования это словечко означает увеличение объема отчетности. Вскоре я обнаружил, что все больше и больше занимаюсь сбором новой статистической информации. Это отвлекало от выполнения таких задач, как исследования, преподавание и работа с преподавателями. Появились новые шкалы оценки успехов наших выпускников, но они не добавляли ничего нового по сравнению со старым добрым показателем – отметками. Я придумал способ быстро, без больших затрат времени справляться с отчетностью путем простого преобразования отметок, поставленных преподавателями, в четырехуровневую шкалу, созданную для оценки. Со временем, однако, сбор и обработка информации вынудили университет нанять дополнительных специалистов по обработке данных. (Дело зашло настолько далеко, что пришлось назначать вице-президента по оценке университета.) Некоторые отчеты этих специалистов были по-настоящему полезны. Например, они создали электронные таблицы, показывающие средние отметки, которые получены студентами на каждом курсе. Но значительная часть информации ничего в себе не несла, и ее никто не читал. Однако культура учета результативности вошла в моду, и заведующие кафедрами втянулись в своеобразную «гонку вооружений». Я провел на кафедре обязательную годовую самооценку, оказавшуюся полезным делом. Но перед отправкой ее результатов вверх по инстанциям от меня потребовали добавить к отчету статистические данные. Иначе, мне сказали, отчет будет выглядеть не так солидно, как у других. Пытаясь убедить декана в необходимости заполнить вакансию на кафедре, один из заведующих, солидный ученый, убил львиную долю лета на формирование пухлой папки со статистическими выкладками и цветными графиками.

Такая практика раздражала, но не выводила из равновесия: укол булавкой – не удар. Однако она подтолкнула меня к более глубокому изучению сил, которые заставляют впустую растрачивать время и энергию. Комиссия среднеатлантических штатов, затребовавшая больше данных, действует под крылом Министерства образования США. В этом министерстве, когда его возглавляла Маргарет Спеллингс, была создана Комиссия по вопросу о будущем высшего образования, которая в 2006 г. опубликовала доклад, где подчеркивалась необходимость усиления контроля, увеличения объема собираемых данных и перехода региональных органов по аккредитации на оценки, основанные на «результатах деятельности»[10]. Это требование было спущено в Комиссию среднеатлантических штатов, оттуда – в администрацию университета, где работал я, и в конечном итоге свалилось на мою голову. При президенте Джордже Буше-младшем Спеллингс была директором Совета по внутренней политике во время принятия в 2001 г. закона «Ни одного отстающего ребенка». Поначалу казалось, что этот закон, расширявший применение оценки преподавателей и школ на основании отметок учащихся на экзаменах, – шаг в правильном направлении. Со временем, однако, в его адрес посыпалась резкая критика, причем из уст прежних сторонников, таких как бывший заместитель министра образования Диана Равич. Знакомые школьные учителя говорили мне, что, хотя им нравится преподавать, усиление регламентации программы обучения, призванное повысить результаты экзаменов, убивает их энтузиазм.

Вот это и заставило меня взяться за изучение более широкого исторического контекста и современных проявлений культуры измерения результативности и вознаграждения на ее основе, которая захватывает все новые и новые институты. Мои профессиональные интересы находятся на стыке истории, экономики, социологии и политологии. Я издавна интересовался историей того, что мы называем «публичная политика», и написал книгу об Адаме Смите как об исследователе публичной политики. Я писал также об истории консервативных подходов к публичной политике. Как оказалось, идеи некоторых упомянутых мною мыслителей, например Майкла Оукшотта и Фридриха Хайека, помогают критически осмыслить современное прославление оценки результативности. Я интересовался историей капитализма, особенно тем, как интеллектуалы оценивают социальные, нравственные и политические предпосылки и последствия бизнеса. Западных интеллектуалов, о которых я пишу, всегда беспокоила опасность переноса концепций и подходов бизнеса и экономической науки на другие сферы жизни. Таким образом, мое профессиональное недовольство оказалось плодотворным. Эта книга выдержана в духе Мэтью Арнольда, великого викторианского культуролога и критика, и моего наставника Роберта Мертона, который учил меня искать неожиданные последствия социальных действий и счастливые возможности в науке[11].

Когда я начал изучать указанные выше вопросы, мне попалась книга социолога Гарвардской школы бизнеса Ракеша Хураны «От высших целей до наемных рук: Социальная трансформация американских школ бизнеса и неисполненное обещание менеджмента как профессии» (From Higher Aims to Hired Hands: The Social Transformation of American Business Schools and the Unfulfilled Promise of Management as a Profession). Она открыла мне глаза на интеллектуальную историю школ бизнеса и на широкий эффект того, что в них изучают. Ее выводы заставили меня раздвинуть границы изучения изменений культуры и идеологии в сфере менеджмента, неоднозначность характера которых очень хорошо передает название книги Адриана Вулдриджа «Знахари от менеджмента» (The Witch Doctors). Во втором издании она получила более мягкое название – «Мастeра менеджмента» (Masters of Management).

В поисках информации мне пришлось обратиться к научной литературе в самых разных сферах – от экономики до политики, истории, антропологии, психологии, социологии, государственного управления и организационного поведения. Я широко использовал социологические исследования реального поведения учителей, преподавателей высших учебных заведений, врачей и полицейских.

Просматривая результаты исследований на эту тему в разных областях, я поражался изолированности научных дисциплин и разрыву между академическими исследованиями и реальной практикой. Так, в довольно свежей экономической литературе, посвященной стимулированию и мотивации, формализовалось то, что у психологов давно не считалось новостью. При этом большая часть того, что открыли психологи, была давным-давно известна здравомыслящим управленцам. В то же время, несмотря на большое количество исследований в области психологии и экономики, ставящих под вопрос идею и эффективность вознаграждения по измеряемым результатам, они, похоже, практически не сдерживают распространение зацикленности на количественных показателях[12].

Именно поэтому я взялся за эту книгу. В ней мало чего-то совершенно нового – она обобщает исследования и гипотезы множества других авторов. Многие проблемы, связанные с тем, что я называю «зацикленность на количественных показателях», описаны и изучены исследователями, занимающимися одной из следующих сфер: образование, здравоохранение, охрана правопорядка, коммерческая деятельность и некоммерческие организации. Ряд исследователей организационного поведения из специализированных организаций проанализировали более широкие модели успеха и провала. Чего никто прежде реально не делал, так это обобщения исследований и представления результатов в доступной форме всем нам – тем, кто руководит и работает в этих институтах: от политиков, решающих судьбы систем образования и здравоохранения, до членов советов директоров компаний, администраторов университетов и некоммерческих организаций и рядовых исполнителей (вроде заведующих кафедрами). Эта книга для них. В более широком контексте – для любого желающего понять одну из главных причин, по которым так много современных организаций работают менее успешно, чем следовало бы, теряют эффективность и разочаровывают работников.

Хотя мой тезис противоречит представлениям многих современных институтов, я стремлюсь не к новизне, а к выявлению истины. Попытки вписать этот тезис в какую-либо существующую идеологическую концепцию бесполезны, поскольку он связан не только с разными научными дисциплинами, но и с разными политическими течениями. Я опираюсь на свидетельства и идеи из всех доступных источников. Надеюсь, что читатели отнесутся к книге с такой же непредвзятостью.