Читать книгу Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе - Дуглас У. Хаббард - Страница 10

Еще одним человеком, обладавшим, по всей видимости, настоящим талантом к измерению, была Эмили Роза. Свой отчет о проведенных измерениях она опубликовала в «Journal of American Medical Association» (JAMA), но у нее не было ни ученой степени, ни даже диплома о высшем образовании. Когда девочка провела свою оценку, ей было всего девять лет, она училась в четвертом классе и работала над проектом для школьной ярмарки научных идей. Ей исполнилось 11, когда исследование было опубликовано, и это сделало Эмили самым молодым автором, когда-либо печатавшимся в престижном медицинском, а возможно, и вообще в научном журнале.

В 1996 г. Эмили увидела, как ее мать Линда смотрела видеофильм о «бесконтактном массаже» – довольно спорном методе лечения путем воздействия на «энергетические поля» пациента. На экране сцена: пациент лежит неподвижно, а врач водит руками в нескольких сантиметрах от его тела, пытаясь обнаружить и устранить «нежелательные энергии», якобы вызывающие различные заболевания. Эмили предложила своей матери экспериментально проверить это утверждение. Линда, которая была медсестрой и членом Национального совета по борьбе с мошенничеством в сфере здравоохранения (National Council Against Health Fraud, NCAHF), дала ей кое-какие советы.

Сначала Эмили привлекла к своему эксперименту для школьной ярмарки научных идей 15 врачей, практикующих бесконтактный массаж. Опыт состоял в следующем: Эмили и врач сидели за столом друг против друга. Их разделял картонный экран. В нижней части экрана имелись отверстия, через которые целитель просовывал руки ладонями вверх. Эмили подбрасывала монетку и в зависимости от того, как она падала, протягивала свою руку так, чтобы та оказывалась сантиметров на 10 выше правой или левой руки медика. Врачи, не видя девочку за экраном, должны были определить, над какой их рукой – правой или левой – она держит свою ладонь, только на основании собственных ощущений от ее энергетического поля. О результатах Эмили доложила на ярмарке научных идей и получила в награду голубую ленточку – впрочем, как и все остальные участники.

Линда рассказала об эксперименте Эмили доктору Стивену Барретту, которого она знала по работе в NCAHF. Барретт, заинтересовавшийся и простотой метода проведения опыта, и его первыми результатами, упомянул о нем продюсерам телешоу «Scientific American Frontiers» («Передовые рубежи американской науки»), которое шло по каналу государственного телевещания (Public Broadcasting System). В 1997 г. продюсеры сняли сюжет о методе Эмили, а девочка привлекла к участию в шоу еще 13 целителей, так что всего их стало 28.

Все эти врачи сделали в общей сложности 280 попыток ощутить энергетическое поле Эмили. Правильно определить положение руки девочки им удалось только в 44 % случаев. А по теории вероятности они должны были угадать в 50 % случаев с 95-процентным доверительным интервалом (confidence interval, CI) и погрешностью ±16 % (если вы подбросите 280 монет, есть 95-процентная вероятность того, что орел выпадет в 44–66 % всех случаев). Так что врачам, по всей видимости, немного не повезло (поскольку полученные ими данные оказались ближе к нижней границе интервала), но эти результаты не вышли из пределов, объясняемых одной только теорией вероятности. Иными словами, люди, не владеющие методом бесконтактного массажа (вы или я), могли бы просто попробовать угадать и добились бы таких же или даже лучших результатов, чем врачи-специалисты, участвовавшие в эксперименте.

Получив информацию, Линда и Эмили решили, что ее, наверное, стоит опубликовать. В апреле 1998 г. Эмили, которой тогда было всего 11 лет, напечатала экспериментальные данные в JAMA. После этого ее имя занесли в книгу рекордов Гиннеса как самого молодого автора, когда-либо печатавшегося в крупном научном журнале, и девочка получила в награду 1000 дол. от Образовательного фонда Джеймса Рэнди (James Randy Educational Foundation, JREF).

Джеймс Рэнди, бывший фокусник и известный скептик, основал фонд для научной проверки утверждений о наличии паранормальных способностей. Он предложил в качестве приза миллион долларов любому, кто научно докажет наличие у себя экстрасенсорного восприятия (extrasensory perception, ESP), ясновидения, способности находить воду или минералы с помощью «волшебной лозы» и т. п. Рэнди не нравится, когда говорят, что он занимается «развенчанием» притязаний на паранормальные способности, поскольку он просто тестирует эти заявления объективными научными методами. Но поскольку сотни претендентов на миллион так и не сумели получить приз, не пройдя простейшие научные испытания, до сих пор подобные утверждения только опровергались. Рэнди заинтересовался методом бесконтактного массажа еще до публикации данных Эмили, и сам пытался его проверить. Но, в отличие от Эмили, ему удалось найти только одного целителя, согласившегося на этот эксперимент, кстати, прошедший для врача неудачно.

После публикации опытных результатов сторонники метода бесконтактного массажа стали говорить, что методика проведения эксперимента не свободна от недостатков, а сам он ничего не доказывает. Одни указывали на то, что энергетическое поле ощущается на расстоянии 2–7, а вовсе не 10–12 см, как в эксперименте Эмили[3], другие – на то, что энергетическое поле подвижно, а не статично, поэтому обнаружить неподвижную руку Эмили было объективно невозможно (хотя во время «лечения» пациенты обычно лежали спокойно)[4]. Рэнди все это совсем не удивило. «Люди всегда находят оправдания потом, – сказал он, – но ведь каждого целителя до начала испытания спрашивали, согласен ли он с условиями. Все не только согласились, но и выразили уверенность, что пройдут тест успешно». Конечно, лучшим опровержением результата Эмили стал бы другой управляемый эксперимент, который окончательно доказал бы действенность бесконтактного массажа. Но провести такой опыт никто не предложил.

Рэнди так часто сталкивался с запоздалыми оправданиями участников подобных экспериментов, что стал просить их предварительно подписывать специальный официально заверяемый документ. В нем говорилось, что испытуемый согласен с условиями опыта, что впоследствии не будет подвергать его критике и что рассчитывает на успех в предлагаемых условиях. Одновременно он вручал каждому запечатанный конверт. После эксперимента, когда человек пытался оспорить его результаты, ссылаясь на плохую методику, Рэнди просил открыть конверт. В нем было письмо, в котором говорилось буквально следующее: «Вы согласились с тем, что данные условия оптимальны, и обещали не искать отговорок после проведения опыта. А теперь вы все же это делаете». «Испытуемым было исключительно неприятно», – замечал Рэнди.

Бизнес может извлечь из этого несколько уроков. Во-первых, даже такие кажущиеся эфемерными вещи, как расширение полномочий сотрудников, креативность или согласованность со стратегией, должны иметь поддающиеся обнаружению последствия, если только они вообще имеют какое-то значение. Я вовсе не утверждаю, что эти вещи «паранормальны», но здесь действуют те же правила.

А во-вторых, эксперимент Эмили продемонстрировал эффективность простых методов, традиционно используемых в научных исследованиях, таких как эксперимент в контролируемых условиях, выборка (даже если она невелика), рандомизация и испытания «вслепую», позволяющих избежать необъективности со стороны испытуемого или исследователя. Эти простые приемы могут использоваться как по отдельности, так и в любых сочетаниях, давая возможность наблюдать и измерять самые разные явления.

Кроме того, Эмили доказала, что простейшие эксперименты, не требующие больших расходов, может проводить даже ребенок (Линда Роза сказала, что затраты на эксперимент составили 10 дол.). Интересно отметить, что Эмили могла провести гораздо более сложные клинические испытания действенности бесконтактного массажа, использовав тестовые и контрольные группы для проверки того, насколько метод улучшает состояние здоровья пациентов. Но ей не пришлось этого делать, потому что она задала более фундаментальный вопрос. Если целители могут делать то, о чем говорят, то, рассудила Эмили, они должны, по крайней мере, чувствовать энергетическое поле. Если же они его не чувствуют (а это основная исходная посылка выгоды, приписываемой методу), значит, все, что связано с бесконтактным массажем, вызывает большие сомнения. Девочка могла найти способ потратить намного больше, если бы, например, располагала обычным бюджетом для проведения непродолжительного медицинского исследования. Но она и так выяснила все, что хотела, и с более чем достаточной точностью. Для сравнения: о скольких методах оценки показателей вашей деятельности можно написать в научном журнале?

Пример Эмили доказывает, что полезный результат можно получить и простыми методами. Временами мне приходится слышать советы не использовать такие «продвинутые» методы измерения, как контролируемые эксперименты, поскольку высшее руководство этого не поймет. По-видимому, авторы советов считают, что правило Дилберта[5] (согласно которому повышение всегда получает самый некомпетентный сотрудник) действительно выполняется в случае топ-менеджеров. По своему опыту могу сказать, что обычно руководители высшего звена всегда все понимают, если вы хорошо объясняете.

– Эмили, объясни им это, пожалуйста.

ПРИМЕР. ИНФОРМАЦИОННАЯ ИНФРАСТРУКТУРА КОМПАНИИ MITRE

Интересным примером того, как организация может оценить свои нематериальные активы, убедившись предварительно, существуют ли они вообще, может служить информационная инфраструктура Mitre (Mitre Information Infrastructure, MII). Эту систему разработала в конце 1990‑х годов Mitre Corporation – некоммерческая компания, предоставляющая федеральным органам власти консалтинговые услуги в области инжиниринга систем и информационных технологий. MII была корпоративной базой знаний, позволявшей наладить сотрудничество отделов, ранее полностью изолированных друг от друга.

В 2000 г. в журнале «CIO Magazine» была опубликована статья о MII. В этом журнале было принято, чтобы всю трудную работу по подготовке такой статьи готовил штатный сотрудник, а затем независимый эксперт высказывал свое мнение в колонке под названием «Критический анализ». Когда публиковались статьи об измерениях, оценке риска и подобных вопросах, в роли такого эксперта нередко выступал я. Так и произошло в случае с MII.

Колонка «Критический анализ» должна была служить неким противовесом, поскольку, рассказывая о своих новых программах, компании обычно не жалеют розовых красок. В статье было процитировано следующее высказывание Эль Грассо, тогдашнего руководителя информационной службы Mitre Corporation: «Наши важнейшие достижения (качество и инновационность решений, которые становятся реализуемыми, когда вы овладеваете всей информацией) легко не измеришь». Однако я в своей колонке предложил простой способ измерения и качества, и инновационности:

Если MII действительно улучшает качество предоставляемых услуг, то оно должно влиять на восприятие этих услуг клиентами и, в конечном счете, на доходы[6]. Просто попросите случайную выборку клиентов проранжировать качество каких-либо услуг до и после создания MII (так, чтобы они не знали, за какой период оценивают данный параметр) и узнайте, заставило ли их повысившееся качество приобретать у Mitre больше услуг[7].

Таким образом, я предложил, чтобы компания Mitre, как в свое время Эмили, задала себе не тот вопрос, с которого, наверное, начал бы руководитель информационной службы, а более простой, но связанный с ним. Если качество и инновационность действительно возросли, то разве эта разница не должна, по крайней мере, чувствоваться? Если те, кому положено об этом судить, то есть потребители, в ходе испытания вслепую не смогут заявить, что исследования после создания MII стали качественнее или инновационнее, чем до нее, то это будет означать, что данная информационная структура никак не влияет на удовлетворенность клиентов, а следовательно, и на доходы. А вот если они заметят отличие, то можно будет поставить следующий вопрос: увеличились ли доходы настолько, чтобы оправдать инвестиции, составившие к 2000 г. 7 млн дол.? Если такие преимущества MII, как качество, инновационность и любые другие, невозможно обнаружить, то они не имеют значения. Нынешние и бывшие сотрудники Mitre рассказывали, что моя колонка наделала много шума. Однако никто из них не слышал, чтобы кто-либо в компании действительно пытался оценить качество и инновационность. Как вы помните, руководитель информационной службы сказал, что эти достижения MII были важнейшими. И вот эти преимущества так никто и не определил количественно.