Дельфийский оракул

Итак, мы выяснили, что хорошо умеем сравнивать разные объ­екты. Знаем лучшее значение, которое можно использовать. Но как нам этого достичь? Замечательно, что уже составлен спи­сок приоритетных задач, но как понять, какая из них «пять», а ка­кая «восемь», что у нас «Лабрадор», а что «пудель»? Когда кто-то предлагает новую идею, считая ее блестящей, как нам убедиться, что его оценки стоят в одном ряду с оценками других специали­стов? Учтены ли все ключевые факторы?

Эффект ореола влияет не только на общее восприятие от­дельной личности, он распространяется и на оценки целых кол­лективов и даже сфер деятельности. Исследователи выяснили, что негосударственные организации (НКО), по общему мнению, всегда действуют во благо, даже если известны другие случаи. Кроме того, эффект ореола успешно применяется в маркетинге, например в автомобилестроении, когда по демоверсии продукта составляют положительное мнение о линейке новой модели.

Как и в ситуации с эффектом стадности, люди, склонные под­падать под влияние эффекта ореола, не обращают внимания на реальные данные — их чаще тянет к чему-то или кому-то, несущему в себе положительный заряд. Еще раз хочу подчерк­нуть — это не бессилие человеческой воли, такова природа чело­века. Бороться с ней глупо — все равно что протестовать против силы тяжести.

Но вы можете переиграть воздействие этих эффектов. Корпо­рация RAND^[248] в 1950-е годы инициировала ряд экспериментов, во время которых задавались нарочито пугающие вопросы, ко­торые были особенно популярны во времена холодной войны.[249] В ходе этих исследований был разработан дельфийский метод ^[250](название восходит к Дельфийскому оракулу, чья жрица пред­сказывала будущее), авторами которого были Норман Далки и Олаф Хелмер, опубликовавшие в 1963 году статью, аккуратно озаглавленную An Experimental Application of the Delphi Method to the Use of Experts («Экспериментальное применение дельфий­ского метода для экспертной оценки») с полезной ссылкой — «Меморандум RM-727/1 — сокращенная версия».[251] В статье они заявляли о своем намерении задавать вопросы так, чтобы мне­ние одного человека не влияло на мнение остальных. Для этого они собрали группу экспертов: четырех экономистов, специали­ста по анализу физической уязвимости, системного аналитика и инженера-электротехника.

Им предложили высказать экспертное мнение с точки зрения лица, осуществляющего стратегическое планирование в СССР, о системе американ­ских промышленных объектов и оценить то количество атомных бомб, ко­торое необходимо, чтобы снизить выпуск соответствующих вооружений до описанного объема. [4]

Если переложить с «экспертного» языка на человеческий, то речь идет о выработке мнения, сколько атомных бомб понадо­бится русским, чтобы помешать американцам производить их собственные. Это было в те времена, когда считалось, что атом­ный конфликт не только возможен, но и что в нем можно побе­дить. Суть формирования экспертного мнения состояла в том, по замыслу Далки и Хелмера, чтобы социальное положение и ста­тус одних экспертов не оказывал давления на других. Могло оказаться, что в одну экспертную группу одновременно входят и ректор крупного престижного университета, и скромный пре­подаватель незаметного колледжа. Как помешать ошибочным суждениям одного повлиять на мнение других? И как получить на основании независимых оценок общее мнение с достаточной степенью достоверности?

Поэтому Далки и Хелмер провели серию анонимных опро­сов. Ни один из экспертов не знал, кем были остальные.[252] По­том индивидуальные оценки квалифицированных экспертов изучались, обобщались и обрабатывались организационной группой других ученых, и уже в обезличенном виде их снова скармливали анонимной экспертной группе.[253] В общем, намы­лить, смыть, повторить^[254].

Итак, при первом опросе количество бомб, необходимое, чтобы создать пятидесятипроцентную гарантию уничтожения американской военной промышленности, было оценено в диа­пазоне от пятидесяти до пяти тысяч боеголовок. Когда Далки и Хелмер анализировали ответы, им бросились в глаза неко­торые общие моменты: уязвимость различных объектов, спо­собность к восстановлению отдельных отраслей, изначальный запас и тому подобное. После этого они спросили экспертов, была ли оценка верной и какими данными они пользовались при подготовке своих оценок. В ответ ученые получили тема­тически очень разбросанную информацию: от сведений о том, насколько крепки заводы, до разницы между физической и эко­номической уязвимостью или сроками поставки различных комплектующих.

Далки и Хелмер взяли эти данные и передали их всем экспер­там и еще раз спросили о количестве бомб. Теперь разброс мне­ний был от 89 до 800 боеголовок. Они снова повторили всю про­цедуру. А потом еще раз. Разброс мнений постепенно сужался. В конце концов, он сократился и составил от 167 до 360 ядерных боеголовок.

Возможность отсеять невероятно широкий спектр оценок — от десяти тысяч процентов до двухсот — это очень мощное ору­жие в руках политиков. Оно позволяет получать единое экс­пертное мнение, не опасаясь взаимного влияния. Это настолько действенный инструмент, что он и по сей день используется кор­порацией RAND. Один из недавних примеров дельфийского ме­тода — прогноз возможности успеха американских вооруженных сил в Афганистане, сделанный в 2011 году. И если вдруг вам ин­тересно, то прогноз был неутешительный.[255]

Покер планирования

Преимущество дельфийского метода заключается в том, что он использует широкий спектр мнений, пытается свести к мини­муму взаимное влияние и при помощи информативных, но в то же время анонимных точек зрения сужает этот спектр до некой оценки, принимаемой всеми. Плохо в нем то, что для наших целей он требует слишком много времени. Когда я встречался с группами в компании Medco, я не стал тратить время на ано­нимные опросы. Я хотел, чтобы все задачи были оценены за не­сколько часов, не дней и уж точно не недель.

К счастью, есть довольно быстрый и точный способ сбора оце­нок. Он называется «покер планирования».

Идея проста. Каждому участнику дается колода карт с числами Фибоначчи — 1, 3, 5, 8, 13 и так далее. Каждая единица работы, которая должна быть оценена, выкладывается на стол. Затем каж­дый участник группы берет ту карту, число на которой, по его мнению, соответствует объему необходимых усилий, и кладет ее на стол рубашкой вверх. Затем все одновременно открывают карты. Если расхождение не больше чем на две карты (скажем, пятерка, две восьмерки и тринадцать), команда просто их скла­дывает, берет среднее арифметическое (в данном случае 6, 6) и пе­реходит к следующей задаче. Помните, мы говорим об оценках, а не о жестких планах. И оценках небольших фрагментов проекта.

Если расхождение получается более чем на три карты, тогда те, кто положил карты с самым большим и самым маленьким зна­чением, объясняют, почему они так считают.[256] Затем проводится еще один раунд покера планирования. В противном случае они лишь усреднят оценки, что сделает результаты слишком при­близительными.[257]

Например, вы красите стены в доме и вам нужно оценить, сколько времени уйдет на покраску гостиной, кухни и двух спа­лен. Вы работаете с мастерами, с которыми уже красили стены раньше. Итак, сначала две спальни: все оценивают их на три. Ни­каких особых разногласий, вы делали такое раньше, и вам не ка­жется, что со спальнями могут возникнуть сложности. Затем ко­манда оценивает гостиную. Это довольно большое помещение, но там все просто. Оценки расходятся от пяти до тринадцати, затем сходятся на средней оценке — шесть. И снова нет смысла спорить. Затем дело доходит до кухни, и тут на столе оказыва­ются и три, и восемь, и тринадцать, и еще пять. Тот, кто положил тройку, уверяет, что комната небольшая, площадь даже меньше, чем у двух спален. Человек, положивший цифру тринадцать, на­поминает, что стоит учесть все то время, которое понадобится, чтобы заклеить шкафчики и столы, а красить отдельные малень­кие участки придется кистью, а не валиком. Команда быстро вы­кладывает новые карты. Цифра три превратилась в восемь, все остальные оценки остались старыми. Теперь оценки довольно близки друг к другу, можно их сложить, вычислить среднее арифметическое и переходить к следующей задаче.

Покер планирования очень хорош: во-первых, это неверо­ятно простой метод; во-вторых, он дает возможность избавиться от любого нежелательного влияния и избегать эффекта стад­ности и эффекта ореола; в-третьих, позволяет всей команде де­литься информацией по конкретной задаче. При этом важно, что оценка проводится группой специалистов, которая действи­тельно будет выполнять эту работу, а не некими анонимными и «идеальными» экспертами.

Я научился всему этому на собственном горьком опыте, когда работал в Пенсильвании в GSI Commerce, занимавшейся интер­нет-продажами. С тех пор их купила компания eBay. GSI специ­ализируется на создании онлайн-магазинов для таких компаний, как Levi's, Toys " R" Us, Major League Baseball и Zales Diamond. Это не мелкие проекты. И GSI с ними очень неплохо справляется.[258]

Однако у компании GSI появилась идея, которая какое-то время казалась хорошей. Вместо того чтобы каждая группа за­нималась оценкой проекта самостоятельно, руководство решило отдавать эту часть работы лучшим оценщикам компании — довольно умным и профессиональным ребятам, отлично разбирав­шимся как в проектах, так и технологических процессах и знав­шим, что нужно делать. Они взяли несколько проектов и оценили их. Вот этот потребует столько-то времени, другой столько-то и так далее. Всего требовалось оценить восемьдесят мультимиллионных проектов, оформить бумаги по экспертизе и пред­ставить результаты в первую очередь всем заказчикам, во вто­рую — группам разработчиков, которые будут непосредственно выполнять задания. На первый взгляд все разумно, не так ли?

Как выяснилось, этот путь до такой степени плох, что экс­перты остановились на полпути, успев оценить ровно сорок про­ектов. Сразу приходят на ум срочно прерванные клинические исследования лекарств, в процессе которых выяснялось, что пре­параты скорее убивают, чем лечат. Экспертные оценки в GSI были настолько далеки от реальности, что оказались совершенно бес­полезными.

Ничто не выполнялось вовремя. Клиенты оставались недо­вольными. Рабочие группы были деморализованы. В общем, пол­ная катастрофа. Руководители вернулись к старому варианту: теперь группы разработчиков снова самостоятельно проводили оценку проектов. Вот чудеса! Оценки вновь стали сходиться с ре­альностью.

Из этой истории я вынес простую мысль: только тот, кто не­посредственно выполняет проект, знает, сколько он требует времени и сил. Скорее всего, группы, работавшие в GSI, очень разные. Какая-нибудь группа хороша в разработке одного вида продукта, но совершенно несостоятельна в работе над другим. Наверняка в каждой группе можно найти специалистов, спо­собных совершать чудеса в какой-то конкретной сфере. Навер­ное, есть группы, где кто-то с чем-то не справляется. Как мы уже не раз говорили, все команды уникальны и неповторимы. У каж­дой свои темп и ритм работы. Подгонять их под общий шаблон — верный путь в пропасть.[259]