Процедуры получения экспертной информации

Экспертные оценки относятся к классу эвристической информации и дают возможность получить важности или веса интересующих нас факторов, используя накопленный опыт ЛПР, его инженерную интуицию, а также глубокие знания специфики эксплуатируемого объекта. Поэтому полученная таким способом информация обладает большой управленческой ценностью, так как представляет ее качественную характеристику, которая может быть выражена числовой мерой, называемой весом.

Полученная субъективным способом оценка (вес) обладает управленческой объективностью при выполнении следующих условий:

Точно сформулирована цель экспертизы.

Для взвешивания интересующих факторов используются достаточно строгие логические процедуры получения оценок.

Полученная групповая оценка факторов должна характеризовать-
ся достаточной степенью согласованности экспертов по оцениваемым параметрам.

Остановимся на процедурах получения экспертных оценок.

В основе их получения лежат некоторые общие свойства, которые можно сформулировать следующим образом:

1. Каждому событию или фактору соответствует действительное неотрицательное число V, которое рассматривается как истинная значимость (ценность, полезность) этого события (фактора) О, т.е некоторому О соответствует число V.

2. Если событие (фактор) О_j, более важен, чем фактор О_к, то V_j> V_k. Если рассматриваемые факторы равноценны, то V_j=V_k.

3. Если оценки V_j и V_k соответствуют факторам О_j и О_к, то (V_j+V_k) соответствует общему результату О_j и О_к. Это есть свойство аддитивности оценок.

Прежде всего следует отметить, что использование той или иной процедуры определяется количеством оцениваемых факторов при условии, что экспертная группа отвечает всем предъявленным требованиям: к численности и компетентности.

Если список факторов не превышает 15...20 наименований, то наиболее эффективной процедурой взвешивания является процедура последовательных предпочтений (процедура Черчмена-Акоффа).

В случае значительного количества рассматриваемых факторов (> 20) целесообразно использовать либо процедуру парных сравнений, либо ее интерпретацию (например, процедуру трехбалльных оценок). Остановимся на них отдельно.

Формализованная процедура получения экспертных оценок

методом последовательных предпочтений

В работе предлагается интерпретация процедуры Черчмена-Акоффа, максимально формализованнй для компьютерной реализации.

Предположим, имеются 5 факторов, которые необходимо взвесить: . Одному из факторов присваивается базовая оценка. Пусть фактору присваивается вес V ₁ = 10. Факторы расставляются в порядке приоритета, где на первом месте стоит наиболее приоритетный фактор, а на последнем - наименее приоритетный. Для простоты дальнейших рассуждений будем считать, что ранжированным рядом факторов является ряд , т.е. так их расставил эксперт. Эксперт сравнивает каждый приоритетный фактор с суммой других, менее приоритетных. В результате такого рассмотрения формируются следующие неравенства (в частном случае это может быть равенство). Предположим, получили такой набор условий:

(2.1)

На этом работа эксперта заканчивается и идет компьютерная обработка, состоящая из двух расчетных процедур.

(2.2)

Процедура 1. Неравенства вида (2.1) заменяются на равенства типа (2.2) и из системы уравнений находится вес наименее приоритетного фактора, кото-рый назовем a, равный в данном случае весам факторов 4 и 5, т.е. a =V ₄ = V ₅.

Решая эту систему, можно получить величину

,

где V _d = базовая оценка; k - число рассматриваемых факторов.

Веса остальных факторов определяются по формуле:

,

где b - порядковый номер фактора в обратно ранжированном ряде.

Исходя из заданных условий получаем, что

; .

Процедура 2. Производится корректировка полученных оценок в соответствии с условиями (2.2). Рассмотрение неравенств обязательно выполняется снизу - вверх.

Корректирующее слагаемое для i -го фактора определяют по выражению

. (2.3)

Далее корректируют оценку i- го фактора. Если неравенство имеет вид , то его заменяют равенством вида:

. (2.4)

Если неравенство имеет вид , то его заменяют следующим равенством:

. (1.5)

Последовательно идя снизу вверх, переходят к следующему неравеству вида (2.2).

Пример: Рассмотрим получение весовых оценок с использованием формализованной процедуры последовательных предпочтений.

.

Оценку V ₄определяем по (1.4): .

;

V ₃ = 1.5625 + 1.25 + 0.7 = 3.516.

D V ₂ = (3.516 + 1.5625 + 1.25)/4 = 1.58;

V ₂ = 3.516 + 1.5625 + 1.25 + 1.58 = 7.91.

Имеет место равенство . В этом случае производится корректировка V ₁ следующим образом:

= 7.91 + 3.516 + 1.5625 + 1.25 = 14.25.

Получили следующие окончательные оценки, удовлетворяющие набору условий (2.2), т.е. исходной логике эксперта:

V ₁= 14.25, V ₂ = 7.91, V ₃ = 3.516, V ₄ = 1.5625, V ₅ = 1.25.

Затем эти оценки проверяются на статистическую надежность, нормируются и используются в дальнейшей работе.

Процедура парных сравнений

В этой процедуре сравнение всех факторов производится попарно с тем, чтобы в каждой паре установить наиболее важный фактор. Если фактор A_i более предпочтителен чем фактор A_j, то оценка V_i=1, а V_j=0.

Результаты сравнения заносятся в матрицу парных сравнений.

Вид такой матрицы показан в табл.2.1.Матрица является квадратной с не заполненной главной диагональю, так как сравнение фактора с самим собой не имеет смысла.

Оценка факторов экспертом осуществляется по горизонтали.

Приведенная матрица отвечает следующим результатам сравнения:

Фактор А₁ менее предпочтителен, чем А₂, А₃, А₄ и более предпочтителен чем А_5.

ФакторА₂ более предпочтителен чем А₃, А₄ А₅.

Фактор А₃ более предпочтителен чем А₄ А₅.

Фактор А₄ более предпочтителен чем А₅.

Табл.2.1

Результаты полученного сравнения говорят о том, что эксперт присвоил наивысший балл фактору №2 (сумма баллов равна 4), а фактор №5 оказался по его оценке вообще не значимым (сумма баллов равна 0).

Следует отметить частный случай, когда, по мнению эксперта, ни один из рассматриваемых факторов в паре не имеет предпочтительности, то есть i-ый и j-ый факторы равнозначны. Тогда оценка для них может быть сформирована следующим образом:

V_i=V_j=0, 5.

Процедура трехбалльной оценки

Анализ различных экспертиз дает основание констатировать, что экспертные оценки могут быть отнесены к одной из трех групп: приоритетной, равноприоритетной и неприоритетной.

Весовые показатели приоритетной и неприоритетной групп имеют наименьшую плотность оценок. Это говорит о том, что веса в этих группах резко различаются между собой.

Плотность весов в равноприоритетной группе значительно выше. Из этого следует, что приоритет (вес) факторов в различных группах чувствуется экспертами по-разному: для приоритетной и неприоритетной групп оценки экспертов более очерчены, для равноприоритетной - более размыты.

Таким образом, при оценке большого (практически неограниченного) числа факторов можно использовать модифицированный метод получения весов по трехбалльной системе: приоритетные факторы получают оценку 3, равноприоритетные - оценку 2, неприоритетные - оценку 1.

P_v

––––– Новосибирская ГЭС

Воткинская ГЭС

Красноярская ГЭС

Рис.2.1.

На рис.1.1 высказанные выводы иллюстрируются на примере практической экспертизы, проведенной на ряде энергетических объектов, с целью выявления наиболее информативных параметров контроля эксплуатационного состояния работающего на них оборудования. Всего этим методом было оценено около 50 факторов.

2.4.Статистическая надежность групповых оценок

По полученным экспертами индивидуальным оценкам можно рассчитать групповые оценки всех экспертов по каждому из рассмотренных факторов.

Групповые оценки можно определять по одному из двух способов.

По первому способу групповая оценка рассчитывается как сумма оценок всех экспертов по каждому из рассмотренных факторов. Вторым способом групповую оценку можно получить как математическое ожидание (среднее арифметическое) индивидуальных оценок экспертов по конкретному фактору. Если групповые оценки пронормировать, как это было указано в 2.2., то не зависимо от способа их получения пронормированные групповые оценки будут одинаковыми. Поэтому, строго говоря не важно, каким способом пользоваться для расчета групповых оценок экспертов по каждому из рассмотренных факторов.

После получения этих оценок необходимо оценить их качество или надежность, то есть определить насколько они согласованы по каждому рассмотренному фактору и в целом в экспертной группе.

Существуют различные способы, позволяющие получить степень согласованности экспертных оценок.

Остановимся на некоторых из них.

Наиболее простым является расчет величины размаха вариаций R_j в ответах экспертов по j-ому фактору

R_j = V_maxj – V_minj,

где V_maxj и V_minj – максимальная и минимальная оценки j –ого фактора.

Задаваясь некоторым нормированным значением размаха вариации (R _нор) по всем рассматриваемым факторам можно оценить степень согласованности мнений экспертов. Оценки будут считаться надежными, если выполняется условие

R_j (R _нор)

Другой способ расчета согласованности экспертных оценок базируется на вычисление среднего квадратического отклонения в ответах экспертов . Если число экспертов в группе равно (i = 1, 2, …, n), а число оцениваемых факторов - (j =1, 2, …, m), то можно рассчитать величину дисперсии как

D(x_j) = ( M(x_j)²)/ (n-1). (2.5)

Тогда = ,

где M(x_j) =( _ij)/n - математическое ожидание оценки j -го фактора, x_ij – оценка i-ого эксперта по j-ому фактору;

Для оценки согласованности всех экспертов (i = 1, 2, …, n) по каждом фактору (j =1, 2, …, m) наиболее часто используется величина коэффициента согласованности:

.

Если среднее квадратическое отклонение в ответах экспертов равно 0, то есть все эксперты присвоили рассматриваемому фактору одинаковую оценку, то = 1.

Если среднее квадратическое отклонение равно или превышает значение математического ожидания (среднего арифметического) то 0. Так как отрицательное значение коэффициента согласованности не имеет никакого здравого смысла, то при анализе считается, что он равен 0, то есть отсутствует согласованность экспертов в группе по данному фактору.

При анализе экспертных оценок возникает необходимость выявить согласованность мнений всех экспертов по всем факторам. Такая интегральная оценка позволяет характеризовать качество информации, полученной по всей экспертной группе. Для этого рассчитывается коэффициент согласованности всех экспертов по всем факторам или его часто называют коэффициент конкордации.

Расчет производится в рангах, то есть под оценками x_ij понимаются не весовые значения, а ранжированные. Тогда

,

где m - общее число экспертов; n - общее число факторов;

.

Величина коэффициента конкордации заключается в интервале от 0 до 1.

Причем, если w = 1, то это означает, что все эксперты присвоили всем факторам абсолютно одинаковые оценки.

Если w = 0, то согласованности мнений экспертов по всем оцениваемым факторам не существует.

Оба этих варианта представляют собой крайние случаи при оценке качества экспертизы и являются ненадежными, так как в первом случае имел место несомненный сговор экспертов, а во втором - экспертная группа не справилась с поставленной перед ней задачей. Реальные значения коэффициента согласованности должны быть заключены в диапазоне 0, 7-0, 9.

Полученное значение коэффициента конкордации можно проверить на статистическую значимость, используя для этого, например, критерий ² – Пирсона. В этом случае, для оценки статистической значимости необходимо и достаточно, чтобы выполнялось следующее условие:

> ,

где = f (, r), причем - доверительная вероятность, которую в расчетах принимают на уровне 99% или 95%, а r – число степеней свободы, равное произведению числа экспертов на число факторов, то есть r=nm.

Значение рассчитывается как

= (n-1)mw. (2.6)

Выполнение условия (2.6) говорит о том, что полученная величина степени согласованности мнений экспертов w является не случайной.

2.5. Особенности групповой экспертизы

При проведении групповой экспертизы считается, что мнение группы экспертов надежнее, чем мнение отдельного лица (эксперта).В этом случае надежность экспертных оценок подобно надежности статистических оценок, к которым, как известно, обязательно предъявляется требование по объему выборки. Однако, в практике трудно рассчитывать на то, что можно сформировать достаточно многочисленную группу экспертов, состоящую из действительно квалифицированных специалистов по рассматриваемой проблеме.

Кроме этого, коллективная ответственность за полученные оценки позволяет в ряде случаев специалистам принимать более рискованные решения, конечно, тогда, когда это представляется возможным.

И последнее. Считается, что интервал оценок, который образуется за счет различного мнения экспертов, должен содержать “истинную” оценку, необходимую для принятия обоснованного решения. При этом разброс мнений, конечно, не должен противоречить требованию по надежности получения экспертной информации, в частности, по величине коэффициента согласованности мнений и экспертов и коэффициента конкордации.

Организация и проведение групповой экспертизы включает в себя несколько этапов.

1. Формирование цели экспертизы.

2. Формирование группы аналитиков и руководителя экспертизы и разработка процедуры опроса.

3. Отбор и формирование группы экспертов.

4. Проведение опроса.

5. Анализ и обработка экспертной информации.

6. Синтез полученной информации и приведение ее к форме, удобной для принятия решения.

Остановимся более подробно на каждом из перечисленных этапов.

Формирование цели экспертизы является первоначальным и ответственным этапом любой экспертизы. Следует помнить, что экспертиза является трудоемким и дорогостоящим мероприятием. Проводить экспертизу следует тогда, когда никакие другие способы решения проблемы не дают результатов. Цель экспертизы должна быть четко сформулирована, то есть заказчик экспертизы должен представлять для чего она будет организована и какой результат может быть получен. При этом экспертиза может быть направлена на решение как стратегической, так и тактической проблемы, стоящей перед организацией или предприятием.

Сформированная группа аналитиков необходима в качестве методологической, методической и практической поддержки проведения экспертизы. Круг задач, решаемых этой группой весьма обширен.

Это - составление анкет экспертизы, формулирование ее цели в форме понятной для экспертов, выбор процедуры опроса, а также обучение экспертной группы этим процедурам для практического использования ими в качестве инструментария. Руководитель экспертизы при этом может быть выбран из числа членов аналитической группы.

При формировании экспертной группы следует учитывать одно важное обстоятельство. На практике трудно рассчитывать на использование в качестве экспертов большого количества компетентных специалистов по данной проблеме. Во всяком случае, компетентность кандидатов в эксперты нужно проверять. Для этих целей используются обязательно “мягкие” тестовые проверки их компетентности.

Примером может служить принцип самооценки экспертов, который очень часто используется на практике. Разрабатывается специальная анкета, в которую включается определенное количество вопросов по данной проблематике. Для удобства получения самооценок количество вопросов ограничивается, как правило, десятью. Затем эксперты расставляют вопросы в ранжированный ряд. На первое место ставится тот вопрос, ответ на который по мнению эксперта он знает лучше остальных, и оценивает его оценкой 5 по пятибалльной шкале. Затем следует вопрос, ответ на который эксперт оценивает на 4 и так далее.

Получив такие данные от всех экспертов можно рассчитать среднюю групповую самооценку как

S_gr = ()/ n,

где n – число экспертов, m – число вопросов анкеты.

Типичная зависимость показана на рис.2.2.

Средняя 3

групповая

ошибка, %

А

В

0

1 2 3 4 5

Средняя самооценка

Рис.2.2

Анализ такой зависимости говорит о том, что группа экспертов А, самооценка которых выше чем у группы экспертов В, будет давать более качественные оценки, так как средняя групповая ошибка у этой группы экспертов имеет меньшее значение.

Следует также сказать несколько слов об оптимальной численности экспертной группы. Если к экспертным оценкам применять то же требование, что и к статистическим оценкам, то экспертная группа должна обладать значительной численностью, причем чем больше, тем лучше. Однако, как было отмечено выше, численность компетентных специалистов, как правило, весьма невелика.

Проведенные исследования показывают, что число экспертов в группе может быть ограничена 10-12 человеками, так как при повышении численности средняя групповая ошибка экспертизы практически не снижается (рис.2.3).

Средняя 1, 5

групповая

ошибка, %

1, 0

0, 5

0

0 5 10 15 20

Численность группы

Рис.2.3.

Для проведения опроса используются две формы: открытая и закрытая. Каждая из них обладает своими достоинствами и недостатками. Остановимся коротко на них.

Открытая форма опроса обладает существенным достоинством, связанным с тем, что при индивидуальном оценивании эксперты имеют возможность общаться друг с другом, обмениваться мнениями, выслушивать доводы и контраргументы каждого. Это приводит к тому, что полученные при этом групповые оценки обладают, как правило, большой степенью согласованности. Однако, при этом существует опасность нивелировки мнений экспертов за счет использования ими при назначении своей оценки мнения наиболее авторитетного эксперта в группе. Понятно, что в этом случае снижается ценность полученных групповых оценок.

Закрытая форма опроса или анонимная свободна от недостатков присущих открытой форме, что является ее несомненным достоинством. Однако, как правило, согласованность мнений экспертов получается достаточно низкой. Для ликвидации этого недостатка требуется применение специальных приемов, в частности, использования многошаговых процедур опроса. Эта проблема будет рассмотрена отдельно.

После проведения экспертизы производится обработка информации с целью расчета показателей надежности полученных оценок. Для принятия управленческих решений полученные оценки, обычно, преобразовываются в шкалу отношений.