Ранжирование объектов.

Рассмотрим случай, когда эксперты ранжируют объекты строго, т.е. указывают номер места, которое занимает данный объект по важности. Обозначим:

число объектов;

число экспертов;

ранг, присвоенный м экспертом у объекту.

Результаты сводят в таблицу:

.

Затем находят суммы рангов по столбцам: где .

Объекты ранжируют в соответствии с суммами рангов: объект предпочтительнее объекта , если ; объекты и эквивалентны, если .

Далее необходимо оценить согласованность экспертов.

Пусть все эксперты совершенно согласованы, т.е. дают одинаковые ранги объектам. В этом случае суммы рангов по столбцам будут: , т.е. в одном столбце все единицы, в другом только двойки и т.д.

Сумма чисел в одной строке: .

Общая сумма рангов во всей матрице: .

Если эксперты полностью рассогласованы, то ранги равны:

. (8.1)

Разброс мнений экспертов будем характеризовать следующим образом. Найдем отклонение суммы рангов в таблице от : . Так как разности будут разного знака, то суммируют квадраты разностей

. (8.2)

Если эксперты полностью согласованы, то сумма максимальна. Если эксперты полностью рассогласованы, то . Обозначим наибольшее значение , соответствующее случаю полной согласованности экспертов.

Для оценки согласованности экспертов вводится коэффициент конкордации (согласованности):

. (8.3)

Если , то полное отсутствие согласованности. Если , то полная согласованность.

Найдем

первый член суммы –

второй –

и т.д.

.....................................................

.

После суммирования получим: . Окончательно получаем:

. (8.4)

Если эксперты неквалифицированны и друг от друга не зависят, то тогда можно рассматривать как случайную величину , для которой известно распределение.

Можно найти вероятность того, что значение коэффициента конкордации получено случайно, т.е. вероятность

.

Значение можно рассматривать, как доверительную вероятность. Если она достаточно мала, а достаточно велико, то предположение об отсутствии согласованности отклоняется. Обычно согласованность считают удовлетворительной, если и и хорошей, если и .

Для малых значений и составлены специальные таблицы распределения , например, таблица значений коэффициента конкордации, для которых вероятность ошибки при принятии гипотезы о согласованности мнений экспертов не превосходит 0, 05.

\
	-	-	0, 71	0, 66	0, 65
	-	0, 625	0, 55	0, 51	0, 505
	-	0, 504	0, 448	0, 416	0, 411
	-	0, 422	0, 378	0, 351	0, 347
	0, 375	0, 319	0, 288	0, 267	0, 264
	0, 3	0, 256	0, 231	0, 215	0, 213

При можно считать, что величина имеет распределение близкое к распределению с степенями свободы.

Пример 8.1.Пять экспертов ранжировали восемь объектов . Результаты приведены в таблице. Объект →                 Эксперт ↓                                                                                                                           Находим ранг объектов при полном рассогласовании экспертов (8.1): . Сумма отклонений (8.2): Коэффициент конкордации (8.4): . . Число степеней свободы . По таблицам (Приложение) находим . Вероятность слишком велика. Для сближения оценок экспертов нужно провести дополнительный тур оценивания, либо исключить второго эксперта, как слишком “оригинального”. После исключения второго эксперта получаем новую таблицу : Объект →                 Эксперт ↓                                                                                                         Производим все вычисления в таком же порядке: ; ; ; Число степеней свободы . По таблицам (Приложение) находим . Согласованность экспертов значительно лучше.