Пример статистического анализа результатов тестирования

Таблица 4 составлена по результатам проведенного тестирования группы студентов из 12 человек (n = 12). Число тестовых заданий m = 10. Таблица 4 упорядочена по заданиям, т.е. первое задание самое легкое (на него дали правильный ответ 10 тестируемых из 12, строка таблицы R j). Здесь тестовые задания после предварительных проверок расположены в порядке возрастания трудности и пронумерованы. При правильном ответе i –го испытуемого на j -е задание в клетке их пересечения ставится 1, при неправильном ответе – 0. Столбец Хi представляет собой индивидуальный балл i -го испытуемого, строка Rj – количество правильных ответов на j -е задание, n – количество испытуемых, m – число заданий в тесте.

Далее необходимо упорядочить таблицу по тестируемым, т.е. в первую строку внести данные участника № 4, который верно выполнил наибольшее количество тестовых заданий Хi = 10 (столбец Хi таблицы 1) и дальше по убыванию X_i.

В результате получим дважды упорядоченную матрицу, представленную в таблице 5. С целью дальнейшего применения статистической обработки введем вспомогательный столбец Х_i² и вспомогательные строки.

Таблица 5

В строке R_j расположены данные о количестве правильных ответов (сумма единиц в столбце) на каждое задание, в строке Q_j – количество неправильных ответов (сумма нулей в столбце) на каждое задание, которое можно рассчитать по формуле:

Q_j = n – R _j

В строке рj помещены результаты относительной частоты (доли) правильных ответов на каждое задание. Характеристику рj называют мерой трудности задания. В строке qj помещены результаты расчета меры легкости каждого задания (или относительной частоты (доли) неправильных ответов). Эти величины рассчитываются по формулам:

pj = R_j ∕ n и qj=Q_j ∕ n

Например, для первого задания рj = 10/12 = 0, 833

для второго задания qj = 4/12 = 0, 333

Затем рассчитываются две строчки – pj·qj (произведение двух величин) и (pj∙ qj) ^0.5 (квадратный корень их произведения).

Сумма всех значений pj∙ qj по строке подсчитана и записана в строке pj·qj (см. таблица 2). В нашем случае она равна 2, 021.

Sx ² – исправленная дисперсия тестового балла, подсчитанная по формуле:

где Xi – тестовый балл i- го тестируемого, X _ср. - средний арифметический тестовый балл.

Для расчета среднего арифметического балла находим сумму баллов, набранных всеми тестируемыми и делим ее на число участников.

X _ср.= 59 / 12 = 4, 917

Таблица 6

Теперь можно рассчитать коэффициент надежности педагогического теста (r _н.т.): Коэффициент надежности характеризует точность измерения знаний тестируемых.

r _{н.т. =}

где r _н.т. – надежность теста; m – число заданий в тесте; ∑ pj∙ qj – суммарная дисперсия тестового задания.

Находим сумму квадратов разницы индивидуального и среднего баллов каждого тестируемого: (10 − 4, 917)² + (9 − 4, 917)² + (8 − 4, 917)² + (6 − 4, 917)² + (5 − 4, 917)² +2∙ (4 − 4, 917)² + 3∙ (3 − 4, 917)² + 2∙ (2 – 4, 917)² = 82, 916669

S_x² = 82, 9167 / 11 = 7, 537879

Рассчитаем коэффициент надежности теста:

r _н.т. = 10 ∕ 9∙ (1 ─ 2, 021 ∕ 7, 537879) = 0, 8132

По надежности тест в нашем примере относится к 3 классу.

Тест минимального (3-го) класса должен иметь надежность не менее 0, 8. Тесты второго, первого и высшего классов имеют нижний уровень надежности, соответственно 0, 9, 0, 95 и 0, 97.

Коэффициент валидности по концепции рассчитывается для каждого задания, в таблице он приводится в строке R bis j

R bis j =

В этой формуле Mbj – средний арифметический балл по всему тесту у тестируемых, правильно выполнивших j -ое задание, Mnj – средний арифметический балл по всему тесту у тестируемых, неправильно ответивших на j -ое задание, S_x – квадратный корень из S_x².

Например, задание №1 правильно выполнили 10 участников, в сумме по всему тесту они набрали 10+9+8+6+5+4+4+3+3+2=54 балла, следовательно, Mbj = 54/10 = 5, 4

То же задание №1 неправильно выполнили два участника, они набрали по всему тесту 3+2=5 баллов, следовательно, Mnj = 5/2 = 2, 5 балла.

Подсчитаем коэффициент валидности для первого задания:

R bis j = (5, 4 – 2, 5) /2, 745 · 0, 373 = 0, 394

Если коэффициент валидности меньше 0, 4, то задание считается невалидным, его следует заменить. В нашем примере первое задание невалидно.

С учетом вычисленного коэффициента надежности можно скорректировать тестовые баллы всех тестируемых по формуле:

Тi =X _ср + r _{н. т.} ∙ (X i – X _ср )

где Ti - скорректированный тестовый балл i -го тестируемого.

Например, для тестируемого № 4 скорректированный тестовый балл равен:

Ti = 4, 917 + 0, 813(10-4, 917) = 9, 0506

Можно вычислить доверительный интервал для тестового балла i-го тестируемого:

Хi ± t _α (γ) · S_E

В этой формуле S_E – стандартное отклонение погрешности измерения

S_E = Sх

Вычислим S_E для нашего случая: S_E = 2, 745 = 1, 1865

t _α (γ) – квантиль распределения Стьюдента.

Эта величина для уровня значимости, равного 0, 05, и числа тестируемых n = 12 равна: t _α (γ) = 2, 2 (табл. 3)

Таблица 3