Подходы к оценке качества обучения в Интернет

Итак, мы установили, что СУМИК - это нечто более сложное, чем электронный учебник в традиционном понимании, например, выполненный как публикация учебного материала к компьютере и, в лучшем случае, дополненная тестами. Поэтому в широком смысле, при оценке качества обучения с помощью СУМИК, надо оценить (с точки зрения дидактики, эргономики и т.д.,) не только качество учебного мультимедийного материала, опубликованного на сервере и читаемого в процессе учебы студентом, но и качество семинаров, распределенных проектов, консультаций и т.д, которые будут реализовываться с помощью средств электронного педагогического общения. Средства педагогического общения обычно встроены в оболочку (ИСРИСК), в которой размещается СУМИК. В таком случае процесс оценки качества распадается, видимо, на априорную оценку, другими словами, некоторую предварительную экспертизу СУМИК (например, на аппаратурно – программную эксплуатационную пригодность), и оценку апостериорную, которую можно получить, изучая педагогический эффект (новообразования), которые получится после обучения студентов с использованием Интернет.

Первую часть (апостериорную оценку) можно получить, оценив качество учебно-методического комплекса по различным группам

показателей с помощью, например, экспертов. Это будет нечто похожее на сертификацию. Это направление достаточно хорошо разработано. В качестве показателей используются эргономические, технические соответствие гигиеническим требованиям и санитарным нормам работы и др.

Второй подход, позволяет представить сетевой учебно-методический комплекс как черный ящик. Мы «запускаем» туда студента и смотрим, что получилось на выходе после его обучения. Это и будет качество образования, которое получил студент, используя СУМИК. Качество в таком случае можно проверить с помощью тестирования и других форм контроля знаний и умений студента.

Естественно, можно и комбинировать, и это будет как бы третий, комплексный вариант оценки.

Другими словами, мы имеем три пути:

1. Экспертная оценка (априорная);

2. Экспериментальная оценка качества (педагогический
эксперимент);

3. Комплексная оценка (комбинация первых двух).

Указанные подходы исследованы и обобщены в диссертации Вострокнутова И.Е. «Теория и технология оценки качества программных средств образовательного назначения».

Дадим краткую характеристику этим подходам.

1. Экспертный метод оценки

В экспертных методах оценки используются эвристические возможности человека, позволяющие на основании знаний, опыта и интуиции ведущих специалистов, работающих в данной области, получить оценку исследуемых явлений. Эксперт является как бы датчиком исходной количественной информации в тех случаях, когда отсутствуют другие способы ее получения.

Экспертиза – это один из основных методов исследования в общей квалиметрии, широко используемый при проведении экспертной оценки в одном из ее направлений – педагогической квалиметрии, которая занимается количественной оценкой качества педагогических процессов.

Для оценки качества наиболее часто применяются метод групповых экспертных оценок. В основе метода групповых экспертных оценок лежат следующие утверждения. Во-первых, экспертная оценка имеет вероятностный характер и основывается на способности эксперта давать информацию – оценку в условиях неопределенности. Во-вторых считается, что когда оценку дает не один, а несколько экспертов, то истинное значение исследуемой характеристики находится внутри диапазона оценок отдельных экспертов, т.е. обобщенное коллективное мнение – более достоверно. В-третьих, отбор экспертов, процедура общения с ними и обработка полученных экспертных оценок проводятся

по определенному алгоритму. Затем, отобранные и подготовленные эксперты действуют в соответствии с разработанными правилами[3].

2.Экспериментальная оценка (педагогический эксперимент).

Эксперимент проводится, если предварительно обеспечена[4]: Разработанность гипотезы; Наличие программы экспериментальной работы; Разработанность способов и приемов обучения; Наличие условий для экспериментальной работы; Разработанность путей и приемов фиксации хода и результатов

эксперимента – форм документации; Подготовленность участников эксперимента; Надежность методики эксперимента; др.

Рассмотрим некоторые критерии оценки качества электронного учебного курса. Критерий это – средство для суждения, признак, на основании которого производится оценка, определение или классификация чего- либо, мерило оценки. В педагогических экспериментах используют: Количественные критерии Объем используемых знаний; Коэффициент усвоения учебного материала, который равен отношению

объема учебного материала, усвоенного учащимися в течение

определенной единицы времени к материалу, сообщенному

учащемуся за то же время. Коэффициент прочности усвоения учебного материала, как отношение

запомнившегося материала и материала сообщенного учащимся в

процессе обучения за определенный период. Качественные критерии отождествляются с уровнями знания:

Учебного материала;

Понимания учебного материала;

Овладения учебным материалом (умение фактически использовать усвоенное при решении практических задач);

Овладения интеллектуальными навыками (умение трансформировать усвоенный материал в новых условиях сознательно и оперативно).

Применительно к СУМИК при выборе критериев за основу можно взять качественные характеристики электронного курса, обобщенные в результате анализа зарубежных источников К.К. Шевченко и Е.И. Горбуновой[5].

Основные (общие, системные) качественные характеристики выглядят следующим образом: Целевая ориентация курса; Содержание курса;

Мотивированность изучения курса (использование алгоритмов

логической непрерывности, системы поощрения); Возможность освоения учебного материала в зависимости от

целей обучения (профессиональная потребность); Методические возможности изучения курса (различные сценарии:

самообучение, самоподготовка, работа в аудитории и т.д.); Комплексность учебно-методического сопровождения (учебник,

руководство по изучению дисциплины, сборник

профессиональных задач, хрестоматия и т.д.); Целесообразность иллюстративного материала (графика,

анимация, звук); Коммуникационные возможности курса (интерактивность, связь

студент-преподаватель, студент-студент и т.п.); Информационная поддержка (помощь студентам и

преподавателям при возникновении неожиданных ситуаций); Контроль знаний (промежуточный, рубежный, итоговый); Возможность продвижения курса на международном рынке

образовательных услуг (представление учебного материала на

иностранных языках с учетом особенностей межкультурных

коммуникаций); Возможность обучения контингента с физическими

ограничениями; Возможность обновления учебного материала; Лицензионная чистота используемых учебных материалов

(соблюдение авторских прав).

Дополнительно для оценки качества электронных учебных курсов европейским форумом «Образовательные технологии и общество» рекомендовано использовать специальные критерии.

Критерии авторской разработки:

ориентация на опыт аудитории, стили обучения;

ориентация на потребности аудитории;

глубина когнитивного анализа задач;

критерии определения стратегии;

определение целей тьюторства;

определение необходимых отношений между тьютором и учащимся.

Критерии проектирования учебных материалов:

наличие материалов для разных категорий учащихся;

разнообразие возможных учебных траекторий;

предварительно определенное число траекторий учащегося;

соответствие поставленным целям обучения.

Критерии процедуры тьюторства:

линейное следование, одинаково для каждого;

сценарное следование, зависит от предыстории.

Критерии адекватности моделирования: элементы интерактивности и презентации; адекватность реалиям рабочих мест.

Критерии поставки учебных материалов: качество графического материала; качество звука;

время ожидания для выгружаемых учебных материалов и для ответа системы.

Изучение материалов иностранных источников, показало, что в зарубежных системах образования в качестве экспертов обязательно привлекаются студенты.

Во многих университетах США существует практика анкетирования студентов по окончанию изучения курса. Для оценки эффективности использования электронных учебников в учебном процессе им предлагается ответить на вопросы, позволяющие оценить:

целесообразность изучения курса в электронном виде (возможность достижения целей курса);

технологии поставки учебного материала;

длительность загрузки электронного курса;

контентную сложность курса;

разнообразие форм заданий;

наличие иллюстративных материалов, в частности динамических;

управление курсом;

возможность обновления и актуализации содержания курса;

возможность выполнения групповых заданий;

интерактивность курса (подтверждение правильности действий студента, задания для самооценки);

обратную связь с преподавателем (электронная почта, время для консультаций);

поддержку студентов (информация о задачах курса, техническая помощь).

уместность раздаточного материала (контентное соответствие, достаточность количества, удобство использования).

В среде отечественных специалистов формализованную оценку качества сетевого курса (в части дидактической эффективности) предложил Ю.И. Лобанов, которая имеет цель установить фактический уровень освоения требований образовательной программы. Обучение при этом рассматривается как дидактически управляемый процесс формирования эффективного целенаправленного поведения учащегося в определенных образовательной программой ситуациях и выделяются следующие основные характеристики:

цели курса - перечень формируемых знаний и умений; направленность мотивации;

методы обучения - набор используемых методов обучения; соответствие методов целям курса;

учебный материал - аудио-, видео- и др. материал (описательный, операционный, инструктирующий); соответствующий целям обучения по объему и содержанию;

способы управления действиями - набор правил выполнения действий с указанием операционного состава; соответствие действий целям курса; способы выбора и задания целей действий; способы организации выполнения действий; способы контроля и диагностики; способы коррекции;

структуру курса - набор используемых учебных модулей; способы связей модулей; возможность модификации и расширения курса;

условия применения - уровень начальной подготовки; разнообразие режимов применения; перечень регистрируемых данных; перечень программ статистической обработки; сохранность данных; защищенность от непредвиденных запросов, сообщений; комфортность работы.

эффективность - степень достижимости объявленных целей курса.

Процедура оценки дидактических показателей сводится к следующему. Поскольку эффективность какой-либо целенаправленной деятельности оценивается степенью достижения цели, т.е. степенью близости достигаемого результата деятельности к желаемому, то обобщенным показателем эффекта деятельности может служить степень близости достигаемого результата к максимально возможному E= 1 -Rg/Rmax, где Rmax - максимально возможная величина вектора результатов, а Rg - расстояние от точки, соответствующей текущим результатам, до желаемой цели в многомерном пространстве критериев. Различную важность частных критериев можно учесть с помощью соответствующих коэффициентов.

Курс характеризуется множеством показателей качества К ={К1, К2, …, Кn}. Критерии качества курса задаются множеством желаемых значений показателей качества G = {G1, G2, …, Gn}, где Gi -желаемое значение показателя i в шкале [0, 1].

Интегральным показателем дидактической эффективности курса служит индекс качества - степень достижимости целей курса.

Оценка качества курса производится в следующем порядке: уточняются цели курса;

выбирается набор частных и интегральных показателей; уточняется важность частных показателей, используемых при расчете интегрального показателя качества (индекса качества);

определяются значения частных показателей;

вычисляется значение индекса качества оцениваемого курса.

Оценка значений дидактических показателей

Индекс качества E, - обобщенный показатель качества СУМИК, рассчитывается как степень достижимости целей обучения, измеряемой в N-мерном пространстве показателей качества Ki:

Г? ™ ' М, Ю*(0, 1] (1)

где Wi - коэффициенты важности выбранных интегральных показателей качества основных составляющих ЭУК, Ki - значения выбранных интегральных показателей качества. Геометрически - это относительное расстояние до идеальной цели.

Если важность всех показателей равна 1, то выражение (1) принимает более простой вид:

где N - размерность пространства показателей - общее число учитываемых показателей качества.