Контроль знаний для массовых образовательных курсов

В 2013 году в сфере образования появилось новое направление — массовые открытые онлайн-курсы (МООК), например www.khanacademy.org, www.muh.ru, www.intuit.ru. Наборы МООК представляют собой библиотеки лекций, учебных и контрольных заданий, созданных специалистами ведущих университетов. Термин «МООК» ввел Дэйв Кормье из Университета Острова Принца Эдуарда (Канада) в 2010 году, и тогда же Себастьян Тран, профессор из Стэнфорда, выложил в Сеть бесплатный курс по искусственному интеллекту, на который сразу записались 160 тыс. студентов из 190 стран.

Чем отличаются МООК от ставшего привычным дистанционного образования? Цель обучения — овладение конкретными знаниями, а не получение диплома, поэтому в МООК слабо организована оценка самостоятельной работы студентов, которым лишь предлагаются тесты, автоматически оценивающие только конечный результат, а проекты, эссе и рефераты оцениваются другими студентами. Такой способ проверки — взаимоконтроль — был предложен в 70-х годах российским учителем математики В. Ф. Шаталовым [1, 2], и сегодня он используется на многих площадках, предлагающих МООК (www.coursera.org, www.intuit.ru и др.), позволяя решить проблему проверки развернутых ответов для большого количества обучающихся.

По сути, МООК — это вызов традиционным формам обучения, и его главная функция состоит в предоставлении доступа к учебным материалам, продвижении учебного заведения, которое открывает себя всему миру, давая возможность любому желающему приобрести новые знания. Такие задачи, в частности, преследует система взаимопроверки работ в Национальном открытом университете «ИНТУИТ».

Методика проведения взаимопроверки работ студентов в учебном процессе при использовании МООК состоит из выбора критериев оценки, определения весовых коэффициентов критериев и организации взаимоконтроля.

Для выбора критериев оценки при взаимопроверке работ студентов и оценки весовых коэффициентов преподаватель может использовать метод анализа иерархий [3]. Попарное сравнение критериев по их важности осуществляется по девятибалльной шкале с составлением соответствующей матрицы n х n. Система парных сведений приводит к результату, который может быть представлен в виде обратно симметричной матрицы. Элемент матрицы a(i,j) — интенсивность проявления элемента иерархии i относительно элемента иерархии j, оцениваемая по шкале интенсивности от 1 до 9: равная важность — 1; умеренное превосходство — 3; значительное превосходство — 5; сильное превосходство — 7; очень сильное превосходство — 9. В промежуточных случаях ставятся четные оценки: 2, 4, 6, 8 (например, 4 — между умеренным и значительным превосходством). Затем формируется матрица (см. табл. 1).

Таблица 1. Матрица попарных сравнений

Если в процессе заполнения матрицы элемент i важнее элемента j, то клетка (i, j), соответствующая строке i и столбцу j, заполняется целым числом, а клетка (j, i), соответствующая строке j и столбцу i, заполняется обратным числом (дробью). Таблица заполняется построчно: сначала проставляются целочисленные оценки, а соответствующие им дробные оценки получаются из них автоматически (как обратные к целым числам). Чем важнее критерий, тем больше целочисленных оценок будет в соответствующей ему строке матрицы, а сами оценки будут выше.

Достоверность критериев оценивается согласно алгоритму, приведенному в работе [3].

В качестве примера можно привести оценку работы студентов, выполняющих задание «Разработка методики оценки ЦОДов». Для выбора критериев оценки работ приглашаются четыре-семь экспертов, мнения которых сводятся в матрицу попарных сравнений (табл. 2). Эксперты выбрали критерии: цена услуги, номенклатура, конфиденциальность, оборот, сроки договора и надежность. В этой таблице эксперты определяют важность каждого из показателей, рассматриваемых при выставлении оценки студенту в ходе взаимопроверки. При заполнении таблицы диагональные значения матрицы равны единице — одинаковые критерии имеют равную важность. При оценке каждого из критериев рассчитывают индекс согласованности и относительную согласованность, следя за тем, чтобы она не превышала 10%.

Таблица 2. Матрица попарных сравнений для выбора критериев оценки работ студентов

Организация взаимоконтроля проходит несколько этапов. Сначала студенты оценивают работы друг друга в соответствии с критериями, выбранными преподавателем, причем лучше использовать простые двух- или трехбалльные шкалы. Для выбора критериев и определения их веса необходимо привлечь группу экспертов, а критерии можно опубликовать вместе с заданиями. Взаимоконтроль можно использовать для работ, которые невозможно проверить с помощью тестов: курсовые работы и проекты; рефераты; эссе; рецензии на научные статьи; библиографические списки и др. После этого преподаватель определяет, сколько работ должен проверить каждый студент. Например, в ИНТУИТе их более пяти. При этом устанавливается штраф за невыполнение проверки — 20% от собственной оценки за данную работу. Проверяющий может написать комментарий автору работы или заявить о плагиате.

Оценки рассчитываются по критериям, которые складываются со своими весами (табл. 2, столбец «Вес фактора»). Оценки нормализуются к шкале, принятой в образовательной организации, — например, пятибалльной или десятибалльной. В результате каждая работа получает несколько оценок, а результирующей будет их медиана для оценки среднего и нивелировки влияния выбросов.

Часть работ могут проверить преподаватель или ассистенты. В табл. 3 представлены примеры результатов взаимоконтроля (оценки нормализованы к десятибалльной шкале). На рисунке приведены относительные ошибки студентов при проверке одной работы, где за истину принята проверка работы преподавателем.

Таблица 3. Результаты взаимоконтроля при выставлении оценки хорошо (6)

Относительная ошибка проверки работы студентами. Оценка работы — «хорошо» (6)

Для повышения качества взаимопроверки каждый студент (не зная этого) получает работу, уже проверенную преподавателем, который может сравнить, насколько оценки совпадают. Студент может, если захочет, проверить несколько работ, уже проверенных преподавателем, и узнать, совпадают ли его оценки с правильными. Студент может разместить свою работу в открытом доступе или дать разрешение преподавателю сделать это.

Объективность данной системы взаимопроверки достаточно высока: расхождения в оценках, выставляемых студентами друг другу, не превышают 2–5%. Точность оценки зависит от правильности выбора критериев и сложности проверяемого задания.

Взаимопроверка сама по себе является эффективным видом учебной работы и может использоваться не только для проверки работ при использовании дистанционных технологий обучения, но и при очном обучении. При проверке письменных работ у преподавателя появляется инструмент, позволяющий познакомить студентов с лучшими работами их сокурсников. Кроме того, взаимопроверка полезна при оценке работ, предусматривающих публичную защиту (доклады на семинарах, защиту рефератов, защиту курсовых работ и проектов и др.).

***

Массовые открытые онлайн-курсы бросают вызов традиционному образованию, стимулируя при этом его развитие. МООК дают возможность большому числу людей бесплатно и дистанционно обучаться разным предметам, используя все доступные сервисы сетевого и мобильного взаимодействия, а правильно организованная взаимопроверка активизирует деятельность учащихся, повышая, в свою очередь, эффективность МООК.

Литература

1. Шаталов В.Ф. Куда и как исчезли тройки. — М.: Педагогика, 1979. — 134 с.
2. Шаталов В.Ф. Точка опоры. — М.: Педагогика, 1987. — 158 с.
3. Саати Т. Л. Принятие решений. Метод анализа иерархий. — М.: Радио и связь, 1989.

Александр Сериков (aserikov@hse.ru) — первый проректор, Национальный открытый университет «ИНТУИТ», Москва.