Компетентность студента можно оценить на основе анализа подготовленных им документов, его поведения в системах управления вузом, тестирования знаний, управления обучением (Learning Management Systems), а также в открытых онлайн-курсах (Massive Open Online Course). Кроме того, можно использовать данные из социальных сетей, в которые вовлечен учащийся. В идеале для оценки компетентности необходимо использовать все эти источники информации, но особое внимание стоит обратить на анализ поведения учащегося в Twitter, Facebook, «ВКонтакте», «Одноклассниках» и LinkedIn. В отличие от других источников, информация, извлеченная из социальных сетей, может быть более объективной, поскольку активность учащегося в социальной сети протекает в комфортных условиях, не сопряжена со стрессами, обусловленными внешним контролем, который имеет место, например, при сдаче тестов.

Обычно из социальных сетей извлекаются анкетные данные пользователя, информация о его связях, интересах, образовании и месте работы, о перемещениях, а также сведения об активности (число постов, альбомов, время нахождения в сети). Методы извлечения такого контента хорошо известны, и для их поддержки имеется несколько программных продуктов, таких как SocioHub, Crauler и т. п., однако для оценки компетентностей учащегося необходима другая информация, поэтому эти системы не могут быть использованы. Программная система анализа социальных сетей должна не только извлечь данные о студенте из всех указанных социальных сетей, но и подвергнуть добытые тексты семантическому анализу с помощью алгоритмов, основанных на правилах, которые подразумевают наличие заранее составленных словарей, описывающих варианты использования лексических единиц в тексте [1]. Словари строятся на основе онтологий учебных предметов, формализованных в виде семантических сетей, таких, например, как семантические сети обучающей системы «БИГОР».

В проекте третьего поколения Федеральных государственных образовательных стандартов высшего профессионального образования предлагается классифицировать компетентности учащихся на универсальные, включающие такие субкомпетентности, как общенаучные, социально-личностные, общекультурные и инструментальные, а также на профессиональные, включающие такие субкомпетентности, как общепрофессиональные и профильно-специализированные. Количественные меры субкомпетентностей называют индикаторами. Например можно говорить об индикаторе профессиональной компетентности учащегося, а также об индикаторах его общепрофессиональных и профильно-специализированных субкомпетентностей. Значения индикаторов субкомпетентностей — это функции от характерных признаков учащегося, определяемых на основе извлекаемых из социальной сети данных о студенте. Субкомпетентность, называемая регулятивной, может проявляться в следующих признаках: наличие портфолио и других достижений; их число и диапазоны; горизонтальная или вертикальная профессиональная мобильность и т. п.; число контактов и групп, в которые входит учащийся; величины оценок, полученных им; число комментариев к его заметкам; число написанных комментариев на тексты других участников сети и так далее. Познавательная субкомпетентность понимается как широта области интересов студента; число профессиональных групп, в которые входит учащийся; богатство лексикона; выполнение логических операций сравнения, анализа, обобщения, классификации, установления аналогий и т. п.

При оценке значений всех подобных характерных признаков можно выделить следующие уровни знаний:

  • декларативное знание (уровень ознакомления, восприятия внешних когнитивных карт);
  • концептуальное знание (понимание, идентификация и репродуцирование);
  • процедурное знание (оперирование и преобразование во внутренние когнитивные карты);
  • ситуационное знание (транспонирование, перенос навыка во внутренний план действий);
  • поведенческое знание (целенаправленное формирование собственного мыслительного инструментария и процедуры его использования).

Примером представленных оценок уровней знаний может быть коммуникативная субкомпетентность. Декларативное знание в этом случае означает, что информация на «стене» профиля студента в социальной сети не структурирована; посты — короткие, простые по структуре и содержанию; преобладают эмоциональные оценки текстов других пользователей; контактов мало или, наоборот, очень много, но они не дифференцированы; цепочки комментариев практически отсутствуют; оценки со стороны других пользователей практически отсутствуют. Концептуальное знание говорит о том, что учащийся знаком с нормами ведения диалога в сети и соблюдает их; использует известные готовые шаблоны для написания собственных постов; имеет устойчивый и обозримый круг друзей. Процедурное знание — уважительно относится к идеям, мнениям и оценкам других; отвечает на комментарии других и пытается делать это содержательно, а не только эмоционально-оценочно; имеет устойчивое число оценок. Ситуационное знание — студент способен связывать разные темы в одном тексте; порождает сложно структурированные тексты, адекватные ситуации коммуникации; способен анализировать и адекватно оценивать как собственные посты, так и тексты других; использует аргументацию; имеет разветвленную сеть комментариев; большое число подписчиков и оценок. Поведенческое знание — учащийся может выходить за пределы «непосредственно данного»; использует помещение нового материала в иные смысловые контексты, в результате чего изменяется видение всей картины опыта; имеет разветвленную сеть комментариев; у него большое число подписчиков и оценок.

В общем случае в качестве функций, связывающих значения индикаторов субкомпетентностей со значениями соответствующих характерных признаков учащегося, могут использоваться функции различного вида — например, скалярные свертки значений индикаторов субкомпетентностей, в частности аддитивная скалярная свертка [2]. Таким образом, основу программной системы оценки компетентностей учащегося образует матричная математическая модель учащегося, ставящая в соответствие компетентности Ki набор субкомпетентностей Sij, Sij, а каждой субкомпетентности Sij — набор характеристик учащегося aij, aij, образующих вектор Aij.

Программа работы с социальными сетями выбирает численные значения всех индикаторов каждой из субкомпетентностей для некоторой обучающей выборки учащихся. Обучающая выборка формируется по шагам, поэтому единовременно «скачивать» из социальной сети нужно относительно немного данных и проблема ограниченности API-доступа к социальной сети оказывается несущественной. Кроме того, на этапе эксплуатации обученной системы требуется «скачивать» лишь информацию о небольшом числе учащихся. Для каждого учащегося или некоторой части учащихся из обучающей выборки эксперт назначает интегральные оценки их компетентностей. Далее на основе этой выборки надо «научить» систему правильно оценивать компетентности учащихся — как входящих, так и не входящих в эту выборку. Обученный алгоритм можно интерпретировать как интеллектуальную модель эксперта, позволяющую автоматически формировать оценки учащихся, принадлежащих и не принадлежащих обучающей выборке. С учетом терминологии при такой формулировке мы приходим к задаче машинного обучения [2].

Множеством объектов назовем рассматриваемый набор учащихся вместе с ассоциированными с ними значениями индикаторов субкомпетентностей; откликами — соответствующие интегральные оценки компетентностей; прецедентами — элементы обучающей выборки, представляющие собой пары «объект — отклик». Тогда задачу можно поставить следующим образом. Имеется множество объектов и множество возможных откликов. Существует неизвестная зависимость между откликами и объектами, но известна конечная совокупность прецедентов (обучающая выборка). На основе этих данных требуется построить алгоритм (стратегию), способный для любого объекта выдать достаточно точный отклик.

Для оценки компетентностей учащихся в соответствии с данной постановкой была разработана программная система «META3», представляющая собой набор веб-сервисов, которые можно использовать в учебных заведениях и кадровых агентствах (см. рисунок). Система использует следующие типы машинного обучения: обучение с учителем; обучение без учителя; обучение с частичным привлечением учителя; обучение с подкреплением; активное обучение; многозадачное обучение; многовариантное обучение [3].

 

Архитектура системы анализа социальных сетей
Архитектура системы анализа социальных сетей

 

Система «META3» получает данные из различных источников и предварительно обрабатывает их (извлекает компоненты вектора характеристик учащегося), организует безопасное хранение данных и выполняет обработку на базе модели оценки компетентностей учащегося. На вход системы подаются данные из социальных сетей; различные документы, формируемые студентом за время обучения (курсовые работы, проекты, отчеты, статьи); данные из других систем (системы управления вузом, системы тестирования, лабораторные стенды и программные системы, системы обучения).

Для организации хранения данных используется СУБД MySQL, серверная часть написана на PHP, а доступ к серверу осуществляется средствами HTML, CSS, JavaScript. Извлечение данных из социальных сетей производится с помощью API, предоставляемых этими сетями. Относительно небольшой объем обучающей выборки (около 100 тыс. записей) избавляет от проблем с производительностью при работе с социальными сетями, доступом к записям пользователя или ограничениями на количество одновременных запросов, отмечаемых в работах [4, 5].

***

Оценки компетентностей учащихся, полученные путем анализа их поведения в социальных сетях и данных из других источников информации, могут использоваться для управления образовательным процессом в вузе. На основе этих оценок можно организовать процесс «синхронизации» компетентностей выпускников вуза с требованиями работодателей. Кроме того, оценки компетентностей позволяют выполнить классификацию познавательных стилей студентов, способов мышления и сформировать предметно-ориентированные группы учащихся.

Количественные оценки компетентностей учащегося меняются в процессе обучения, причем закономерности этих изменений несут важную информацию о потенциале студента, поэтому в перспективе планируется дополнить динамикой постановку задачи количественной оценки компетентностей учащихся.

Литература

  1. Ландэ Д. В., Снарский А. А., Путятин В. Г. Построение терминологической сети предметной области // Регистрация, хранение и обработка данных. — 2014. — № 2. — С. 114–121.
  2. Белоус В. В., Бобровский А. В., Добряков А.А., Карпенко А.П., Смирнова Е.В. Интегральная оценка многокритериальных альтернатив в ментально-структурированном походе к обучению // Наука и образование: электронное научно-техническое издание. — 2012. — №7. URL: http://technomag.edu.ru/doc/423252.html (дата обращения 14.01.2015).
  3. Ch. Bishop. Pattern Recognition and Machine Learning. Series: Information Science and Statistics. — 2006. — T. XX. 740 p.
  4. Ольга Горчинская, Андрей Ривкин. Анализ данных социальных сетей // Открытые системы.СУБД. — 2015. — № 3. — С. 22–23. URL: http://www.osp.ru/os/2015/03/13046896 (дата обращения: 18.02.2016).
  5. Евгений Рабчевский, Александр Безруков, Николай Пьянников. Поиск, мониторинг и анализ в социальных сетях // Открытые системы.СУБД. — 2015. — № 4. — С. 30–32. URL: http://www.osp.ru/os/2015/04/13047968 (дата обращения: 18.02.2016).

Михаил Захаров (inststud@mail.ru) — зам. декана, Анатолий Карпенко (apkarpenko@mail.ru) — зав. кафедрой, Елена Смирнова — зам. зав. кафедрой МГТУ им. Н. Э. Баумана (Москва). Работа выполнена при поддержке Минобрнауки РФ (проект 2014-14-579-0144-043, RFMEF157714X0135).