Дмитрий Аббакумов: Данные обучающих онлайн-платформ могут принести пользу и студентам, и преподавателям
Перевод образования в цифру, с одной стороны, дал новые возможности, а с другой — поставил несколько критически важных вопросов, без которых доказательное образование невозможно. Пандемия эти вопросы только заострила. Проблемы онлайн-образования обсуждались и на прошедшей на днях конференции eSTARS, организованной Высшей школой экономики и платформой Coursera. Мнением по этой теме с VTimes поделился руководитель Центра вычислительных наук об образовании НИУ ВШЭ Дмитрий Аббакумов.
«Рентгеновский снимок» курса
Описать особенности доказательного образования проще всего через аналогию с доказательной медициной — парадигмы, в которой решения о применении лечения принимаются, исходя из имеющихся доказательств его эффективности и безопасности. Соответственно, доказательное образование — это парадигма, в которой обучение идет с помощью средств и практик, эффективность которых доказана.
Сегодня появилась возможность автоматически собирать большие наборы данных о поведении пользователей в образовательных средах, которые могут служить ценнейшим источником для доказательного образования. Онлайн-платформы записывают любую активность студента, буквально каждый клик мышкой, и сохраняют эти данные в базу, которую можно выгрузить с платформы.
Сами по себе данные несут мало пользы. Добавленная стоимость приходит от их анализа. Так, например, из набора ноликов и единичек — записанных платформой правильных и неправильных ответов студента на практические задания — при статистическом (психометрическом) анализе можно получить параметры подготовленности и учебного прогресса.
Данные об активности студентов в течение просмотра видеолекций могут указать на узкие места в видеолекции. Паттерн, когда студент нажимает на паузу и переходит на несколько секунд назад, эмпирически свидетельствует, что этот момент видеолекции не был понятен. Если этот паттерн встречается у единичных студентов — переживать не стоит, нормальная ситуация. Но если существенная группа студентов имеет такую форму активности — это доказательно указывает на необходимость доработки видеолекции.
Все больше экзаменов проводится в цифровой форме. Студенты делают ошибки. Мы научились объединять эти ошибки в единую сеть, чтобы увидеть закономерности: понять, откуда пошла та или иная учебная трудность, является ли она системной, требующей решения на уровне курса (например, через дополнительные учебные материалы).
Примеры показывают, что данные и их анализ становятся «рентгеновским снимком» курса. Профессора узнают, что улучшать, а студенты получают лучший контент.
Высокие ставки доверия
Неизбежно появляются вопросы доверия к данным. Можем ли мы быть уверены, что верный ответ на онлайн-задачку свидетельствует о том, что пользователь действительно освоил тему, а не списал или подобрал правильный ответ? Чтобы решить эту задачу, как минимум, все диагностические процедуры в образовании должны строиться от образовательных целей, а не от контента. Как это происходит зачастую? Для составления экзамена преподаватель открывает свою лекцию и по ней придумывает вопросы: вот про эту дату надо спросить, наверное; ну и про этот факт тоже можно спросить.
Такой подход в корне неверен. Нужно сначала посмотреть (или сформулировать, если этого не было сделано) на цели темы — что студент по итогам этой темы должен запомнить, что понять, как применить изученное. И далее задания необходимо строить именно для проверки этого понимания и применения.
Второй вопрос заключается в доверии к используемым моделям машинного обучения в образовании. В мире в целом накапливается настороженное отношение к использованию моделей типа black boxes в сопровождении и принятии решений с высокими ставками. Но в образовании это еще слабо осознается, и дебаты о необходимости использования интерпретируемых моделей только впереди.
В образовании, в отличие от многих других областей науки и практики, нам критически важно понимать причины происходящего. Например, при прогнозировании пробок на дороге первичен прогноз — нам важно точно знать, где и когда будет пробка. Как работает модель, точно спрогнозировавшая пробку, нам важно в гораздо меньшей степени. В образовании же нам важно разобраться, почему именно студент сделал ошибку, какая именно у него возникла учебная трудность. Поэтому прогноз (ошибок и трудностей) пусть и важен, но первично именно объяснение их причин. Именно поэтому в образовании нам так важно понимать, как работает модель машинного обучения, почему она выдала такой прогноз, как этот прогноз связан с предыдущим опытом студента и другим контекстом — важно, чтобы модель была интерпретируемой изначально.
Аббакумов Дмитрий Федорович