АНО Центр Образовательных Технологий

Как оценивать эффективность МООКа: исследование Гарвардского университета и MIT

07.02.2014

Когда Гарвардский университет и Массачусетский институт технологий в 2012 г. подписали соглашение о создании проекта EdX, на пресс-конференции президенты обоих вузов обещали представить детальное исследование по итогам первого года работы совместной платформы открытых онлайн-курсов. Первый год истек летом 2013 г., и теперь, спустя 8 месяцев, университеты выполнили свое обещание.

Как оценивать эффективность МООКа: исследование Гарвардского университета и MITВ конце января 2014 г. в их онлайн-репозиториях был выложен полный текст сводного коллективного исследования, выполненного командой экспертов во главе с профессором Эндрю Дин Хо (Andrew Dean Ho), а также отчеты по каждому курсу, предложенному Гарвардом и МИТ в прошлом учебном году. Всего таких курсов было разработано 17 (5 — в Гарварде и 12 — в МИТ), все — уровня бакалавриата. В соответствии с профилем, МИТ предложил курсы естественнонаучной и технической специализации (от «Введения в программирование» до «Электричества и магнетизма», исключением стал только «Вызов глобальной нищеты»), а Гарвард — столь же широкие обзорные социогуманитарные курсы (к примеру, «Авторское право» или «Справедливость», которая неожиданно оказалась в центре межуниверситетского скандала).

Исследование ценно прежде всего тем, что в нем впервые для практики МООК сами вузы (а не частные компании) точно высчитали процентное соотношение между «окончившими» и «не окончившими» изучение курса, учитывая всех слушателей, а не только тех, кто пожелал заполнить итоговую анкету. Как сообщается в сводном исследовании, всего на 17 курсов, предложенных обоими вузами, записалось 841687 слушателей (597692, если считать участников, а не общее число регистраций). Это намного более скромный результат, чем у Coursera (5,8 млн слушателей за 3 семестра, правда, неизвестно, считают ли они уникальных слушателей или количество регистраций). Полностью завершили свои курсы и получили сертификат 43196 слушателей (5%), еще 35937 (4,2%) выполнили курс больше, чем наполовину. Абсолютное большинство — 469702 слушателя (55,8%) — сделали меньше половины заданий, и еще треть (292852 или 34,8%) даже не начинали работу в МООКе.

90% отсева — конечно, еще не рекорд. В одном из первых МООКов на Coursera отсеялось 97% слушателей, но в целом отмеченная еще в 2012 г. тенденция сохраняется: 10–15% дошедших до конца — очень хороший результат для массовых открытых онлайн-курсов. Наиболее репрезентативный проект статистики MOOK показывает, что для большинства курсов типичен отсев на уровне 87%. Именно этот фактор приводят в качестве главного аргумента те, кто считает, что МООКи пока не готовы бросить вызов традиционных форм обучения.

В целом эти цифры укладываются в динамику четырех «архетипов» по Полу Хиллу, который еще в марте 2013 г. определил 60–80% слушателей как «затаившихся» (“lurkers”), которые готовы в любой удобный момент бросить курс (например, когда задания станут слишком сложными, обычно это бывает примерно на третьей неделе курса), еще 5% — как «заходящих» (“drop-ins”), которые мало что делают, но присутствуют в курсе до самого конца, и лишь 15% в сумме — как «пассивных» и «активных участников». В примерах, которые приводит Хилл, посещаемость курса падает в 8 раз между 1 и 6 неделей и в 2 раза — уже ко 2 неделе. В конце третьей недели наступает период «стабилизации», когда в нем остаются практически только те, кто серьезно настроен на обучение. При этом разница между пассивными и активными участниками по Хиллу — только в готовности самим определять правила работы в МООКе, а не в степени их усердия.

Со-основатель Coursera Дафна Коллер считает, что важность фактора отсева преувеличена: сейчас главное, что слушатели готовы исследовать новое, пробовать новые формы обучения, а потом они могут двигаться дальше (“Their intent is to explore, find out something about the content, and move on to something else”). Их поведение заложено в открытой и бесплатной природе МООК, считает профессор Коллер: если слушателям придется заплатить хотя бы 50$, доля окончивших курс «может вырасти» до 70%.

Подтвердился и ряд других тенденций: вероятность окончания курса наиболее велика для тех слушателей, кто уже имеет степень не ниже бакалаврской (66% всех участников, заходивших на курс и 74% окончивших). Такую же динамику показал ноябрьский опрос на Coursera (там число слушателей со степенью бакалавра и выше достигло 80%, но не все, кто получил форму опроса, ответили на него). Низким остается и количество слушательниц — всего 29%, пенсионеров — 6,3% и жителей слаборазвитых стран — 2.,7%, но, возможно, это связано со спецификой предлагаемых дисциплин. Средний возраст слушателей — 23–30 лет, до 1/3 из них — граждане США.

Что же делать с уровнем отсева? Аналитики Гарварда и МИТ рекомендуют… изменить критерии оценки курса и не считать 90% не закончивших его показателем неудачи. Зарегистрироваться в онлайн-курсе — не то же самое, что поступить в университет, пишут они в аналитическом введении к своей работе. Три традиционных фактора обучения в университете [финансовые расходы, издержки упущенной выгоды и отчетность (monetary costs, opportunity costs, and accountability)] в онлайн-образовании отсутствуют. Соответственно, само слово «отсев» (dropout) употреблять не стоит — оно применимо только там, где количество мест ограничено, и за попадание в список участников курса приходится бороться. Стратегия «затаившихся» («лёркеров») — не результат их поведенческой или академической неудачи, а исполнение своего плана. Их целью может быть получить доступ к материалам курса или просто попробовать свои силы, а отнюдь не окончить курс и заслужить сертификат. Если попробовать надавить на них — через личное обращение или усложнение заданий — они, по мнению авторов исследования, просто уйдут из курса. Удержать их можно, упростив материал — но тогда придется пожертвовать академическими стандартами.

Запись на курсы тоже носит «асинхронный» и «волновой» характер: процент будущих «затаившихся» [правда, эксперты Гарварда и МИТа предлагают называть их «просматривающими» (viewers) в противовес «исследователям» (explorers)] стабилен и не зависит от даты записи, а вот те, кто собирается зарабатывать сертификат, обычно записываются ближе к дате начала курса, очевидно, планируя свое время.

Если сравнивать статистику по гуманитарным и естественнонаучным и техническим курсам, единой тенденции нет. Гарвардский курс «Справедливость» успешно завершили 7% слушателей, а МИТовский «Вызов глобальной нищеты» — 12% (это самый лучший результат среди всех 15 курсов), гарвардское «Введение в программирование» — 1% (вероятно, новый антирекорд), а аналогичный курс в МИТе — 7%. Тем не менее, средний результат по университетам очень ровный (5% завершивших по курсам Гарварда, 6% — МИТа).

В заключении авторы исследования призывают вообще по возможности не применять термины традиционного образования к онлайн-курсам, отказавшись даже от таких слов, как «студент», «курс», «оценка», «завершение», «запись (на курс)» (“student,” “grade”, “course”, “enrollment”, “completion” и т. д.). В сущности, это призыв к новой дискурсивной модели описания онлайн-образования, которая:

а) дает полный доступ к материалам курса;

б) отказывается от подсчета процентов «выпускников»;

в) сертифицирует слушателей, но и это не объясняет их истинных мотивов (не получившие сертификат могут вынести из курса больше знаний, чем получившие — при этом их невозможно оценить и проверить);

г) курс в этой модели — нечто настолько трудно определяемое и самодостаточное, что авторы решили позаимствовать способ его определения у Гертруды Стайн: «курс это курс это курс».

Эндрю Дин Хо и его коллеги скептически относятся к возможной теории МООКов: каждый курс и каждая образовательная ситуация уникальна, пользовательских стратегий слишком много, чтобы такая единая теория была возможна. МООКи — не спасение системы высшего образования, а новый способ удовлетворить потребности общества. Эта последняя мысль перекликается с тем, что еще в 2012 г. сказал президент МИТ Рафаэл Рейф (Rafael Reif): «Исторический шанс (системы высшего образования в том, чтобы служить обществу еще лучше, заново изобретая то, что мы делаем и как мы это делаем» (“The potential of new technologies is presenting all of us in higher education with a historic opportunity: the opportunity to better serve society by reinventing what we do and how we do it….”).

В. С. Макаров

Инновационные образовательные технологии в России и за рубежом