Адаптивное обучение

LLLab pro —
это лаборатория для создания и тестирования методик непрерывного образования

Адаптивное обучение

Как изучать инструменты
Цель и аудитория
Теоретическое обоснование
Описание методики
Do's and don'ts
Дизайн тестирования
Команда проекта
Обратная связь

КАК ИЗУЧАТЬ ИНСТРУМЕНТЫ?

Прочтите теоретическое обоснование.
Все инструменты построены на научных теориях. Их понимание будет подкреплять практическое применение инструментов. Так вы разберетесь, не только ЧТО надо делать, но и ПОЧЕМУ.

Действуете!
Изучите целевую аудиторию, цели и задачи применяемых методик и инструкцию по их применению.
Спланируйте внедрение инструмента в свои образовательные процессы поэтапно и определите показатели эффективности изменений.

Экспериментируйте!
К каждой методике мы добавили дизайн исследования, то есть вы сами можете оценить ее эффективность и написать нам результаты.
Присоединяйтесь таким образом

Экспериментируйте!
Отнеситесь к методикам, как к гипотезам, которые нуждаются в тестировании. Для каждого инструмента мы добавили дизайн исследования, то есть вы сами можете оценить ее эффективность и написать нам результаты в форме обратной связи.

1

2

3

Цель и аудитория

Адаптивное обучение, если правильно его применять, дает два выигрыша:

Экономия времени обучаемого - он быстрее изучает все ему необходимое, т.к. не тратит время на повторное изучение того, что уже знает.
Доходимость до конца - обучаемые более удовлетворены собственным прогрессом, поэтому снижается процент не завершивших обучение (dropout rate).

Почитать подробнее можно в статье.

На кого рассчитана и в каких образовательных решениях рекомендована к использованию.

Рекомендована к использованию, если у вас:

Устоявшаяся предметная область, которая не меняется дважды в год
Есть доступ к автоматизированной системе обучения или ресурсы, чтобы создать такую систему самим
Много пользователей, которых вы хотите обучить (тысячи или больше)

Прямо сейчас мы не можем сказать, что адаптивное обучение подходит только какой-то конкретной категории пользователей (по демографии или должностным обязанностям) - для этого недостаточно данных. Адаптивное обучение применяется достаточно недавно и не везде. Однако адаптивным путем учат школьников алгебре и студентов - биологии. Так что можно предположить, что как минимум для этих категорий пользователей оно эффективно. Мы же предполагаем использовать адаптивное обучение для взрослых людей - вот заодно и поглядим, что получится.

Система дистанционного обучения (СДО) для внедрения адаптивного обучения должна позволять:

быстро собирать дистанционные курсы из небольших (по 1-5 минут) кусочков теории и отдельных практик;
делать связи/зависимости теории и практики, чтобы было понятно, что вот этот тестовый вопрос относится к этому ролику/лонгриду;
Индивидуально назначать отдельные кусочки отдельным пользователям
Собирать статистику по этим кусочкам - прошел/не прошел, с каким баллом, с какой попытки;
Хранить информацию о пользователе (его "профиль") и обновлять ее в зависимости от успехов пользователя.

Требования к методистам, которые будут создавать программу адаптивного обучения:

Понимание предметной области (т.е. нужен предметный, а не метапредметный методист);
Умение разделить часть предметной области на небольшие, отдельные, относительно независимые друг от друга кусочки по 1-5 минут изучения;
Способность самостоятельно или вместе с экспертом построить зависимости между этими кусочками - то есть, какие кусочки пользователю нужно выучить первыми, чтобы ему "открылись" все остальные.

Теоретическое обоснование

Мы взяли за основу knowledge space theory, которая используется в основе таких систем дистанционного обучения, как ALEKS и Knewton. Подробно мы разбирали эту теорию в нашей статье, поэтому сейчас вкратце повторим основные постулаты:

Мы делим всю предметную область на много маленьких кусочков знаний, например, 7 кусочков от a до f (только в реальности не 7, а 400). Важно: хотя мы говорим здесь про знания, но каждый тезис может быть и практическим, например, как начертить биссектрису, или даже как правильно закрепить заготовку на токарном станке. То есть умения и навыки мы тоже рассматриваем.

Связываем эти кусочки между собой. Например, тебе нужно сначала узнать про а, чтобы перейти к с, то есть а будет пререквизитом для с (пререквизит - необходимое предварительное условие для чего-то), а d и е - следствиями из с. Получается модель предметной области в виде ориентированного графа.
Перед началом обучения даем каждому обучающемуся тест, чтобы понять на каком он уровне - а, d или f. Когда пользователь отвечает на вопросы по каждому кусочку, система понимает, знает он этот кусочек или нет. И дает ему для изучения только неизвестные ему кусочки. Это экономит время и нервы пользователя - он не получает контент, который "ну уже сотни раз видел"

В процессе обучения система автоматически выдаёт обучаемому каждый неизученный им кусочек отдельно. После успешного прохождения проверки знаний по кусочку дает строго определенные следующие кусочки (обозначены стрелками). Так и складывается индивидуальная траектория для каждого пользователя.

Описание методики

Методика состоит из двух этапов - подготовки и обучения.
Причем подготовка - это основной и самый ресурсозатратный этап.

Подготовка

1. Выбрать предметную область - например, программирование на Java или проектный менеджмент. В нашем конкретном случае важно, что предметная область строго практическая. Нам важно научить пользователей что-то делать - ставить цели проекта или писать циклы. Абстрактно-концептуальным вещам здесь не место.

2. Опциональный этап (который мы будем использовать) - выбрать небольшую часть предметной области или одной темы (например, определение критических факторов успеха проекта). Это необходимо маленькой команде вроде нашей, т.к. составлять модель целой предметной области - это занятие на год для команды из 100 человек. Все говорят, что это долго и дорого, поэтому мы решили начать с малого. Заодно поймем нормативы работы.

3. Сделать тезисный план - нумерованный список всех утверждений внутри той части предметной области, с которой мы работаем. Их должно получиться 20-30 штук (пока в команде не определились, кто-то говорит, что 10, кто-то - что 50, еще уточним)

4. Составить для каждого тезиса вопросы типа "а можно ли знать этот тезис и не знать вот этот?" и "а нужно ли знать этот тезис, чтобы изучить вот этот?" Это нужно, чтобы...

5. Определить связи между тезисами. Было бы очень здорово, если бы они все выстроились в одну цепочку, как 33 буквы алфавита, но нет, будет много параллельных связей, взаимное подчинение тезисов-пререквизитов другому тезису, взаимное следствие и т.д. Вот тут примерно 90 тезисов:

У нас будет в 2-3 раза меньше, но вы поняли масштаб проблемы. Соответственно, нужно 2-3 человека в теме, которые пройдутся по вопросам из предыдущего пункта, ответят на них "да/нет", и таким образом мы поймем, какие тезисы связаны друг с другом, а какие независимы, и нарисуем линии между ними. Все, модель предметной области наконец-то готова. Можно делать обучающий контент.

6. Написать практические задания. Поскольку мы идем от практики (и предметную область такую же выбрали), то практику делаем до теории. Это поможет также выкинуть из курса ту теорию, которая не относится к практике, а значит, лишняя. Практические задания предполагаем двух типов - формирующее (попрактиковаться и просто набраться опыта в безопасной среде, отработать навык и понять свои ошибки; такая практика делается не на оценку) и итоговое (проверочное, на оценку) оценивание. Для каждого тезиса нужно минимум по 2 из каждого типа.

7. Написать теоретическую информацию для каждого тезиса. Предполагаем давать сразу самое подробное теоретическое описание для каждого тезиса, как будто человек, который его получил, ничего не знает.

8. Написать примеры - наглядную инструкцию применения теории. Таким образом, тезис будет представлять собой комбинацию "теория+пример+формирующее оценивание+итоговое оценивание".

9. Составить правила перехода между тезисами. Пока сборник такой:

Пользователь:

Прошел первое (у нас их два, помните?) формирующее оценивание и запустил первое (тоже два) итоговое оценивание.
Провалил итоговое оценивание - получает второе формирующее оценивание и второе итоговое оценивание.
Провалил итоговое оценивание второй раз - возвращается к теории, пока не повторит ее.
Успешно прошел итоговое оценивание с любого раза - проверяем, соседние тезисы-пререквизиты. Если они есть - даем на изучение их. Если они закончились (пользователь все успешно прошел) - даем тезис-следствие. Например, если пользователь успешно прошел с, проверяем, прошел ли он b. Если прошел, даем ему выбрать тезис из d или е. Если не прошел, пусть учит b, потом пустим дальше.

11. Составить правила адаптивного тестирования (то есть когда следующий вопрос зависит от ответа пользователя на предыдущий). Сами вопросы у нас уже есть (это просто итоговое оценивание по тезисам), но нужны правила. Сейчас планируем спросить эксперта по теме, какие тезисы наиболее ключевые, и начинать с них. Дальше повышать или понижать уровень тезиса в зависимости от того, верно пользователь отвечает или нет.

12. Выбрать систему, на которой все это будет базироваться. Это должна быть автоматизированная система, которая позволяет строить связи между тезисами, делать адаптивные тестирования и собирать статистику. Мы пока в поисках. Выбираем из SmartSparrow, где есть бесплатный план на 5 человек, либо ищем компанию с кастомной системой, которая позволит технически реализовать наши задумки.

Обучение

1. Запускаем в систему пользователей и смотрим, как работают правила. Если что-то идет не так - пользователи активно отваливаются, не могут перейти с тезиса на тезис или просто недовольны - включаемся и правим в процессе.

2. Наконец, мы стандартно оцениваем образовательный результат - как пользователи изучают материал, сколько ответили правильно, сколько неправильно, с какой попытки.

Do's and don'ts

Плюсы:

Экономит время обучаемых и повышает их настроение;
Экономит время преподавателей - им не нужно читать каждый раз одну и ту же тему, они могут сконцентрироваться на помощи ученикам.

Минусы:

Ресурсозатратно - подготовка адаптивного обучения по одной предметной области занимает десятки тысяч человекочасов;
Не дает обучаемым особой свободы - им выдается траектория с небольшими возможностями выбора, и свернуть с нее они не могут.

Дизайн тестирования методики

Дизайн тестирования эффективности методики

Готовим единый набор контентных единиц (слайды/ролики, тестовые вопросы) для онлайн-обучения. Собираем две группы обучаемых:

Для группы А (экспериментальной) собираем контентные единицы в адаптивный трек, подстраивающийся под их уровень знаний (с адаптивным тестированием и иерархией тезисов);
Для группы Б (контрольной) собираем контентные единицы в обычный линейный трек, без подстройки под их уровень знаний. Все пользователи в этой группе получают контент в определенном методистом порядке, как в онлайн-курсе.

Подготовка

Убедиться, что СДО отвечает требованиям, и у вас достаточно опытная команда (см. пункт "На кого рассчитана").
Набрать две группы обучаемых, минимум по 10 человек в каждой группе.
Ознакомить их с правилами обучения, однако не говорить, что они участвуют в исследовании.
Опционально, если хотим сделать исследование слепым: подготовить минимум двух исследователей - один будет обезличивать данные и передавать второму, а второй будет их считать.

Проведение и замер эффективности