1

«Мы можем собирать данные
и исправлять учебники на лету»

О секретных алгоритмах, работе с издательствами
и безграничной адаптивности

Опубликовано: 05.05.2014


Cара Иттельсон, директор по развитию Knewton, о внутреннем устройстве самого технологичного образовательного стартапа и максимуме адаптивности, достигнутом в наше время.

Как вы оцениваете тот уровень адаптивности, который вы можете предоставить cейчас? Насколько это далеко от максимума?

Думаю, максимума нет, но если сравнивать с тем, что уже доступно в мире, мы, очевидно, ушли вперед. Термином «адаптивный» сегодня разбрасываются как модным словечком, в лучшем случае имея в виду персонализацию и дифференциацию. На первый взгляд очень похоже, но копать нужно глубже. Допустим, есть сервис, с помощью которого вы предварительно тестируете учеников и делите их на группы. Это чистой воды персонализация, но никак не адаптивность. Даже если тестирование происходит в реальном времени, вряд ли программа при этом анализирует эффективность усвоения материала. Эти данные получить очень сложно. Их нельзя вывести, например, из количества переходов или посещений сайта. Нужно проделать кропотливую работу: проставить теги ко всему контенту и случайным образом проверять, как с заданиями справляются различные студенты. Лучше всего это делает ETS, организация, которая проводит экзамен по английскому языку TOEFL, а раньше занималась еще и GMAT, вступительным тестом для бизнес-школ. Они тратят десятки тысяч долларов на исследования, создают экспериментальные вопросы, многократно тестируют их, чтобы установить точные статистические параметры. И хотя мы работаем не с собственными данными, а с теми, что нам предоставляют издательства, мы так же уверены в результатах, как и ETS. По одному вашему ответу мы точно узнаем ваш уровень и как вы ответите на следующие двадцать вопросов, даже не задавая их. Без таких данных получается просто угадайка: набрал 7 из 10 — прошу сюда, а 6 из 10 — вот туда. Выбор делается на основе неких логических суждений, хотя на самом деле нужны суровые цифры, которые со временем смогут подсказывать наиболее эффективные учебные траектории и обеспечить настоящую персонализацию.

Мы точно узнаем ваш уровень и как вы ответите на следующие двадцать вопросов, даже не задавая их.

На конференции SxSWEdu многие говорили о том, что большие данные в образовании пока еще не такие уж большие, чтобы серьезно о них говорить. Что вы об этом думаете, вам данных хватает? Или алгоритмы Knewton сейчас работают не на максимальной мощности?

У всех очень разный подход к тому, что называть большими данными. Бывают по-настоящему серьезные проекты, а кто-то просто собрал данные по посещаемости и хвастается. Нужно всегда помнить о том, как вы собираетесь их использовать. Наша цель — добиться максимального усвоения материала и отменить тройки. Это значит, что ты не можешь пойти дальше, если получил удовлетворительную оценку. Добиться этого сложнее всего: нужно не просто постоянно анализировать процесс, но и моментально отвечать на изменения, выбирая из коллекции заданий те, что самым коротким путем приведут человека к цели.

Cара Иттельсон

Мы пытаемся найти психометрический клон человека и сравнить его образовательный паттерн с другими. Всегда найдутся те, у кого не всё получалось, кто пасовал перед трудностями, расстраивался из-за потраченного впустую времени, так и не достигнув цели. Есть и другие студенты — те, что учились ровно так же, но лучше справились с материалом, быстрее прошли курс и больше запомнили. Мы хотим найти таких отличников и сделать их проводниками студента: предложить ему те самые материалы и задания, по которым шли они к успеху. Именно поэтому самые важные (и недооцененные) данные — те, которые показывают, как студент усваивал материал и насколько свободно им владеет.

Студенты — это только один из элементов системы. Не в меньшей степени ее работа зависит от материалов, по которым учатся. Насколько то содержание, которое предоставляют ваши партнеры — крупнейшие и довольно старые издательства — годится для таких манипуляций? Вам, как минимум, нужно все нарезать на кусочки, перегруппировывать и адаптировать для каждого студента. Или вовсе переписывать?

Да, это знание, которое всегда было ограничено рамками бумажной книги, а теперь крупные издательства переводят его в цифру. Обычно мы выбираем что-то, с чем мы в принципе можем работать, снимаем ограничения, и позволяем студентам продвигаться по материалу с большей свободой. Это первая ступень. На второй наши издательства разрабатывают новые учебные материалы уже с учетом того, как студенты взаимодействовали с предыдущими. Мы можем определить, какие фрагменты курса оказались менее эффективны. Например, если студенты всегда застревают на третьей неделе, можно потратить бюджет на переработку одной темы, а не всего курса, как это бывает, и постепенно довести блок до совершенства. Сейчас наши инженеры выжимают из содержания все, что только можно, но по-настоящему глубокого усвоения достичь трудно. Мне кажется, что со временем авторы становятся внимательней, они учатся выявлять и исправлять слабые стороны с помощью данных. Думаю, в будущем все будут тестировать материалы и оптимизировать их в зависимости от результатов студентов. Но сначала это всегда те же бумажные книги, просто оцифрованные, причем со своими плюсами и минусами, которые раньше просто не проявлялись, когда студент сидел один на один с книгой и делал задания в ночи. Перейдя в онлайн, мы можем собирать эти данные и исправлять наши учебники на лету.

Knewton — это очень сложно устроенная система управления контентом. Чтобы всё заработало, издатель должен особым образом структурировать контент, выявить какие-то параметры, хотя ему известен только один — образовательные цели. Вы как-то помогаете авторам разобраться с самими собой?

Конечно, это коллективная работа, но издатель лучше видит конструкцию своих материалов и знает, зачем они нужны и в каком контексте используются. Все это важно, чтобы правильно применить нашу технологию. Может получиться, например, гибкий языковой курс, рассчитанный на полную свободу и самообучение — если кто-то хочет открыть бизнес в другой стране и должен быстро выучить язык, не имея времени на посещение курсов. Алгоритм Knewton позволяет получить максимальный результат за минимальное время, не отвлекаясь от цели. Вряд ли третьеклашек нужно учить чтению так же. Ведь прочесть и обсудить всем классом один и тот же отрывок — это тоже полезно. Может, для таких случаев нужна какая-то другая адаптивность? Допустим, давать разные задания: ты будешь определять интенции автора, а я буду выделять главные идеи в тексте. Каждый будет заниматься тем, что для него более актуально, хотя материал будет одинаковый.

А кто это создает эту педагогическую архитектуру, если можно так сказать? Ваши разработчики или педагоги?

Все вместе. Вообще у нас есть специальные люди, мы их как раз называем «архитекторами интеграции» — это руководители проектов, от решения которых всё зависит. Они служат нашими «переводчиками» в работе с издателями, объясняя, что мы можем сделать друг для друга. Иногда получается самый настоящий живой разговор о том, полезный обеим сторонам.

До сих пор вы не раскрывали ваш «секретный ингредиент» — то, каким образом устроены ваши алгоритмы. Есть ли надежда, что образовательное сообщество в скором времени узнает о ваших открытиях? Появится ли какой-то открытый даташоп хотя бы для исследований?

Наш секретный алгоритм — это в том числе то, чем мы хотим отличаться от всех. Думаю, постепенно нам придется приоткрыться, чтобы показать, чем именно мы лучше. Что касается данных, нам кажется, что все данные, сгенерированные студентом, должны принадлежать ему. Если ты переходишь с одного образовательного приложения на другое, данные должны путешествовать вместе с тобой. Мы работаем над тем, чтобы это можно было сделать. Разработчик каждого приложения не должен по новой определять, как ты учишься и что для тебя лучше. Если мы что-то узнали про тебя как студента, то выиграть от этого должны все. Поэтому такие данные, мы, наверное, раскроем, равно как и информацию для академических исследований, потому что уже сейчас это инструмент такого уровня, о возможностях которого исследователи образования даже не подозревают. Нужно просто выбрать подходящую площадку, которой смогут воспользоваться академики. Права на какие-то данные принадлежат нашим партнерам, но, думаю, они будут не против поделиться.

Уже сейчас это инструмент такого уровня, о возможностях которого исследователи образования даже не подозревают.

В том-то и дело. Если посмотреть на работу интернет-магазинов — а коммерческий сектор является одним из главных поставщиков технологий для образования — то у них, например, есть внешние рекомендательные системы, которые любой продавец может встроить в свой сайт. Такие системы накапливают информацию о предпочтениях пользователя и транслируют ее из одного магазина во все другие. Это не значит, что магазинам не хватает собственных данных. Просто такая открытость дает всем гораздо больше.

Один из наших издателей выпустил мобильное приложение для мам, которые хотят заниматься с детьми математикой. История маленького ученика из этого приложения, которое нацелено напрямую на покупателя, используется для анализа их основных учебных материалах для школы. То есть у них получилось соединить формальное и неформальное обучение. И процесс обмена данными между издательствами конкурентами может быть таким же, если они этого захотят.

Какова роль учителя в этой системе, есть ли ему вообще место?

Конечно, существуют проекты с индивидуальным графиком обучения, где учитель не предусмотрен, но практически всегда он есть, и его поддержка очень много значит. Мы стараемся создавать такие решения, где учитель ничего не меняет в своем методе преподавания, но ученик просто приходит на занятие более подготовленным. Хороший пример — издательство Houghton Mifflin Harcourt и их тренажер по математике. Все ученики получают одно одинаковое задание на дом, а второе у всех разное: кто-то всё решает на лету и поэтому просто ответит на дополнительный вопрос, а кто-то мучается, поэтому прорешает задачи по предыдущим темам и повторит понятия. В старой модели мы бы всё делали на бумаге, и учитель отдал бы проверенные тетрадки через день. Теперь это делается онлайн, и результат можно узнать мгновенно. Мало того, учителю больше не нужно решать, что делать с теми, кто ничего не понял — так как мы вмешиваемся в правильный момент, к уроку в классе все готовы. Решение проблем случится за кадром, и эта победа достигнута вообще без участия учителя, ему не пришлось ничего менять. Мы сотрудничаем и с университетами: создали инструменты, которые показывают, кто успевает, а кто не справляется и не закончит курс вовремя. Учителя могут просто ежедневно открывать отчет, следить за тем, что конкретно в данный момент изучают студенты, кто из них отстает, и нужно ли вмешаться.

Эта офлайн-опция в данном случае?

Да, но есть и другие, где мы предоставляем рекомендации учителю о том, как он может использовать время в классе. Допустим, вы подготовились объяснять новую тему, а ваши ученики еще не освоили фундаментальные знания: тогда мы скромно предложим проработать вот эти понятия, прежде чем изучать то, что вы задумали. Мы стараемся сделать прозрачной информацию о том, что студенты знают, а чего не знают. Профессиональному учителю достаточно крошечных намеков, чтобы почувствовать, что кто-то не успевает. Но профессионализм вырабатывается не сразу, а мы можем собрать эти данные и преподнести их учителю уже готовыми. Можно подавать учителю тайные знаки как семилетний ребенок: «Мне неинтересно, мне скучно», а можно дать конкретные данные, которые покажут, что дети знают, а чего нет, на что они тратят больше всего времени и как с этим работать.

Вы работаете только с такими крупными издательствами или есть шанс для маленького стартапа? Ведь один из самых важных вопросов, стоящих перед стартапом — что делать самому, а что взять готовым, как, например, готовый рекомендательный сервис. Как ему принимать решение?

Мы работаем со всеми, но конечно, требуются некоторые предварительные усилия с обеих сторон, и для нас в приоритете игроки с большим охватом и большие библиотеки контента. Мы сами все еще стартап, у нас работает всего 150 человек. Крупные издательства — это комбинация большого числа студентов и большого объема контента, которые быстрее разгонят мотор. Но наша технология довольно гибкая и позволяет поддерживать десятки различных обучающих приложений — дело просто в том, как использовать API, который у нас есть. Партнеры транслируют нам данные о студентах и запрашивают рекомендации и аналитику.

Означает ли это, что ваша технология подходит только для онлайна, а в офлайне не работает? Для использования, например, на iPad?

Если это офлайн, нужно просто решить, как часто программа будет выходить в сеть. Будет ли толк, если делать это раз в месяц? А если программу использовать на уроке в офлайне, но каждую ночь передавать нам данные, то так мы сможем работать.

Если у вас есть API, можно ли подключать проекты пачками, тарифицируя за количество выданных рекомендаций, или это все же ручная интеграция, которую надо делать под микроскопом?

Конечно, мы стремимся к первому варианту. Правда, сейчас мы очень плотно работаем с издателями и как раз занимаемся интеграцией «под микроскопом», чтобы убедиться, что всё работает. Это очень важно, ведь на каждом продукте потом будет стоять наше имя, «Powered by Knewton». В ближайшем будущем, нам кажется, любой сможет использовать API, создать разработку и прийти к нам, а мы будем платить за каждое получение информации с сервера.


Владимир Синельников