Успеть за 30 секунд: учителям готовят помощника для проверки сочинений на ЕГЭ

Участники технологического конкурса «ПроЧтение» Национальной технологической инициативы (НТИ) создают ассистента учителя на основе искусственного интеллекта (ИИ). Ведение подобных разработок стало отдельным направлением нацпроекта «Цифровая экономика». О том, насколько хорошо уже сейчас цифровой помощник исправляет смысловые ошибки в сочинениях на ЕГЭ и чем еще он может быть полезен школьникам и педагогам, порталу национальныепроекты.рф рассказал глава оргкомитета конкурса, директор по развитию технологических конкурсов Up Great НТИ Юрий Молодых.

Правильно подобрать метафору

Для технологических конкурсов Up Great НТИ выбирается сложная научная задача, которую никто в мире еще в полном объеме не решил. При этом она должна иметь социальную значимость и быть полезна для экономики в долгосрочной перспективе.

Конкурс «ПроЧтение» предусматривает разработку интеллектуальной системы, способной успешно выявлять смысловые и фактические ошибки в эссе школьников не хуже учителя. Причем ИИ должен тратить на проверку одной работы не более 30 секунд.

«С помощью технологий искусственного интеллекта можно решать уже множество задач. Тем не менее с некоторыми задачами на практике пока никто справиться не может, в частности ИИ не может полноценно понять смысл текста, — рассказал Молодых. — Чтобы сделать шаг в сторону такого искусственного интеллекта, мы запустили конкурс, в котором берем реальные школьные сочинения, написанные на ЕГЭ по русскому языку, истории, литературе, обществознанию и английскому языку, и предлагаем командам-участникам создать ИИ, способный найти в сочинениях смысловые и фактические ошибки — в датах, логике, использовании языковых норм и прочие — не хуже учителя».

Призовой фонд конкурса составляет 100 млн рублей для решения задачи по анализу текста на русском языке и столько же для английского языка. Если же победителей будет несколько, то 70% от суммы получит участник, занявший первое место, а оставшиеся 30% будут разделены между вторым и третьим местами.

«Мы рассчитываем, что такой победитель появится в течение ближайших полутора-двух лет и у нас на рынке будет решение, способное выявлять смысловые ошибки, может быть, не во всех текстах, но в школьных сочинениях уж точно», — подчеркнул глава оргкомитета конкурса.

Конкурс стартовал в декабре 2019 года и, как ожидается, продлится до конца 2022 года, если только кто-то из участников не решит поставленную задачу раньше. В ходе мероприятия проводятся регулярные циклы испытаний, каждый из которых состоит из отборочного этапа, квалификационных и основных соревнований.

В первом цикле конкурса, где для анализа было представлено по 500 эссе на русском и английском языках, приняли участие более 180 команд разработчиков. По результатам квалификации до испытаний было допущено 11 команд, показавших эффективные решения.

«В итоговом списке у нас был представлен широчайший набор участников: как команды, давно специализирующиеся на компьютерной лингвистике, такие как компании «Антиплагиат», «Наносемантика» и лаборатория МФТИ DeepPavlov, так и студенческие команды и даже команды, состоящие всего из двух человек: студента мехмата МГУ и выпускника МФТИ», — отметил Молодых.

Однако решения, удовлетворяющего всем требованиям, пока представлено не было. «Победителя пока у нас нет, хотя команды показали неплохие результаты: лучший из них — это примерно 85% от того объема ошибок, которые нашел эксперт, но 85% — это еще не 100%, соответственно, конкурс будет продолжаться», — пояснил он.

Что касается текстов на русском языке, то лучший промежуточный результат показала команда «Антиплагиат» (уровень точности — 57,8%). Для английского языка наиболее качественное решение продемонстрировала команда «НейроЧтение» (разработчик DeepPavlov) с уровнем точности 84,5%. На этом этапе ИИ-ассистенты участников наиболее успешно справились с выявлением лексических, грамматических и речевых ошибок, а наибольшие сложности у них возникли при определении логических ошибок.

Молодых рассчитывает, что на следующем этапе к конкурсу присоединится еще больше команд.

Меньше рутины, больше возможностей

«Формулируя задачу конкурса, мы понимали, что, даже если искусственный интеллект будет работать на уровне человека, он все-таки не станет полноценной заменой учителю, но мы в первую очередь предполагаем, что он будет использоваться как инструмент помощи учителю в проверке домашних заданий, контрольных сочинений, а в перспективе и экзаменационных работ и ЕГЭ, чтобы учитель тратил на это меньше времени, чем сейчас», — рассказал Молодых.

По его словам, такой интеллектуальный помощник мог бы работать, например, следующим образом: ученик загружает домашнюю или контрольную работу на платформу, где ее проверяет ИИ. У многих команд, участвующих в конкурсе «ПроЧтение», он уже делает это всего за 5–10 секунд. После этого работу смотрит уже учитель, который может где-то согласиться с ошибкой, найденной программой, а где-то добавить свое замечание.

«В итоге, по нашим оценкам, проверка одной работы будет проходить в два-три раза быстрее, чем сейчас, что в больших масштабах приведет к значительной экономии времени педагога, которое он сможет направить на подготовку к следующему уроку», — уточнил Молодых.

С другой стороны, такая технология позволила бы создать отдельный сервис для учащихся. «Например, своего рода тренажер для подготовки к ЕГЭ, когда можно загрузить работу и посмотреть оценку, которую поставит искусственный интеллект. Причем сделать это в любое удобное время. То есть такой сервис может стать очень ценным подспорьем для самоподготовки и развития различных навыков, а также автоматизировать и облегчать работу репетиторам, которые помогают детям готовиться к экзаменам», — считает глава оргкомитета конкурса.

Работа на перспективу

В ходе проведения конкурса организаторы получают экспертизу и обратную связь от сотен учителей и десятка школ, и, как отметил Молодых, учителя по-разному относятся к возможности появления такого помощника. Есть скептики, которые не верят в то, что такой инструмент будет создан, есть оптимисты, некоторые сразу оценивают проект позитивно, другие же первое время высказывают опасения.

«Некоторые преподаватели, не сразу поняв, о чем идет речь, начинают думать, что цель проекта — полностью заменить учителя и лишить его работы, что, безусловно, не так. Проверка работ учеников — это по большей части рутина, которая иногда не оставляет времени на более качественную подготовку к занятиям», — отметил он.

В процессе работы с платформой, которая была создана при подготовке конкурса для загрузки работ, учителя дают комментарии, что существующая там классификация ошибок удобна, так как дает возможность более качественно провести проверку работы, а у учеников возникает меньше вопросов, что эта галочка на полях означает.

«Поэтому педагоги говорят, что даже пока без искусственного интеллекта они были бы рады внедрению в школах такой цифровой платформы, чтобы можно было проверять работы в электронном виде. Особенно часто на это обращают внимание учителя, которым пришлось в пандемию распечатывать присланные фотокопии ученических работ для проверки, а затем уже отправлять фото текстов с исправлениями», — поделился Молодых.

Конкурс «ПроЧтение», по его словам, безусловно, укладывается в концепцию нацпроекта «Образование» и других инициатив по оцифровке процесса обучения. Тем не менее говорить о том, что такой интеллектуальный помощник начнет оперативно внедряться во всех школах после финальной разработки, преждевременно. И в первую очередь это связано с тем, что пока большинство письменных работ должно выполняться детьми от руки.

«Вопрос распознавания рукописного текста частью этого конкурса не является, хотя, скорее всего, если интеллектуальный помощник учителя будет создан, его не так сложно будет под это доработать, но это все равно отдельная большая задача. А в целом этот проект, как мне кажется, предполагает серьезные изменения в образовании, провести которые быстро нельзя. Процесс адаптации и переподготовки должен занять какое-то время», — считает Молодых.

Источник: Национальные проекты