Нейросеть YandexGPT в три раза ускорила проверку работ на олимпиаде для школьников «Турнир Ломоносова» по физике, химии и астрономии. Система отсеяла работы без правильных ответов и помогла экспертам МФТИ справиться с выставлением оценок всего за месяц, а не за три, как это было раньше в ручном режиме.
Турнир им. М. В. Ломоносова — соревнование для школьников 6—11-х классов по математике, физике, астрономии, истории, лингвистике и другим предметам, которое состоит из двух этапов: онлайн-отбора и финального очного турнира. Олимпиада проходит ежегодно с 1978 года. Её проводят Центр педагогического мастерства московского Департамента образования, Московский центр непрерывного математического образования, МГУ и МФТИ. Каждый год в турнире участвуют более 35 тысяч школьников.
В «Яндексе» пояснили Хабру, что работы школьников по химии, физике и астрономии загружали в нейросеть. Разработчики «Яндекса» вместе с экспертами Физтеха научили YandexGPT определять, соответствует ли ответ критериям оценки. Если нейросеть не находила необходимых соответствий, то выставляла ноль баллов. Такая автоматическая проверка позволила экспертам уделить больше внимания работам, набравшим больше баллов. Модель обучали на решениях онлайн-этапов прошлых лет.
Эксперты и организаторы мероприятия подтвердили точность работы ИИ. Результаты ручной перепроверки части решений показали, что 95% работ были корректно оценены нейросетью. Эксперимент по внедрению ИИ в проверку работ признали успешным.
В течение ноября участники могли подать апелляцию и заявить о несогласии с выставленными баллами. Количество апелляций осталось на уровне прошлого года. Это говорит о том, что использование нейросети не снизило качество оценки работ, при этом её скорость существенно увеличилась. А полная экспертная проверка всех решений с баллом выше нуля исключила риск получения незаслуженных наград.
Участники олимпиады по физике, химии и астрономии уже получили в ноябре свои результаты и грамоты. В дальнейшем организаторы планируют применять YandexGPT и в других олимпиадах, где есть онлайн-туры, что позволит не только сократить сроки проверки, но и увеличить количество заданий с развернутым ответом на онлайн-турах олимпиад.
Источник новости: habr.com
