Skypro проверяет домашние задания с ИИ и снизил издержки на 10%

Применение искусственного интеллекта в образовании давно вышло за рамки теории: EdTech-компании внедряют ИИ в обучение и фиксируют измеримый экономический эффект. Skypro — один из таких примеров.

Skypro — онлайн-университет в экосистеме Skyeng, ориентированный на взрослых студентов и предлагающий программы по аналитике, разработке, дизайну и другим востребованным направлениям. Университет активно внедряет новые технологии в образовательные процессы, включая использование искусственного интеллекта (ИИ) в оценке домашних заданий. Это один из ярких примеров использования ИИ в онлайн-образовании в России.

Как и многие проекты в сфере онлайн-образования, Skypro сталкивается с растущими издержками и нехваткой квалифицированных наставников, особенно при работе с тысячами студентов.
В статье расскажем, как университет автоматизировал проверку домашних заданий с помощью ИИ, чтобы:

• Сократить затраты на проверку без потери в качестве и сроках;
• Ускорить обратную связь с учениками в 10 раз;
• Повысить COR (доходимость) студентов до конца курса;
• Стабилизировать и контролировать качество оценки.

Статья будет полезна продуктовым менеджерам EdTech-компаний, руководителям образовательных проектов и всем, кто заинтересован во внедрении ИИ в бизнес для роста эффективности. Разберем архитектуру решения, подход к контролю качества, экономику проекта и поделимся наблюдениями, как меняется поведение студентов и наставников при внедрении ИИ.

Ручная проверка домашних заданий в онлайн-образовании: почему это тормозит рост

Skypro ежемесячно обрабатывает 12 000 домашних заданий. Проверка каждой работы требует участия наставника и влечет за собой ощутимые издержки:

• средняя цена ручной проверки домашней работы достаточно высокая, а для курсовых заданий — в три раза дороже, чем для обычной домашки;
• количество наставников ограничено, их время — дорого. Масштабировать проверку в ручном режиме без роста затрат невозможно;
• даже при соблюдении SLA в 24 часа, реальные сроки получения полноценного фидбека могут достигать 5–7 дней из-за доработок и повторных итераций;
• затянутый ответ от наставника снижает вовлеченность и повышает риск оттока студентов.

Эти ограничения не только увеличивают нагрузку на команду и бюджеты, но и мешают обеспечивать стабильное качество образовательного процесса при масштабировании. Поэтому перед командой встала задача: найти решение, которое позволит сократить издержки, ускорить проверку и сохранить высокий стандарт оценки заданий. Например, классический цикл проверки мог растягиваться до недели, из-за чего терялась скорость обратной связи, а значит — и мотивация учеников. Задача была такой: снизить затраты на проверку работ, не теряя в качестве и скорости обратной связи.

Гипотеза: может ли ИИ заменить наставника при проверке заданий?

Идея использовать ИИ возникла без формальной скоринговой модели. Команда руководствовалась здравым смыслом: если технология GPT-3.5 уже на тот момент (2023) позволяла решать сложные задачи, стоило протестировать ее потенциал в проверке типовых студенческих работ.

Поскольку домашние задания занимали значительную долю издержек в структуре юнит-экономики, именно этот участок выбрали для эксперимента.

Как устроено внедрение ИИ в обучение

Проект по автоматизации проверки домашних заданий в Skypro был реализован небольшой, но высокоэффективной командой: один основной разработчик, Ираклий Кикалишвили как инициатор, и еще два специалиста (включая технического ресерчера). Вся разработка велась без привлечения большого числа штатных инженеров, благодаря использованию no-code-инструмента Make.

Ключевым элементом архитектуры выступила образовательная платформа Skypro, на которой ученики сдавали работы в разных форматах — от Excel-файлов и Google-документов до pull request’ов в GitHub. Для удобства работы с такими документами система производит предобработку: 

1. Сначала распознается тип вложения, например, это может быть формат .docx, .xlsx, .pptx;
2. Затем файлы парсятся в текстовом виде;
3. Информация внутри ДЗ структурируется в формат, подходящий для анализа;
4. Подготовленная векторная база передается в специализированный pipeline автоматизации, разработанный экспертами SkyPro;
5. Для оркестрации отдельных процессов на этом этапе используется Make .

Для проверки заданий используется API OpenAI — в первую очередь модели GPT-3.5 (и, позднее GPT-4). Модель оценивает соответствие задания заранее заданному чек-листу, формирует обратную связь с пояснениями, а при необходимости — возвращается к диалогу с учеником для повторной проверки доработанного решения. 

Параллельно на платформе ведется разработка внутренних интерфейсов, включая систему инспекции, редактор промптов и модуль ретро-тестирования, где можно оперативно перепроверять новые и архивные задания.

Архитектура решения

На ранней стадии команда использовала простые single-shot промпты — это были длинные инструкции, содержащие сразу весь контекст. Такой подход позволил быстро получить первые результаты, но вскоре выявились ограничения: модель теряла нить диалога при повторных итерациях и не справлялась с глубокой логикой заданий. 

Это привело к переходу на многоступенчатую агентскую систему, где задачи разделили между специализированными модулями:

• Агент проверки — анализирует работу по критериям;
• Агент обратной связи — формирует комментарии для студента;
• Агент контроля — принимает итоговое решение.

Такая архитектура повысила гибкость и позволила точечно настраивать каждый этап. Однако команда не остановилась на развертывании, качество работы ИИ постоянно растет за счет мониторинга действий студентов и наставников после получения обратной связи и итеративных доработок — обновления промптов и логики агентов на основе реальных кейсов. Такой цикл обратной связи позволяет точечно улучшать систему, делая проверку домашних заданий более точной и полезной для пользователей.

Процесс разработки был гибким: команда двигалась небольшими шагами, проверяя идеи на практике и быстро внося коррективы.

• Первый MVP был реализован менее чем за неделю — он позволял проверять простые текстовые задания. 
• Переход на новую архитектуру занял еще около двух недель. Наиболее трудоемким этапом стало создание инфраструктуры вокруг проверки: разработка интерфейса для ревью промптов, подключение наставников к процессу обучения модели, построение системы контроля качества и управление базой тест-кейсов. Этот блок работ занял примерно два месяца, после чего решение стало частью операционного процесса Skypro и начало масштабироваться на разные типы заданий. Внедрение инфраструктуры и системы контроля заняло около 2 месяцев. 

Результаты применения ИИ в образовании: эффективность, качество, ретеншн

Внедрение ИИ в проверку домашних заданий в Skypro дало не просто заметный, а стратегически важный результат — как с точки зрения экономики, так и с точки зрения пользовательского опыта.

• На момент подготовки материала ИИ обрабатывает около 35% всех домашних заданий полностью без участия наставников. Это позволило снизить операционные расходы на проверку, улучшив ключевые показатели качества.
• Экономика проекта также претерпела радикальные изменения: автоматизация снизила затраты на проверку работ на 35%. В общей структуре операционных расходов это дало экономию около 10%, учитывая множество других процессов помимо оценки (затраты на платформу, GPT-модель и Make-сценарии, найм и обучение наставников).

Самым неожиданным оказался анализ ретеншн-данных: ученики, получающие обратную связь от ИИ, чаще доходят до следующих этапов программы, чем те, чьи работы проверялись вручную. Это связано как с высокой скоростью получения комментариев — от одной до двух часов, — так и с более структурированной и последовательной логикой проверки. Интересно, что эта скорость была искусственно ограничена: слишком быстрый ответ (например, за минуту) вызывал у взрослых студентов недоверие — они подозревали шаблон или халтуру. Поэтому фидбек от ИИ был «замедлен» до комфортных сроков, близких к взаимодействию с человеком.

Качественные метрики также говорят в пользу модели. 

Внутренний показатель defect rate, фиксирующий расхождения между оценкой ИИ и оценкой наставника по тем же критериям, оказался ниже, чем так называемый «межэкспертный шум» — расхождение между оценками разных преподавателей. Это означает, что модель проверяет не только стабильно, но и в ряде случаев — точнее человека. При этом команда отслеживает каждый случай расхождения, вручную пересматривая его и используя в обучении системы.

Что это дает бизнесу:

• Существенное снижение переменных затрат на проверку заданий (до 90%);
• Повышение конверсии в завершение обучения за счет ускоренного фидбека;
• Возможность масштабировать процесс без роста команды наставников;
• Снижение дефектов проверки по сравнению с человеческой вариативностью;
• Устойчивый контроль качества и механизм обратной связи на баги ИИ.

Этот кейс внедрения ии показывает: нейросети в образовании способны не только снижать издержки, но и улучшать образовательный результат — ретеншн у студентов с ИИ-проверкой оказался выше.

Внедрение ИИ позволило Skypro не просто автоматизировать рутинную задачу, а выстроить масштабируемую, управляемую и экономически эффективную систему, которая влияет не только на издержки, но и на конечные образовательные результаты. 

Что узнали в процессе: инсайты из практики внедрения ИИ в образование

Во-первых, внедрение ИИ всегда сопряжено с вопросом восприятия со стороны пользователя. Когда SkyPro начал внедрять ИИ для проверки заданий, команда ожидала вопросов о технологиях — но столкнулась с неожиданно эмоциональной реакцией. Оказалось, многие взрослые студенты переживали, что ИИ заменит реальных наставников и опасались, что автоматизация сделает обучение менее персонализированным. Это стало ценным уроком — цифровые инструменты нужно внедрять так, чтобы их преимущества говорили сами за себя, не провоцируя сопротивления.

Во-вторых, участие наставников оказалось критически важным на всех этапах проекта. Именно они помогали формировать и улучшать промпты, проверяли сложные случаи вручную, оценивали корректность решений ИИ и принимали участие в ретро-тестировании. Без вовлечения предметных экспертов невозможно было бы построить систему с управляемым качеством. Для этого был разработан специальный интерфейс «отладчика», в котором наставники могли вручную прогонять сценарии, вносить правки и валидировать работу модели на примерах.

Третий важный урок — качество промпта напрямую определяет стабильность и точность работы ИИ. В Skypro промпты не только настраивались вручную, но и тестировались на архивных домашних заданиях. Для этого команда создала систему ретро-проверок, где каждое изменение можно было прогнать по существующей базе и убедиться, что новая версия промпта не ломает старые кейсы.

Четвертый вывод касается самих заданий. Команда поняла, что не всегда есть смысл усложнять архитектуру модели, если можно адаптировать входящий материал. В ряде случаев проще оказалось поменять формат или структуру задания, чтобы оно лучше «читалось» моделью. Например, в Excel-домашках ученикам предложили использовать шаблоны с заданными именами листов и ячеек, чтобы исключить ошибки на этапе парсинга и повысить точность проверки.

Пятый вывод — стандартизация критически важна для масштабируемости. Чем более предсказуема структура задания, тем проще его автоматизировать. Это касается как технической реализации (например, автоматического извлечения данных из pull request в GitHub), так и UX-инструкций для учеников (например, «вставляйте результат в ячейку B2, не переименовывайте листы»).

Наконец, команда пришла к выводу, что ИИ должен уметь «сдаваться». Если после трех итераций система не может принять работу — из-за непонимания, нестандартного формата или «галлюцинаций» модели — задание автоматически передается на ручную проверку. Это решение позволило избежать ситуаций, когда ученик бесконечно получает некорректные правки и теряет мотивацию. Такой подход балансирует эффективность автоматизации и качество образовательного опыта.

Все эти наблюдения сформировали устойчивый фреймворк, с которым Skypro теперь подходит к масштабированию проекта и планированию следующих шагов: от персонализированного дообучения до генерации контента на основе слабых мест ученика.

Следующий шаг: персонализированное обучение с ИИ

Главная цель — сделать обучение более гибким и эффективным за счет точечной помощи там, где студенту это особенно нужно. Команда планирует развивать проект в сторону «доучивающего ИИ-наставника». Цель — не только проверять, но и помогать студенту осваивать материал. В приоритете: персонализированные рекомендации и помощь на основе истории обучения и маркетинговых данных, интеграция ИИ в работу кураторов и наставников как Copilot, возможность генерации вспомогательных материалов «на лету» — текстов, инструкций, примеров.