Тестовое задание №2 — Метрики преподавательского опыта
Тестовое задание №2 · Яндекс Образование

Метрики преподавательского опыта

3 главные метрики на ежедневный pulse, 5 диагностических групп для drill-down и ТЗ на дашборд в 3 уровня — всё откалибровано по индустриальным бенчмаркам (Gallup, COACHE, Goodera, FeverBee, Kirkpatrick).

🎯 3 ежедневные метрики 📊 5 диагностических групп 🛠️ ТЗ на дашборд
★ Ежедневный pulse

3 главные метрики на главном экране

Каждая — из своего «угла зрения»: поведение / качество / удержание. Если хотя бы одна красная — проваливаемся в соответствующую диагностическую группу. Это позволяет команде ежедневно держать пульс программы без перегрузки экраном из 50 показателей.

01 — Поведение
Active Teacher Rate (ATR-30)
% преподавателей, активных за последние 30 дней. Пульс программы, реальная активность от базы 1 200+ человек.
Цель ≥60 %
Бенчмарк: global volunteering median 22,2 %, структурированные программы 1,9× выше (Goodera VQ 2025).
Drill-down при красном: Engagement (Q12) + Load/Burnout + Reactivation спящих
02 — Качество
NPS занятия (rolling 7d)
Средний NPS студентов за последнюю неделю. Качество глазами студента — прямо сейчас, без задержки.
Цель ≥40
Бенчмарк: Education NPS 30–50 типично (Zonka 2026; Survicate 2025).
Drill-down при красном: Quality — peer-review + аудит материалов + сегменты / конкретные преподаватели
03 — Удержание
Voluntary Churn (rolling 30d)
% преподавателей, добровольно прекративших активность за 30 дней. Здоровье удержания и долгосрочной устойчивости программы.
Цель ≤5 % / мес
Бенчмарк: IT voluntary attrition 8–12 % годовых (BambooHR 2025).
Drill-down при красном: eNPS + Recognition + Burnout-screen + Onboarding-воронка
🎯 Принцип На главном экране — один индикатор на один «угол зрения», без перекрытий. Триангуляция (3 источника на одно решение) обязательна, но только в drill-down — иначе главный экран превращается в «vanity wall» из 20+ цифр.

01 — Drill-down

5 диагностических групп

Куда «проваливаемся», когда одна из трёх ежедневных метрик уходит в красное. У каждой группы 2–5 диагностических KPI с целями и бенчмарками — этого достаточно, чтобы локализовать проблему и принять решение.

A

Engagement — вовлечённость в роль

% Engaged по Q12-адаптации (цель ≥35 %); hours/мес на активного (8–10).

Global engagement 20 %, Post-Soviet Eurasia 25 %, top-orgs 70 % (Gallup State of the Global Workplace 2026)
B

Satisfaction / eNPS — лояльность

eNPS квартальный (≥30 good, ≥50 excellent); satisfaction по 6 аспектам COACHE (mean ≥4,0/5).

IT eNPS 19–66 (Culture Amp Jan 2026, QuestionPro 2025); фреймворк COACHE Harvard
C

Quality — качество (триангуляция)

Доходимость когорты (≥65 % длинная / ≥80 % короткая); peer-review (≥4,0/5); re-enroll (≥20 %); live-attendance (≥50 %); TSES self-efficacy.

MOOC median 12,6 % (Jordan, IRRODL); cohort 53,7–85 % (Ruzuku 2026); webinar 44–50 % (Univid 2026). ⚠️ SET в одиночку ненадёжен — мета-анализ Uttl et al. 2017, Nature Reviews Psychology 2025
D

Load / Burnout — нагрузка и риск выгорания

Self-reported workload (≥3,5/5); % с burnout-симптомами (≤15 %); P90 hours ≤20/мес.

CSR-индустрия: burnout 39 % в 2025 (ACCP 2025) — наш ориентир ниже за счёт меньшей нагрузки
E

Community Health — комьюнити

Activity ratio ≥35 %; contribution rate 15–20 %; quarterly retention ≥70 %; community NPS ≥40.

Healthy SaaS communities (FeverBee, CMX 2024, Monetizely)

02 — Концептуальная рамка

Опираемся на 4 признанные стандарта

Не «придумано с нуля»: каждая рамка — это десятилетия исследований и сотни тысяч респондентов. Их сочетание даёт полное покрытие «преподавательского опыта» без слепых пятен.

K

Kirkpatrick Four Levels

Эффективность образовательной активности: Reaction → Learning → Behavior → Results. Используется L&D-индустрией с 1959 г.

C

COACHE Faculty Satisfaction Survey

25 бенчмарков faculty experience (leadership, climate, recognition и др.). 250+ университетов в мире, Harvard Graduate School of Education.

T

TSES — Teacher Self-Efficacy Scale

Tschannen-Moran & Woolfolk Hoy (2001). 3 фактора: instructional strategies, classroom management, student engagement. Мировой стандарт.

Q

Gallup Q12

Engagement по 12 валидированным вопросам. >100 млн респондентов в базе Gallup, индустриальный стандарт.

Совет «опереться на готовые рамки» — не про лень, а про защиту перед стейкхолдерами. Если кто-то на ревью спросит «почему ты считаешь именно это?» — ответ «Kirkpatrick / COACHE / TSES / Gallup Q12» закрывает вопрос. «Я так придумал» — нет.

Сегментация — обязательна

«Преподаватель» в Я.Образовании — это 7 разных ролей. Универсальный набор метрик для всех заведомо проигрывает. Поэтому каждая метрика — режется по формату участия.

ЛекторВебинары, лекции, синхрон
Семинарист / кураторРабота с группой 3–6 мес
Проверяющий / эксперт ОСПроверка работ, обратная связь
Экзаменатор / интервьюерЭкзамены, собеседования
Автор материаловКурсы, задачи, кейсы
Руководитель программыЛид совместной программы
Амбассадор / спикерВнутренние и внешние выступления
«Средняя температура по 1 200 преподавателям» для решений бесполезна. Без сегментации по формату — нельзя адресно реагировать на просадку метрики.

03 — Реализация

Как реализовать — 3 контура за 6 месяцев

Поэтапный запуск под существующую инфраструктуру Я.Образования (CRM с почтами, комьюнити >30 %, асинхронные курсы, страница для преподавателей). На каждом этапе — рабочий результат, не «надо всё или ничего».

Контур 1
М1–М2
Ручной MVP
Baseline по 3 главным метрикам + 5 диагностическим группам через короткие опросы и ручную выгрузку из CRM. Простой дашборд в таблице.
Инструменты: Я.Формы, Я.Вики, Google Sheets / Я.ДатаЛенс
Контур 2
М3–М4
Полуавтомат
Авто-сбор поведенческих метрик (ATR, churn, доходимость, community activity). Модуль peer-review и аудита материалов.
Добавляются: LMS, платформа вебинаров, CRM API
Контур 3
М5–М6
Production-дашборд
BI-дашборд в 3 уровня, алерты при просадке threshold, личный кабинет преподавателя со своими метриками.
Инструменты: Yandex DataLens; алерты в Я.Мессенджер

Источники данных и периодичность

Авто, ежедневно

CRM / LMS / комьюнити: ATR, churn, attendance, доходимость, community activity, response time.

📝

After-event опрос

Я.Формы, 1–2 вопроса сразу после занятия: NPS / CSAT занятия.

📊

Квартальный опрос

≤25 вопросов суммарно: eNPS, Q12-адаптация, TSES short, workload, burnout-screen.

🔍

Полугодие, методолог

Peer-review + аудит материалов — обязательная страховка от ненадёжности SET (Uttl et al. 2017).

Ответственные

Менеджер преп. опытаOwner системы, работа с insights
Аналитик (0,3 FTE)Пайплайны данных, отчётность
Методолог (0,2 FTE)Peer-review, аудит материалов
Комьюнити-менеджерМетрики Community Health
HR-партнёрСигналы оффбординга / грейдов
BI-разработчик + дата-инженер~6 нед на MVP дашборда

Принципы внедрения

Триангуляция перед действиемРешение — только на 2–3 сигналах, не на одном
Короткие опросыУважение времени преподавателя — короче анкета, выше response rate
ПрозрачностьПреподаватель видит свои метрики сам в личном кабинете
Privacy by designВ сегменте — минимум 5 человек; индивидуально — только себе
Owner + threshold на каждую метрикуБез этого метрика — украшение, а не инструмент
Не мерим то, на что не действуемМетрика без сценария реакции — не идёт даже в drill-down

04 — ТЗ на дашборд

Дашборд: PRD-резюме для команды разработки

Полный PRD — отдельным документом в Я.Вики. Здесь — резюме в формате, по которому команда разработки может стартовать без вопросов «что вы имели в виду».

🎯 One-line цель дашборда

Один экран, отвечающий на вопрос «каков сейчас преподавательский опыт в Я.Образовании и где нужна реакция в ближайшие 2 недели?». Если не отвечает — переделываем.

Архитектура — 3 уровня

L1
Главный

Pulse: 3 ежедневные метрики + алерты + impact-блок

ATR-30 / NPS-7d / Churn-30d с динамикой и бенчмарком + 1–3 активных алерта + плитки 5 диагностических групп для перехода вглубь. Всё, что не помещается в эти 3 секунды просмотра, уходит на L2.

L2
Группы

5 диагностических групп (A–E)

5–7 KPI на группу с фильтрами по формату участия, journey-этапу, программе, периоду. Это «лаборатория диагностики» — менеджер приходит сюда, когда L1 показал красное.

L3
Drill

Drill-down до сегмента / программы / периода

Индивидуальные данные конкретного преподавателя — только в его личном кабинете (privacy by design). Команде на L3 доступны агрегаты по сегментам с минимумом 5 человек.

Пользователи — 6 ролей

Менеджер преп. опытаГлавный пользователь — еженедельно
Лид Я.ОбразованияРаз в месяц / квартал — статус и тренды
МетодологКому помочь, кого обучить
Комьюнити-менеджерЗдоровье комьюнити, ежедневно
HR-партнёр (read-only)Сигналы для performance review
Преподаватель (личный кабинет)Только свои метрики, read-only

Алерты в MVP (нотификация в Я.Мессенджер)

01
ATR-30 ушёл ниже критического порогаПрограмма теряет активность — нужна реакция на этой неделе
ATR-30 < 50 %
02
NPS занятия (7-day rolling) ушёл внизКачество просело — drill в Quality по сегменту
NPS-7d < 35
03
Voluntary churn (30-day rolling) превысил порогПреподаватели уходят — drill в eNPS / Burnout / Recognition
Churn-30d > 7 %

Визуализация — best practices

F-pattern, top-left = главные KPIПользователь сканирует слева-направо и сверху-вниз
Заголовочное число ≥3× от подписиEye-tracking studies — фокус на главном (Rework)
Цвет красный/зелёный — только для thresholdНе для категорий, иначе цвет «обесценивается»
5–7 KPI на экран (правило Миллера)Больше — comprehension drops (Boundev)

Спецификация по блокам

БлокСодержание
Data dictionaryДля каждой метрики: ID, определение, формула, источник, owner, threshold, бенчмарк со ссылкой, drill-down, тип визуализации — отдельным документом в Я.Вики. Страховка от «definition drift».
NFRЗагрузка ≤2 с; обновление поведенческих T-1; SSO Я.Паспорт; адаптив desktop/tablet; логи использования (что реально открывают).
PrivacyИндивидуальные данные видит только преподаватель в личном кабинете; команде — агрегаты ≥5 чел в сегменте.
ЭкспортВ Я.Презентации — 1-page summary для топ-менеджмента раз в месяц.

MVP — приоритизация MoSCoW

★ MUST · 6 нед

3 главных + 5 диагностических групп с уже доступными данными, фильтры, экспорт.

SHOULD · +2 нед

Личный кабинет преподавателя, 3 алерта в Я.Мессенджер.

COULD · позже

TSES / Q12 в полной автоматике, модуль peer-review.

WON'T в MVP

Композит TEX-Score (ждёт baseline 8–12 мес), ML-прогнозы churn.

Definition of Done

Каждая метрика на дашборде имеет карточку в публичном Data Dictionary в Я.Вики
Главный экран загружается за ≤2 с при объёме 1 200+ преподавателей × 12 мес истории
Доступ 6 ролей разграничен; преподаватель видит только свои данные
3 базовых алерта работают и приходят в Я.Мессенджер
Экспорт в Я.Презентации содержит 1-page summary для топ-менеджмента
Юзабилити-тест с 3–5 преподавателями их личного кабинета — отчёт в Я.Вики
Sanity-check: значения за 3 последних месяца совпадают с ручной выгрузкой по 5 случайным преподавателям
Юридическая приёмка по Privacy: агрегации соблюдены, индивидуальные данные изолированы
6 нед
MVP силами
BI-разработчик + дата-инженер
М6
Полная система
с алертами и личным кабинетом
3 уровня
Архитектура
Pulse → Группы → Drill
6 ролей
Пользователей
от менеджера до преподавателя

★ Главная ставка

Дашборд — это инструмент решений, а не «vanity wall»

Каждая метрика на нём проходит фильтр «какое решение я приму, увидев эту цифру?». Если ответа нет — метрика не идёт даже в drill-down. Эта дисциплина бьёт половину «полезных» цифр и оставляет только те, что реально двигают программу.

📦 Что предложено
  • 3 ежедневные метрики (ATR-30 / NPS-7d / Churn-30d) с drill-down логикой
  • 5 диагностических групп с 2–5 KPI каждая
  • Концептуальная рамка: Kirkpatrick × COACHE × TSES × Gallup Q12
  • Сегментация по 7 форматам участия
  • 3 контура реализации: ручной → полуавтомат → production
  • PRD-резюме на дашборд: 3 уровня, 6 ролей, MoSCoW, DoD
🎯 Ключевые ставки
  1. 3 метрики на ежедневный pulse — больше не помещается в 3 секунды
  2. Триангуляция только в drill-down, не на главном экране
  3. SET в одиночку — ненадёжен, обязателен peer-review + аудит материалов
  4. Engagement и Burnout — равноценны, без второй первая через год развалится
  5. Композит TEX-Score — только после baseline 8–12 мес, не в MVP
🏆 Успех за 6 месяцев
  • 3 главные метрики имеют baseline и регулярный замер
  • Менеджер еженедельно работает с дашбордом, а не с таблицами
  • 3 алерта запускают реакцию в течение недели
  • ≥30 % преподавателей регулярно заходят в личный кабинет
  • Response rate на квартальные опросы ≥45 % (бенчмарк COACHE)
  • Решения команды фиксируются с опорой на дашборд
🔍 Логика решения «как решалось тестовое»
  1. Превратил формулировку в ТЗ из 3 подзадач (что оценивать / как реализовать / ТЗ на дашборд) — чтобы решение было сравнимо с заданием по пунктам.
  2. Поймал ключевую ловушку: «преподавательский опыт» — это и опыт преподавателя, и опыт студента. В роли менеджера преп. опыта первичен преподаватель, поэтому EX-рамка идёт раньше LX.
  3. Опёрся на 4 признанные рамки (Kirkpatrick × COACHE × TSES × Gallup Q12), а не «придумал свою» — страховка перед стейкхолдерами.
  4. Выделил 3 главные метрики по принципу «один индикатор на один угол зрения» (поведение / качество / удержание) — без перекрытий и vanity-цифр.
  5. Откалибровал каждую цифру по бенчмаркам с кликабельными ссылками: Gallup, Goodera VQ, Zonka/Survicate NPS, BambooHR, Jordan MOOC, Univid webinar, FeverBee/CMX community.
  6. Учёл критику SET (мета-анализ Uttl et al. 2017): NPS студента в одиночку ненадёжен, поэтому Quality — обязательно триангуляция (peer-review + аудит материалов).
  7. Описал реализацию в 3 контура (ручной → полуавтомат → автомат) — снимает страх «надо всё или ничего».
  8. Главная развилка: каждая метрика проходит фильтр «какое решение я приму, увидев цифру?» — без этого получится 50-цифровая стена, бесполезная для работы.