Фонд оценочных средств, где каждый результат чем-то проверен
Четыре компетенции, два средства на каждую, сорок заданий и порог, который нельзя пройти, не посчитав ни одного числа
- Работает в ваших сервисах: таблицы, портал обучения, почта — без VPN и иностранной карты
- По умолчанию чтение и сборка: баллы и оценки выставляет преподаватель
- Нормы настоящие: п. 9 и п. 19 приказа № 499; данные кейса сконструированы и помечены
Дело: тест на 40 заданий, который проверял память вместо работы
Кто в деле
Учебный центр ДПО, программа повышения квалификации на 72 часа. Оценочные материалы собираются к педсовету, до старта группы две недели.
Что было
В программе написаны четыре результата, а оценочных средств два: тест и итоговый экзамен в виде «ответить на вопросы». На два результата из четырёх средств не было вовсе.
Что показала проверка
Матрица покрытия пустая в двух клетках из восьми; в тесте 30 заданий, из них 22 на выбор варианта; порог 50 %, при котором балл набирается на вопросах о сроках, не открывая сметы.
Где развилка
Оставить тест и добавить к нему три практические работы — или переписать результаты так, чтобы они уже проверялись тестом. Второе выглядит дешевле, но превращает повышение квалификации в викторину.
Что сделал агент
Построил матрицу покрытия, добавил по десять заданий на компетенцию, поднял порог до 70 % (28 из 40), собрал три кейса с критериями на 20 баллов и шкалу пересчёта в оценку.
Чем закончилось
ФОС ушёл на педсовет: восемь клеток матрицы заполнены, у каждого результата два средства, порог обоснован арифметикой. Данные кейса сконструированы.
Задача
Что за работа
Оценочное средство отвечает не на вопрос «знает ли слушатель», а на вопрос «может ли он это сделать». Поэтому первым листом идёт матрица: результат × средство. Если у результата нет своего средства, его нельзя проверить — и указывать его в программе нечестно. Порог и критерии считаются, а не назначаются «на глаз».
Предел
Предел: что внутри ФОС
Восемь клеток матрицы, четыре компетенции и 40 заданий: по десять на компетенцию, порог 28 верных из 40. Критерии практики — пять по 4 балла, порог 12 из 20, и он устроен так, чтобы провал арифметики нельзя было компенсировать оформлением: два самых весомых критерия дают ровно 8 баллов из 12. Шкала пересчёта сведена в таблицу, доли заданий посчитаны формулами.
Как это выглядит
Путь в системах: что берём и что отдаём
- 1
Вход: программа и результаты
Четыре планируемых результата из программы и черновик теста на 30 заданий. Агент читает оба и раскладывает задания по компетенциям.
- 2
Матрица покрытия
Восемь клеток: компетенция × средство. Пустая клетка — замечание, а не повод считать, что «и так проверяется».
- 3
Добор заданий и порог
По десять заданий на компетенцию; порог считается от числа заданий — 70 % даёт 28 из 40.
- 4
Критерии практики
Пять критериев по 4 балла с порогом каждого. Шкала пересчёта в оценку приложена.
- 5
Выход: ФОС и шкала
xlsx с матрицей и критериями, pdf с ФОС. Баллы ставит преподаватель.
Агент делает · человек решает
| Строит матрицу покрытия | компетенция × средство, восемь клеток |
|---|---|
| Считает порог от числа заданий | 70 % — это 28 верных из 40 |
| Собирает критерии с весом | пять критериев, 20 баллов, порог 12 |
| Проверяет, что порог нельзя обойти | арифметика и нормы дают 8 из 12 баллов |
| Проводит тест и практику | человек: группа, время, наблюдение |
| Ставит оценку | человек: подпись в ведомости |
| Решает спорный случай | человек: комиссия, не шаблон |
Подключения
Что подключим
Сервис · что читаем · что пишем · что нужно · срок
iSpring: тест и попытки
подключим · пишем 40 заданий и порог в курс · читаем результаты попыток · доступ администратора · 3 дня
Антитренинги: практика и дедлайны
подключим · пишем три кейса с критериями · читаем сданные работы · доступ школы · 3 дня
Google Таблицы: ведомость и шкала
подключим · пишем матрицу и ведомость · читаем правки преподавателя · доступ к таблице · 1 день
Mistral OCR: разбор сданных работ
подключим · читаем фото и сканы работ · пишем текст в проверку · ключ сервиса · 2 дня
Яндекс Почта: приём работ
подключим · читаем письма с работами · пишем подтверждение и замечания · доступ к ящику · 1 день
Границы
Чего агент не делает
Агент не выставляет оценки и не принимает решение о допуске к итоговой аттестации: это делает преподаватель и комиссия. Он не придумывает «правильные ответы» там, где ответ зависит от практики организации, и не поднимает порог без согласования — порог влияет на судьбу людей, а не только на качество документа.
Вопросы
Зачем матрица, если есть тест?
Тест проверяет узнавание. Если в программе заявлено «составляет расчёт», тест на выбор варианта этого не проверяет — значит, результат не проверен, и матрица это показывает пустой клеткой.
Почему порог 70 %, а не 50 %?
При 50 % каждая компетенция подтверждается пятью заданиями из десяти — этого мало, чтобы отличить знание от угадывания. 70 % даёт семь из десяти и оставляет запас на одно слабое место.
Можно ли обойтись без практических работ?
Можно, если результаты сформулированы как знание. Но тогда и программа — про знание, и в документе о квалификации появляется человек, который «прошёл», ничего не сделав.
Кто утверждает ФОС?
Организация: порядок утверждения — её локальный акт. Агент собирает документ и проверки, утверждает и подписывает человек (ст. 28 ФЗ-273).
Что делать со спорной работой?
Спор решает комиссия, а не шаблон. Критерии дают язык для разговора, но не отменяют решения человека: агент готовит протокол, а не приговор.
Соседние работы
Рядом
Учебный план и рабочая программа
Девять элементов структуры, сведённые часы и чек-лист по норме.
Мониторинг качества обучения
Пять групп, шесть показателей и отклонение с причиной.
Курс на портале: элементы и доступы
Вес теста, порог и четыре разрыва, найденные до старта.
Все компетенции методиста
Роль целиком: десять работ, инструменты и подключения.
Роли
Соберите ФОС, пока группа не начала учиться
Пришлите программу и черновик теста — вернём матрицу покрытия, порог и критерии с весом.