Что именно измеряет цифровая педагогическая диагностика?
Разбираем междисциплинарный комплекс ИРЗАР — от научной модели до действующего цифрового сервиса
Педагогическая диагностика в дошкольном образовании решает очень привлекательную для заинтересованных взрослых задачу: помочь воспитателю увидеть индивидуальное движение каждого ребёнка и на этой основе менять собственную работу. Не проверять к определённой дате набор знаний, умений и навыков, не сравнивать детей между собой, а замечать различия в темпе развития, интересах, способах действия, возникающих трудностях и возможностях дальнейшего продвижения.
В идеале воспитатель мог бы опираться не только на общее впечатление и не на формальный перечень ЗУН, а на достаточно надёжную систему наблюдений, которая помогает индивидуализировать образование и при этом не превращает жизнь детского сада в непрерывное обследование.
Такую задачу поставил перед собой ФГБНУ «Институт развития, здоровья и адаптации ребенка» — ИРЗАР.
Масштаб замысла действительно впечатляет. Речь идёт не об очередной диагностической карте для одной возрастной группы и даже не о наборе отдельных методик. Заявлен междисциплинарный комплекс, охватывающий практически весь период от младенчества до поступления в школу, пять образовательных областей, педагогическую и психологическую диагностику, возрастную динамику, цифровую обработку результатов и последующее использование полученных данных для индивидуализации образовательного процесса.
Государственное задание ИРЗАР на 2023 год предусматривало разработку и стандартизацию комплекса психолого-педагогической и нейропсихологической диагностики детского развития. Среди задач были методологическое обоснование комплекса, диагностическое обследование детей младенческого, раннего и дошкольного возраста, определение стандартных значений результатов и подготовка методических рекомендаций. Государственное задание ИРЗАР на 2023 год.
Конечно, от проекта такого масштаба трудно требовать идеала. Создать единую систему, которая была бы одновременно научно обоснованной, возрастно чувствительной, удобной для воспитателя, достаточно точной и при этом не разрушала естественную жизнь детской группы, — чрезвычайно сложная исследовательская и методическая задача. Тем интереснее понять, насколько авторам удалось её решить.
У проекта существует научное обоснование. Опубликованы как минимум две работы, непосредственно посвящённые комплексу. Е. И. Изотова, Г. В. Молчанова, Т. П. Авдулова, Г. Р. Хузеева и Н. П. Радчикова представили его методологическое обоснование в журнале «Теория и практика физической культуры». Затем Г. В. Молчанова, А. Г. Гогоберидзе и Р. И. Яфизова опубликовали в журнале «Психолого-педагогические исследования» результаты исследования стандартизированного комплекса для старшего дошкольного возраста. Авторы называют проведённую работу популяционным исследованием; общая выборка составила 203 ребёнка из разных регионов России. При этом результаты педагогической диагностики шестилетних детей, которые далее особенно важны для нашего разбора, представлены на выборке 48 детей.
Статья Г. В. Молчановой, А. Г. Гогоберидзе и Р. И. Яфизовой
Перед нами, таким образом, явно не случайно собранная таблица педагогических наблюдений. За комплексом стоит большая исследовательская работа. Именно поэтому особенно важно различать сам научный комплекс, исследованную версию диагностических методик и тот цифровой сервис, которым сегодня предлагается пользоваться воспитателю.
Мы не ставим здесь задачу оценивать качество самого научного исследования: его первичные данные нам недоступны.
Наш вопрос гораздо конкретнее:
насколько действующий цифровой инструмент соответствует исследованной диагностической модели и что именно означают числовые данные, которые он выдаёт воспитателю?
Почему в этой истории так трудно разобраться
Ответить на этот вопрос оказалось неожиданно сложно.
Научное обоснование комплекса приходится искать в статьях и отчётах по государственным заданиям. Сведения о его апробации и внедрении — в отдельных вебинарах и выступлениях. Методические пояснения — внутри самих диагностических форм. Состав действующих показателей — в цифровом сервисе. Правила формирования некоторых итоговых показателей приходится восстанавливать уже экспериментально, задавая системе контролируемые исходные данные и сравнивая полученные отчёты.
Единого актуального документа, в котором были бы сведены исследованная и действующая версии инструмента, полный состав показателей, шкалы оценивания, алгоритмы расчёта, нормативные значения и правила интерпретации результатов, нам обнаружить не удалось.
Почему так получилось — по открытым материалам непонятно.
Само по себе распределение информации между научными публикациями, методическими материалами и программным обеспечением не является недостатком. Большие проекты обычно развиваются поэтапно.
Но для стандартизированного цифрового диагностического инструмента заявленного общероссийского масштаба возникает вопрос трассируемости версий: какие именно показатели исследовались, какие были впоследствии объединены или изменены, для каких вариантов шкал получены опубликованные психометрические характеристики и каким образом всё это связано с действующей цифровой системой.
Именно поэтому мы сопоставили научные публикации, публичные материалы ИРЗАР, запись организационного вебинара для участников пилотного внедрения, содержание действующих диагностических карт и результаты серии контрольных проверок цифрового сервиса с искусственно заданными данными.
Вечный вопрос: какой должна быть диагностика дошкольников?
Почти сто лет назад Шарлота Бюлер и Гильдегард Гетцер в книге «Диагностика нервно-психического развития детей раннего возраста» (1935) подробно обсуждали требования к диагностике дошкольников, которые удивительно современно звучат и сегодня.
Авторы специально рассматривают непринуждённость ситуации испытания, роль обследователя, устранение помех, состояние ребёнка, время и длительность обследования, учёт индивидуальных особенностей, а также количественную и качественную оценку результатов и профиль развития. За этими требованиями стоит одна принципиальная идея: диагностическая процедура должна по возможности сохранять естественность поведения ребёнка, давать не отдельную случайную пробу, а достаточно целостную картину развития, позволять осмысленно сопоставлять результаты и при этом оставаться практически выполнимой.
Для нас особенно важно ещё одно обстоятельство. В основе диагностической системы Бюлер и Гетцер лежала предварительная работа по изучению самого хода нервно-психического развития ребёнка; затем составлялись и проверялись возрастные серии тестов. Логика построения диагностики шла от изучения развития ребёнка и характерных возрастных форм поведения — к диагностическим заданиям.
Это не означает, что диагностика XXI века должна буквально повторять методы Бюлер и Гетцер. Но поставленные ими вопросы никуда не исчезли: естественно ли поведение ребёнка в диагностической ситуации, что именно мы измеряем, сравнимы ли результаты и сколько времени требуется для их получения?
Что в комплексе ИРЗАР называется педагогической диагностикой
Здесь необходимо пояснить устройство самого комплекса.
В опубликованной в 2024 году работе он прямо описан как состоящий из двух крупных частей — педагогического и психологического блоков. Педагогическая часть предназначена прежде всего для определения освоенности ребёнком или группой программного материала по пяти образовательным областям. Психологическая часть обращена уже к характеристикам развития ребёнка, его потенциалам и рискам.
В дальнейшем нас будет интересовать прежде всего педагогическая часть, поскольку именно её цифровые карты предлагаются для практического использования воспитателем.
И здесь направление построения диагностического инструмента оказывается иным, чем в классической диагностике развития.
В публичном вебинаре ИРЗАР по междисциплинарному комплексу диагностики Н. Б. Полковникова прямо поясняет, что критерии и показатели сформулированы на основе содержания Федеральной образовательной программы дошкольного образования и отражают её задачи и планируемые результаты.
Позднее И. А. Бурлакова ещё раз объясняет эту конструкцию: образовательные области разбиваются на сферы, в них берутся задачи и содержание ФОП ДО, учитываются планируемые результаты, а на этой основе строится педагогический инструментарий.
Получается другая последовательность, отличная от той, на которой строилась диагностическая система Бюлер и Гетцер:
ФОП ДО → образовательные задачи и планируемые результаты → диагностические показатели → балльная оценка.
В этом самом по себе нет методологического противоречия.
Если вопрос звучит:
«Насколько ребёнок освоил содержание данной образовательной программы?»
то логично вывести критерии из содержания этой программы. Это вполне понятная критериальная педагогическая оценка.
Но затем возникает уже другой вопрос.
Можно ли тот же полученный балл интерпретировать как показатель уровня развития ребёнка и соответствия этого развития возрастной норме?
В публичном вебинаре такой переход совершается. И. А. Бурлакова говорит, что результаты педагогической диагностики отражают не только успешность овладения содержанием программы, но «в определённой степени» уровень развития ребёнка и соответствие его развития возрастным нормам.
И здесь необходим отдельный методологический мост.
Потому что норма освоения образовательной программы и возрастная норма развития ребёнка — не одно и то же.
Стандартизация позволяет установить распределение результатов, нормы, взаимосвязи между показателями. Но сама по себе стандартизация не отвечает на исходный вопрос валидности:
что именно измеряет получившийся балл?
Можно очень хорошо стандартизировать линейку. Но сначала необходимо установить, что именно ею измеряется.
Исследовательская версия комплекса и действующий цифровой сервис
Эта проблема становится особенно заметной при сравнении исследовательской версии комплекса, описанной в научной публикации, с действующей цифровой версией сервиса.
В статье Г. В. Молчановой, А. Г. Гогоберидзе и Р. И. Яфизовой «Междисциплинарный комплекс диагностики освоения детьми старшего дошкольного возраста образовательной программы (ФОП ДО)», опубликованной в 2024 году в журнале «Психолого-педагогические исследования», приводятся психометрические характеристики педагогических шкал для шестилетних детей.
Социально-коммуникативная шкала содержала 21 пункт, познавательная — 11, речевая — 30, художественно-эстетическая — 40, физическая — 10. Для этих конкретных шкал рассчитаны альфа Кронбаха, коэффициент расщепления Гуттмана и другие показатели.
Действующая цифровая форма для возраста 6–7 лет устроена уже иначе.
Например, художественно-эстетическая карта содержит 27 показателей. Физическая — 18. В действующей речевой карте — 12 оцениваемых показателей; контрольный отчёт подтверждает максимальный суммарный балл 36.
Это не говорит о том, что была совершена ошибка.
Инструмент мог быть переработан. Несколько пунктов могли объединить, какие-то показатели заменить или дополнить. Цифровая версия вполне может отличаться от первоначальной исследовательской.
Но тогда появляется совершенно обычный для любой диагностической методики вопрос:
какая именно версия была стандартизирована и каким образом валидировались последующие изменения?
Например, опубликованная речевая шкала содержала 30 пунктов и имела теоретический диапазон до 90 баллов. Действующая цифровая — 12 пунктов и максимум 36.
Коэффициент внутренней согласованности, полученный для шкалы из 30 пунктов, сам собой не становится психометрической характеристикой новой шкалы из 12 пунктов.
Нужен документированный переход от одной версии к другой.
Одинаковые цифры обозначают разные вещи
При изучении действующих цифровых карт обнаруживается ещё одна особенность.
Для оценки разных показателей используется один и тот же числовой диапазон 0–3, однако содержательное значение этих чисел различается.
Для знаний действует шкала вроде: 3 — знает и использует в общении и деятельности; 2 — знает и отвечает на вопросы; 1 — знает с подсказкой; 0 — не знает.
Для умений: 3 — делает самостоятельно; 2 — по образцу; 1 — с помощью взрослого или других детей; 0 — не умеет.
Для значительной части проявлений используется уже шкала частоты: 3 — наблюдается достаточно часто; 2 — несколько раз; 1 — однократно за период наблюдения; 0 — не проявляется.
Цифры одинаковы.
Измеряемые признаки — нет.
Одинаковый диапазон 0–3 не делает разные порядковые шкалы одной измерительной шкалой.
Тем не менее действующий алгоритм цифрового сервиса складывает полученные оценки в общий балл как равноправные слагаемые.
И это особенно интересно на фоне собственной теоретической модели разработчиков.
На публичном вебинаре И. А. Бурлакова подробно объясняет, что в образовательном опыте ребёнка авторы различают три компонента: знания, умения и отношения. Знания описывают то, что ребёнок знает, умения — то, что умеет делать, отношения — то, что и как проявляет.
То есть теоретическая модель эти конструкты различает.
Действующий цифровой алгоритм — нет.
В конечной сумме три балла за знание, три балла за самостоятельное действие и три балла за частоту какого-либо проявления становятся математически одинаковыми тремя баллами.
Один ребёнок, один возраст, одинаковые оценки — три разных «средних»
Чтобы проверить математический смысл показателя, обозначенного в цифровом отчёте как «общий средний показатель по группе», мы провели простой контрольный эксперимент.
Важно, что мы взяли один возраст — 6–7 лет. Поэтому различие результатов нельзя объяснить особенностями возрастной нормы.
Искусственному ребёнку во всех без исключения показателях трёх образовательных областей была поставлена одна и та же оценка — 2.
В познавательной карте 11 показателей. Суммарный результат — 22 балла. Настоящий средний балл на показатель равен 2,0.
В речевой карте 12 показателей. Сумма — 24. Средний — снова 2,0.
В художественно-эстетической карте 27 показателей. Сумма — 54. Средний — всё те же 2,0.
Но цифровой отчёт показывает три разных значения «общего среднего»:
| Образовательная область, 6–7 лет | Показателей | Сумма | Средняя оценка | «Общий средний» сервиса |
|---|---|---|---|---|
| Познавательное развитие | 11 | 22 | 2,0 | 0,8 |
| Речевое развитие | 12 | 24 | 2,0 | 0,9 |
| Художественно-эстетическое развитие | 27 | 54 | 2,0 | 2,0 |
Познавательный отчёт действительно выводит значение 0,8. Речевой — 0,9 при общем балле 24. Художественно-эстетический — 2,0.
Серия контрольных проверок с формами разной длины воспроизводит одну и ту же формулу:
«Общий средний показатель по группе» = средний суммарный балл детей / 27.
Именно поэтому в художественно-эстетической карте из 27 показателей получившееся число совпадает с обычным средним баллом.
В более коротких картах — нет.
Здесь важно не торопиться с выводами.
Если две ДОО используют одну и ту же диагностическую форму, деление результатов на одну и ту же константу не уничтожает возможность сопоставлять эти группы между собой.
Проблема возникает при сравнении разных форм.
Внутри одного и того же возраста одинаковая фактическая средняя оценка 2,0 превращается в системе в 0,8, 0,9 или 2,0 только потому, что в образовательных областях разное число показателей.
Поэтому непосредственно сравнивать образовательные области по показателю, названному «общим средним», нельзя.
Более того, одинаковое значение «общего среднего» может соответствовать совершенно разным средним оценкам одного показателя.
Название показателя в данном случае не соответствует его обычному математическому смыслу.
Неоценённое значение должно оставаться неоценённым
Ещё одна проблема обнаружилась непосредственно в цифровых формах.
Всего нами были обследованы 45 диагностических карт — по пять образовательных областей для девяти возрастных диапазонов. В них содержится 402 оцениваемых позиции. При первоначальной загрузке 295 из них пусты, 74 уже имеют значение 0, а 33 — значение 3.
При этом оценочные поля технически не являются обязательными.
Особенно показательно, что в ряде познавательных карт максимальное значение 3 уже выбрано до начала оценивания.
В диагностике ребёнка значение по умолчанию перестаёт быть нейтральной технической деталью.
Если 0 означает отсутствие проявления или крайне низкий результат, а 3 — наиболее высокий, то состояние «ещё не оценено» должно существовать отдельно.
Неоценённое значение не должно автоматически превращаться ни в ноль, ни в три.
Мы обнаружили и ещё одну техническую особенность: в части форм исходные значения первого ребёнка отличаются от исходных значений ребёнка, добавленного через интерфейс. Поэтому потенциально один и тот же непройденный показатель может иметь разные начальные состояния в зависимости от порядка добавления ребёнка.
Это не означает, что педагог обязательно сохранит такой результат.
Но стандартизированная процедура должна уменьшать вариативность измерения, а не добавлять её на уровне интерфейса.
Одинаковая сумма — разные дети
Есть и ещё одно следствие простого суммирования баллов.
Для проверки мы создали в познавательной диагностике 3–4 лет два искусственных профиля.
У первого ребёнка оценки были резко контрастными:
3, 3, 3, 0, 0, 0, 0.
То есть по одним показателям — максимальный результат, по остальным — отсутствие результата.
У второго профиль был значительно более ровным:
1, 1, 1, 1, 1, 2, 2.
Ни одного максимального результата и ни одного нуля.
С педагогической точки зрения это совершенно разные ситуации.
В первом случае перед нами профиль с выраженными сильными сторонами и одновременно заметными трудностями. Во втором — относительно равномерное освоение всех оцениваемых направлений на невысоком или среднем уровне.
Цифровой сервис действительно сохраняет эти различия в подробных таблицах. Например, в отдельных разделах контрастный профиль даёт значения 3, 3, затем 3, 0, затем 0, 0 и ещё 0; у ровного ребёнка соответственно фиксируются 1, 1, 1, 1, 1, 2 и 2.
Но при формировании итоговой оценки различие исчезает.
Сумма первого ребёнка:
3 + 3 + 3 + 0 + 0 + 0 + 0 = 9.
Сумма второго:
1 + 1 + 1 + 1 + 1 + 2 + 2 = 9.
В итоговом отчёте оба получают одинаковый общий балл 9 и одну и ту же степень освоения — «Освоил частично».
Это важное свойство используемого алгоритма.
Он чувствителен к сумме баллов, но не к их конфигурации.
Иными словами:
одинаковый итоговый балл не означает одинакового диагностического профиля.
Для обычной контрольной суммы это не было бы удивительно. Но комплекс заявлен прежде всего как средство индивидуализации образовательного процесса. А для индивидуализации как раз существенно не только то, сколько баллов набрал ребёнок вообще, а то, где находятся его сильные стороны, где трудности и как они сочетаются между собой.
Ребёнку с профилем 3,3,3,0,0,0,0 и ребёнку с профилем 1,1,1,1,1,2,2 требуются совершенно разные педагогические воздействия, хотя итоговая категория у них одна.
Поэтому здесь важно сформулировать претензию точно.
Цифровой сервис не уничтожает профиль полностью: подробные результаты по отдельным показателям в отчёте остаются. Но итоговая интегральная классификация «освоил / освоил частично» этот профиль не учитывает.
И тогда возникает вопрос о назначении самой интегральной категории.
Если педагог должен для индивидуализации всё равно возвращаться к каждому отдельному показателю, то что именно добавляет общий уровень?
А если именно общий уровень предполагается использовать для характеристики развития ребёнка, сравнения динамики или принятия решений, то две качественно разные структуры результатов оказываются неразличимыми.
Сумма отвечает на вопрос «сколько?». Индивидуализация требует ответа на вопрос «что именно и как?».
Наблюдение в естественной жизни или специально устроенная проверка?
В уже упомянутом публичном вебинаре ИРЗАР основной метод педагогической диагностики определяется как наблюдение за деятельностью ребёнка в естественных условиях. В качестве дополнительных методов называются беседа, анализ продуктов детской деятельности и специальные диагностические ситуации.
И здесь снова становятся актуальны вопросы, поставленные Бюлер и Гетцер.
Диагностика особенно ценна для дошкольного образования тогда, когда позволяет увидеть обычное поведение ребёнка, не превращая его в испытуемого, который должен показать максимум своих возможностей в специально организованной проверке.
Однако значительная часть действующих показателей предполагает гораздо более активное вмешательство взрослого.
Например, в познавательной диагностике 6–7-летнему ребёнку предлагается сюжетная ситуация «в поисках сокровищ»: надо работать со схемой, различать основные цвета и оттенки, смешивать краски. Другая ситуация той же серии предполагает ориентировку на местности и по схеме, работу с календарём; ещё одна — счёт, измерение, сравнение, геометрические фигуры и их преобразование.
Один показатель речевого развития включает пять специально предъявляемых грамматических проб: согласование существительных с числительными, согласование существительных с прилагательными, образование существительных с суффиксами, приставочных глаголов, сравнительной и превосходной степени прилагательных. Помимо этого оцениваются образование сложных слов и использование сложных предложений.
В социально-коммуникативной области одна диагностическая ситуация предлагает показать ребёнку карту или глобус и задать целую серию вопросов: о России, границах, столице, административном центре региона, государственных символах, гимне, народах России, праздниках, памятных датах, истории родного города, известных горожанах и волонтёрстве. Вся эта совокупность ответов затем сворачивается в одну оценку 0–3.
В физическом развитии один показатель предполагает, в частности, проверку того, что ребёнок ловит мяч двумя руками не менее двадцати раз подряд, одной рукой не менее десяти, перебрасывает его различными способами, метает в цель, ведёт мяч с заданиями. Пояснение требует организовать соответствующие упражнения и оценить количество выполнений, технику, точность и настойчивость.
В художественно-эстетической диагностике встречается предложение специально выполнить многослойный коллаж из различных материалов. В конструктивной — построить модель транспорта или здания по чертежу или схеме, а затем придумать собственную.
Все эти деятельности по отдельности могут быть вполне содержательными и интересными для ребёнка.
Проблема возникает из их диагностической совокупности.
Сколько специально организованных диагностических ситуаций можно встроить в жизнь группы, прежде чем педагогическая диагностика начнёт менять саму жизнь группы?
Сколько времени это занимает
Требование практической выполнимости диагностического метода, которому Бюлер и Гетцер уделяли специальное внимание, здесь оказывается совсем не исторической деталью.
Причём трудоёмкость комплекса признавали сами разработчики ещё до пилотного внедрения.
В организационном вебинаре для участников пилота прямо говорится: диагностика «не пятиминутная», проводить её надо по пяти образовательным областям, и это работа «не на день, не на два».
Там же проводится важное различение. Некоторые характеристики педагог уже наблюдал в течение обычной работы с детьми. Но для других показателей разработаны специальные диагностические ситуации: их необходимо организовать, провести и заранее приготовить необходимые материалы.
Посчитаем хотя бы нижнюю границу трудоёмкости.
Полная диагностическая карта для ребёнка 6–7 лет содержит 79 оценочных позиций по пяти образовательным областям.
В группе из 25 детей это 1975 отдельных оценочных решений за один диагностический период.
Даже если все решения уже приняты заранее и воспитатель тратит на чтение строки и выбор готового значения лишь десять секунд, собственно ввод оценок занимает примерно пять с половиной часов.
При пятнадцати секундах на показатель — больше восьми часов.
Если диагностика проводится трижды в течение учебного года, это уже примерно 16–25 часов только на перенос готовых оценок в цифровую систему.
Но ввод балла — самая быстрая часть процесса.
До этого воспитатель должен получить основание для каждого решения: наблюдать нужное проявление, увидеть его достаточное число раз, организовать необходимую пробу, поговорить с ребёнком, рассмотреть продукт деятельности или провести специальную диагностическую ситуацию.
А некоторые ситуации сами по себе требуют заметного времени. Создание коллажа, конструирование модели, выполнение серии двигательных упражнений или нескольких речевых проб невозможно свести к десятисекундному выбору цифры.
В публичном вебинаре цифровизация преподносится как способ снизить бюрократическую нагрузку: автоматизация расчётов и генерация отчётов должна освободить время воспитателя для непосредственной работы с детьми. Там же звучит предположение, что цифровой инструмент сможет ускорить диагностическую деятельность «до пяти раз».
Автоматизация действительно способна резко сократить время подсчётов, построения таблиц и оформления отчёта.
Но она не сокращает время, необходимое ребёнку, чтобы выполнить коллаж, поработать с мячом, построить модель, ответить на серию вопросов или несколько раз проявить наблюдаемое качество в естественной жизни.
Поэтому для оценки практической пригодности комплекса особенно интересен показатель, которого нам пока не удалось обнаружить в опубликованных материалах:
реальная трудоёмкость полного диагностического цикла на одного ребёнка и на обычную группу.
Не время заполнения сайта.
Не время автоматического построения диаграммы.
А педагогические человеко-часы от получения исходных наблюдений до готового результата.
Именно здесь различие между удобством интерфейса и лёгкостью диагностического метода становится принципиальным.
Простая программа — ещё не простая методика
Это различение напрямую связано с тем же требованием практической выполнимости и воспроизводимости диагностического метода.
Метод должен быть не только быстрым, но и доступным для изучения и воспроизводимого применения.
Цифровая форма действительно может быть очень простой: выбрать ребёнка, открыть показатель, поставить 0, 1, 2 или 3, нажать кнопку и получить готовый отчёт.
Но воспроизводимость диагностики определяется не количеством кликов.
Педагог должен одинаково с другими педагогами понимать, какое наблюдение является основанием для конкретной оценки.
Что значит «наблюдается достаточно часто»?
Какова продолжительность «периода наблюдения»?
Сколько наблюдений достаточно для оценки 2, если формулировка говорит «наблюдается несколько раз»?
В каких условиях нужно проверять самостоятельность?
Как отличить «делает по образцу» от помощи взрослого?
Как объединить семь или восемь разных проявлений, перечисленных внутри одного показателя, в одну цифру?
Если эти правила недостаточно чётки, единая цифровая форма ещё не создаёт единой процедуры измерения.
И это особенно существенно потому, что сам ИРЗАР связывает унификацию критериев с возможностью сопоставления результатов разных дошкольных организаций. На публичном вебинаре единые критерии прямо называются основанием сопоставимости результатов.
Единая кнопка 2 обеспечивает сопоставимость только тогда, когда разные воспитатели получили эту двойку сопоставимым способом.
От индивидуализации к «юным интеллектуалам»
Первоначальная идея комплекса — индивидуализация — представляется, пожалуй, самой привлекательной его стороной.
Дети действительно различаются по интересам, способам действия, темпам и характеру развития. Педагогическая диагностика может помочь увидеть эти различия и решить, кому сейчас нужна дополнительная помощь, кому — новая задача, а кому — возможность дальше развивать возникший интерес.
Однако в публичном представлении инструмента возникает ещё одна линия.
В начале того же вебинара представитель Министерства просвещения напоминает принципиальные особенности дошкольного образования: в нём нет промежуточной и итоговой аттестации; целевые ориентиры не подлежат непосредственной оценке и формальному сравнению с реальными достижениями детей; сама педагогическая диагностика не является обязательной.
Позднее, уже при демонстрации цифрового инструмента, предлагается при необходимости диагностировать отдельные подгруппы детей, показывающих высокий уровень развития: «юных интеллектуалов», творчески или физически развитых детей. Следом говорится о возможности таким образом фиксировать способности, задатки и, возможно, выявлять одарённость.
И здесь происходит заметное изменение логики.
Индивидуализация задаёт вопрос: что сейчас интересно, трудно и доступно конкретному ребёнку и как помочь ему двигаться дальше?
Селекционная логика начинает спрашивать: кто из детей относится к группе наиболее развитых?
Дети не одинаковы. Именно поэтому индивидуализация и нужна.
Но из различий между детьми не следует необходимость делить дошкольников по результатам диагностической шкалы на «более развитых», «менее развитых» и «юных интеллектуалов».
Педагогическая диагностика нужна прежде всего для того, чтобы каждый ребёнок был видим воспитателю, а не для раннего распределения детей по категориям.
Тем более что переход от балла освоения содержания образовательной программы к выводу об интеллектуальной одарённости требует уже совершенно иной проверки валидности диагностического инструмента.
Что именно было апробировано
На этом этапе особенно важно не смешивать разные процедуры.
Научное исследование комплекса, психометрическая проверка методик, апробация их содержания, пользовательское внедрение цифровой платформы и проверка алгоритма автоматического расчёта — это не одно и то же.
В публичном вебинаре сообщается, что ранее инструмент внедрялся в восьми регионах России, 40 дошкольных образовательных организациях с участием примерно 300 педагогов.
В том же вебинаре одна из приглашённых практиков рассказывает об опыте организации, где в апробации участвовали 22 педагога. По её словам, все они единодушно отметили понятность платформы и освоили её с первого применения.
Это полезная информация об интерфейсе и пользовательском опыте.
Но она не отвечает на вопросы о происхождении балльных порогов, математике «общего среднего», межэкспертной согласованности наблюдателей, сопоставимости разных шкал или реальном времени полного диагностического цикла.
Сохранившаяся запись организационного вебинара для участников пилотного внедрения показывает несколько иной этап жизни инструмента. Участников благодарят за согласие войти в пилот, просят в процессе использования сообщать замечания и прямо говорят, что эти замечания нужны для корректировки инструмента. В конце сама ведущая называет встречу «организационно-мотивирующим семинаром».
Для пользовательского пилота это совершенно нормальная ситуация.
Но пользовательский пилот и психометрическая валидизация цифровой версии — разные процедуры.
Научная стандартизация диагностического комплекса действительно проводилась, и отрицать это нет оснований. Государственное задание прямо ставило такую задачу, научные публикации представляют соответствующие результаты.
Вопрос остаётся другим:
где находится документированный мост между исследованным диагностическим комплексом и конкретной цифровой системой, которой сегодня пользуется воспитатель?
Восемь вопросов к действующей системе
После изучения научных публикаций, материалов разработчиков и действующей цифровой версии нам представляются существенными следующие вопросы:
- Какая именно версия педагогических шкал прошла опубликованную психометрическую проверку и каким образом валидировались последующие изменения числа и состава показателей?
- На каком основании оценки знаний, самостоятельности действия и частоты проявления отношения складываются в единый суммарный балл как равноправные величины?
- Каким образом были получены диапазоны «освоил очень хорошо / освоил / освоил частично / не освоил»?
- Почему показатель, названный «общим средним показателем по группе», в действующей системе воспроизводит деление суммы на постоянное число 27 независимо от фактической длины диагностической карты?
- Каким образом цифровая система различает состояния «не оценено», 0 и значение, установленное в форме по умолчанию?
- Исследовалась ли межэкспертная согласованность воспитателей при выставлении баллов по наблюдательным шкалам?
- Какова измеренная трудоёмкость полного диагностического цикла на одного ребёнка и на обычную группу с учётом наблюдений, бесед и специальных диагностических ситуаций, а не только времени автоматической обработки данных?
- На каком эмпирическом основании результаты педагогической оценки освоения содержания ФОП ДО могут использоваться для выводов о соответствии возрастной норме и тем более для предположений об одарённости ребёнка?
Ни один из этих вопросов не требует отрицать существование проведённых исследований.
Наоборот.
Чем масштабнее заявка на единый стандартизированный цифровой инструмент для дошкольного образования, тем важнее возможность проследить всю цепочку:
теоретический конструкт → диагностический показатель → способ получения данных → шкала → алгоритм расчёта → интерпретация результата → педагогическое решение.
Если одно из звеньев этой цепи остаётся непрозрачным, цифровизация сама по себе проблему не устраняет.
Она только позволяет быстрее получить число.
А в диагностике ребёнка быстро посчитанное число ещё не становится от этого более достоверным.
Библиография
Изотова Е. И., Молчанова Г. В., Авдулова Т. П., Хузеева Г. Р., Радчикова Н. П. Методологическое обоснование междисциплинарного комплекса диагностики физического и психического развития детей как инструмента выявления рисков освоения образовательных программ дошкольного образования // Теория и практика физической культуры. 2024. № 1 (1027). С. 88–90. Источник.
Молчанова Г. В., Гогоберидзе А. Г., Яфизова Р. И. Междисциплинарный комплекс диагностики освоения детьми старшего дошкольного возраста образовательной программы (ФОП ДО) // Психолого-педагогические исследования. 2024. Т. 16. № 3. С. 52–68. DOI: 10.17759/psyedu.2024160304. Источник.
Бюлер Шарлота, Гетцер Гильдегард. Диагностика нервно-психического развития детей раннего возраста: (Тесты развития 1–6 годов жизни) / пер. с нем. Н. И. Касаткина и Е. М. Лахтиной; под ред. и с предисл. проф. Н. М. Щелованова. Москва: Учпедгиз, 1935.