проба, испытание).Следует различать психологические и дидактические тесты, в основе применения которых лежит статистический способ обработки информации с опорой на процедуру репрезентации. Специфические особенности процедуры стандартизации материалов психолого-педагогического обследования позволяют проанализировать существующие квалиметрические аспекты различных измерителей. Методология сопоставления результатов тестирования с эталоном качества при проведении социологических исследований носит универсальный характер.
Следует подчеркнуть, что близость диагностических и квалиметрических технологий не означает их неразрывность.
Диагностические методики могут реализовываться без квалиметрической обработки полученных данных. В то же время, квалиметрические методы часто используются не в прогностических целях, а, к примеру, при итоговой аттестации учащихся. Поэтому квалиметрические технологии следует рассматривать в качестве самостоятельного направления научных исследований.
Несмотря на то, что педагогическая диагностика и образовательная квалиметрия являются тесно связанными между собой практическими областями исследований в рамках педагогической науки, у каждой из них есть ряд существенных особенностей. Диагностика позволяет осуществить качественную или количественную оценку определенных характеристик объекта и истолковать ее в терминах данной научной дисциплины. Например, с помощью методов медицинской диагностики английский биолог Ф. Гальтон в 1884 году предпринял попытку определить интеллект испытуемых, а в начале ХХ века французский психолог А. Бине попытался решить эту задачу методами психодиагностики. Педагогическая диагностика обычно проводится по проблематике обучения и воспитания с целью выработки необходимых коррекционных мер. Способы диагностирования могут быть самыми разнообразными, начиная со сравнительной оценки по чисто внешним признакам и заканчивая количественной оценкой объекта исследования с помощью педагогических измерителей. Однако все процедуры педагогической диагностики ориентированы на получение качественных выводов о состоянии образовательного процесса. В отличие от педагогической диагностики образовательная квалиметрия предполагает сравнение результатов тестирования с государственным образовательным стандартом.
В основе диагностико-квалиметрического обеспечения педагогических исследований лежит принцип сопоставления интересующего нас объекта с эталоном, который задается требованиями государственного образовательного стандарта. Однако если отсутствуют необходимые исходные материалы или инструменты, позволяющие получить желаемый результат, то квалиметрическое сопоставление с эталоном не позволит оценить степень профессионализма исполнителя и качество применяемых им технологий. Именно такая ситуация складывается в образовании, где обучающиеся обладают различными потенциальными возможностями, учебный процесс оснащен не на должном уровне, а сопутствующие обстоятельства препятствуют достижению желаемого результата.
Таким образом, педагогическая диагностика, как правило, выступает в роли вспомогательного элемента педагогических исследований, максимально проявляющегося при проведении мониторинга процесса обучения. При этом, образовательная квалиметрия, которая также должна быть неотъемлемым элементом всякого мониторинга, способна проводить самостоятельный анализ исследуемых закономерностей на основе математического моделирования.
Результат измерений признается квалиметрически значимым при выполнении сравнительных операций по всем позициям, указанным в стандарте. Например, качество изготовления сложной детали, являющейся элементом высокотехнологичного устройства, тестируется по различным позициям в разнообразных режимах работы с целью выявления некондиционных параметров. Если хотя бы один показатель не вписывается в установленный стандарт, то деталь нельзя использовать в практической деятельности. При этом выбраковывается вся партия тестируемых изделий, так как сам процесс их изготовления на данном этапе работы предприятия признается некондиционным. Таким образом, квалиметрия отдельных изделий выступает показателем эффективности работы всего предприятия.
В отличие от производственной квалиметрии, где устанавливается степень соответствия продукта эталонному образцу только по непосредственно измеряемым параметрам, в образовательной квалиметрии приходится выявлять скрытые (латентные) личностные характеристики. К таким показателям, прежде всего, относятся потенциальные возможности учащихся. Мало того, что они зависят от интегральной характеристики умственного развития индивида - интеллекта, на способность учащегося к продолжению образования существенно влияют внешние мотивационные факторы.
Образовательная квалиметрия призвана осуществить стандартизацию уровней достижений обучающихся в конце определенного этапа учебного процесса. Ситуация чем-то напоминает производственную сферу деятельности, так как она предполагает сравнение результатов обучения с существующими стандартами, к которым можно отнести требования к знаниям и умениям учащихся и квалификационные признаки работников образования.
Поскольку процедура стандартизации предполагает сопоставление результатов тестирования с эталонными нормами, необходимо в процессе обследования уровня обученности проявлять требовательность, сохраняя при этом объективность. Оптимальным условием проведения любой квалиметрической процедуры является привлечение независимого диагноста, выступающего в роли метролога.
Аналогично квалиметрическим операциям, производимым при компоновке сложного технического устройства, в процессе обучения предполагается текущий контроль уровня обученности, который осуществляется преподавателем после изучения очередного вопроса или темы учебной программы и гарантирует надежное усвоение изучаемого материала на каждом этапе обучения. Зная о предстоящем независимом обследовании уровней достижений обучающихся, преподаватель должен ориентироваться на безусловное выполнение государственного образовательного стандарта, а также стремиться к максимальной объективности выставляемых им оценок.
Квалиметрическая составляющая обеспечения учебного процесса должна позволять оценивать количественно учебные достижения обучающихся с помощью тестов рубежного контроля, которые прошли полноценную стандартизацию. Педагогические измерители приобретают стандартизованные свойства только при условии высокой содержательной и конструктнойвалидности, надежности и критериальнойвалидности.
Процесс подготовки диагностико-квалиметрического обеспечения учебного процесса требует модульного структурирования программ, при котором достигается соответствие между комплексной целью учебного модуля и содержанием проектного задания. Также как комплексная цель включает в себя теоретико-методологическую составляющую, позволяющую сконструировать мировоззренческое видение проблемы обучающимися, и прикладную составляющую, предполагающую практическое применение полученных знаний, умений и навыков, проектное задание должно предполагать анализ фундаментальных оснований рассматриваемого процесса и их применение при выполнении конкретного действия. Разработанное в соответствии с данным подходом проектное задание позволяет выполнять диагностические функции, то есть выявлять интересующие аспекты исследуемых явлений, предлагать способы развития позитивных составляющих и корректировки негативных составляющих, качественно оценивать состояние процесса обучения.
Диагностическая составляющая диагностико-квалиметрического обеспечения в большей степени стимулирует профессиональную деятельность преподавателя, но не позволяет перевести его внешние мотивационные факторы во внутреннюю мотивацию обучающихся, для которых очень важна рефлексия и вторичная мотивация, основанная на результатах диагностических мероприятий. Причина этого кроется в недостаточной конкретизации педагогического диагноза, сформулированного на основе качественных методов исследования. Объективные количественные оценки обладают гораздо большей мотивирующей способностью. Поэтому диагностические материалы должны быть оснащены стандартизованной квалиметрической составляющей.
Педагогические измерители, в отличие от диагностических методик, позволяют осуществить количественную оценку латентных переменных, используя не только анализ критериев, но и критериальные показатели как способ количественной конкретизации характеристик исследуемых объектов. Тестовые задания проблемного содержания позволяют выявить компетентность испытуемых при условии их достаточно высокой трудности для репрезентативной выборки. В результате латентная переменная преобразуется в индикаторную и появляется возможность количественной оценки качества обучения.
Несмотря на проблемную направленность проектных заданий, только тестовые задания способны оперировать проблемами, требующими принятия ответственного решения. Принципиальное отличие между диагностической и квалиметрической компонентами дидактического обеспечения учебного процесса заключается в степени провокационности проблемных заданий. При низкой провокационности проблемной ситуации, когда отсутствуют отвлекающие варианты ответов, она способна выполнять только диагностические функции, не обладая достаточной дифференцирующей способностью. Если же провокационность задания усиливается мощнымидистракторами, которые имитируют правильный ответ, то резко возрастает их компетентностная направленность. Таким образом, квалиметрическая составляющая дидактического обеспечения учебного процесса является достаточным условием компетентностно-ориентированного образования.
При разработке рабочей учебной программы каждая процедура проектирования педагогических объектов должна иметь логическое завершение в виде количественной оценки учебных достижений обучающихся и состояния образовательной системы в целом. Полная прозрачность образовательного процесса и объективный характер контрольно-оценочной деятельности гарантирует высокую эффективность процесса обучения. Поэтому компетентностно-ориентированное образование приводит к самореализации выпускников учебных заведений в полном соответствии с требованиями работодателей.
Квалиметрически оснащенный образовательный процесс, предполагающий систематическое применение стандартизованных дидактических тестов, позволяет установить соответствие между данными мониторинга, осуществляемого сотрудниками образовательного учреждения, и результатами независимого обследования. Подобную задачу должна решать активно создаваемая в нашей стране общероссийская система оценки качества образования, важнейшим элементом которой является квалиметрический мониторинг, отслеживающий на каждом этапе обучения степень соответствия результатов тестирования требованиям государственного образовательного стандарта.
К числу первоочередных задач управления качеством образовательного процесса можно отнести:
внедрение принципов непрерывности и многоуровневости, создание на их основе новых образовательных моделей на основе преемственности и сопряжения образовательных программ и государственных образовательных стандартов разного уровня: начального, среднего и высшего;
модернизация практики оценки знаний обучающихся и создание контрольно-измерительных материалов для всесторонней диагностики личности, ее образовательного уровня и квалификации;
оптимизация планирования образовательного процесса, его обеспечение соответствующими ресурсами и высококвалифицированными кадрами.
Только такой комплексный подход может привести к нормальному функционированию любого образовательного учреждения, и как следствие, к выпуску личностей, обладающих собственной мотивацией на дальнейшее обучение.
В результате органичного сочетания проблемного изложения программного материала и объективных методов оценки учебных достижений достигается рост внутренней мотивации обучающихся. Обе составляющие понятийного усвоения программного материала предполагают создание проблемных тестовых заданий, которые можно использовать как в процессе освоения учебной дисциплины, так и в контрольно-оценочной деятельности. Сталкиваясь в процессе рубежного и итогового контроля с дидактическими тестами, обучающийся не испытывает дискомфорта, если содержание тестовых заданий также построено на проблемных ситуациях. Этим достигается объективность оценки качества образовательного процесса и использование в качестве учебных достижений компетентности обучающихся.
Таким образом, педагогическая технология предполагает поэтапную организацию постановки дидактических задач, выбора способов их решения, диагностики и оценки полученных результатов.
. Виды педагогических измерителей и технология их стандартизации
Если мы выбираем в качестве эталона государственный образовательный стандарт по данной специальности, то в виде образцов учебно-познавательной деятельности могут выступать либо отдельные проблемные задания, либо стандартизованные дидактические тесты, позволяющие осуществлять точные педагогические измерения и устанавливать степень соответствия эталону качества. Поэтому диагностическое обеспечение процесса обучения должно включать в себя нормативные тесты входного, рубежного и итогового контроля, позволяющие проводить мониторинговые исследования, а также критериальные тесты по каждому структурному элементу учебной программы, с помощью которых можно оценить успехи обучающегося по системе «зачет-незачет».
При проведении диагностических процедур необходимо использовать тесты, задания в которых обладают различным уровнем трудности (простым, средней трудности и трудных). При этом не следует смешивать понятия «трудность» и «сложность». Если первое из них характеризуется процентом испытуемых, правильно выполнивших тестовое задание, то второе можно количественно оценить числом логических операций, которые необходимо осуществить при выполнении задания. Обычно считают, что репродуцирование изученного материала или выполнение одной логической операции соответствует простому тестовому заданию, двух-трех - заданию средней трудности, трех-четырех - трудному заданию. Но следует помнить, что реальная трудность тестовых заданий может быть установлена только в результате их апробации на выборочной совокупности.
Подбирая задания различной трудности, преподаватель способен различить базовый или повышенный уровень подготовки обучающегося и создать педагогический измеритель, обладающими высокими конструктными свойствами, то есть способный определять интегральные личностные характеристики, например, потенциальные возможности обучающегося продолжать обучение в избранной области знаний. Владение основами образовательной квалиметрии позволяет преподавателю в полной мере реализовать проектную деятельность и создать собственную методическую систему.
Педагогический измеритель может представлять собою не только стандартизованный дидактический тест, позволяющий определять уровни достижений и потенциальные возможности обучаемых, но и всевозможные квалиметрические анкеты, в том числе и психологического содержания, с помощью которых можно оценить состояние образовательной среды. Все эти формы диагностики находят все более широкое применение в образовательных учреждениях.
В процессе создания в образовательном учреждении эффективной системы контроля качества образовательного процесса важнейшим становится вопрос о соотношении содержательных и конструктных свойств диагностических материалов. Добиваясь соответствия содержания тестовых заданий структурным элементам образовательной программы, преподаватель не должен забывать об их трудности. Перенасыщение нормативного теста легкими заданиями неизбежно приводит не только к смещению оценочных норм, но и к изменению типа измерителя, который можно использовать только в качестве критериально-ориентированного теста текущего контроля.
Используя термин «конструктная валидность», тестологи часто смешивают конкретный вид и процедуру валидации. Следует понимать, что с процедурной точки зрения конструктная валидность дидактического теста - это отражение в нем теоретической модели курса, ее структурных пропорций и основных компонентов на всех уровнях - вплоть до учебных элементов. Этот аспект стандартизации педагогического измерителя непосредственно связан с содержательной валидацией, но отличается от нее необходимостью учитывать уровни трудности тестовых заданий, составленных на основе структурных элементов учебной программы.
Оценивать конструктную валидность дидактического теста нужно на этапе его первичной апробации, когда получено статистическое распределение результатов тестирования репрезентативной выборки. Если эмпирические данные подтверждают гипотезу, то тем самым подтверждается концепция, положенная в основу теста, и способность теста служить инструментом измерения данного конструкта.
В процессе стандартизации дидактического теста содержательная и конструктная валидности непосредственно связаны друг с другом. Подбирая тестовые задания в соответствии со спецификацией педагогического измерителя, преподаватель стремится обеспечить максимально возможное отражение диагностическими материалами требований государственного образовательного стандарта. При этом задания распределяются по уровням трудности в зависимости от их местоположения в тесте. Характерным процентным соотношением количества легких, средних по трудности и трудных заданий является: 10:70:20. Если это соотношение окажется существенно нарушенным, тест не будет обладать нормативными свойствами. Например, процентное соотношение количества тестовых заданий различных уровней трудности, характерное для критериального теста: 70:20:10.
Оценивая внутреннюю согласованность педагогического измерителя по степени трудности тестовых заданий, можно количественно охарактеризовать конструктную валидность теста. В процессе статистической обработки результатов тестирования репрезентативной выборки необходимо воспользоваться формулой KR-20 для надежности измерителя, в которой, согласно методике Кьюдера-Ричардсон, учитываются трудности отдельных тестовых заданий.
Воспользуемся формулой Кьюдера-Ричардсон для надежности внутренней согласованности тестовых заданий:
rpq= (m/(m- 1))(1 - (Σpiqi)/σ2),
где rpq - надежность; m - количество тестовых заданий; Σ - обозначение суммы; pi - трудность i-го тестового задания; qi=1-pi - доля обучающихся, не справившихся с i-м тестовым заданием; σ2 - дисперсия. Сопоставляя полученные эмпирические данные с идеальными конструктными характеристиками теста достижений, можно установить, что величина стандарта статистического распределения должна располагаться в диапазоне: m/5 ÷ m/6. При меньшей дисперсии распределения тестовых результатов педагогический измеритель не обладает необходимой дифференцирующей способностью, а при больших значениях стандарта - приближается к критериальному тесту.
Выполнение заданных ограничений гарантирует необходимые конструктные свойства дидактического теста при условии достаточно жесткой содержательной валидности. Составленный таким образом измеритель способен определять не только уровни достижений, но и потенциальные возможности обучающихся. Предположим, что распределение тестовых заданий по уровням трудности следующее:
Наиболее простые задания, требующие совершения всего одной логической операции - 11%.
Задания средней трудности, для выполнения которых необходимо совершить две-три логические операции - 71%.
Наиболее трудные задания, выполнение которых предполагает совершение трех-четырех логических операций - 18%.
Простые задания правильно выполняют 60÷80% испытуемых, включенных в репрезентативную выборку, задания средней трудности - 40÷60%, а трудные задания - 20÷40%.
Полученные соотношения между заданиями различных уровней трудности позволяют получить нормальное статистическое распределение результатов репрезентации, что указывает на высокие конструктные свойства педагогического измерителя. Расчет конструктной валидности дидактического теста по методу Кьюдера-Ричардсон, учитывающий внутреннюю согласованность тестовых заданий, в нашем примере привел к достаточно высокому результату 0,85.
Поскольку процентное распределение тестовых заданий по уровням трудности вполне соответствует нормативному тесту, правильное выполнение более 30% тестовых заданий оценивается удовлетворительно, более 50% - хорошо, а более 70% - отлично.
квалиметрический педагогический компетентность тестовый
Таблица 1
Нормы перевода тестовых баллов в традиционные педагогические оценки
Балл0÷1112÷1920÷2627÷38Оценка2345
Только включая в педагогический измеритель тестовые задания необходимой трудности, которые адекватно отражают содержание структурных элементов программы, можно быть уверенным в объективности педагогических оценок, выставленных учащимся на основе набранных ими сумм тестовых баллов. Перечисленные требования к диагностическим материалам характерны для стандартизованного теста достижений, который преподаватель может использовать в качестве педагогического измерителя.
Кроме определения содержательной и конструктнойвалидности в процессе стандартизации дидактического теста необходимо установить надежность педагогического измерителя путем его повторного применения на том же самом контингенте учащихся. В качестве выборочной совокупности в этом случае используется репрезентативная выборка, созданная путем стратификации генеральной совокупности.
Заключительный этап стандартизации дидактического теста предполагает сопоставление результатов тестирования с независимым критериальным показателем, позволяющем судить о том, насколько точно педагогический измеритель отражает требования государственного образовательного стандарта, и как это сказывается на дальнейшей успешности испытуемого.Критериальнуювалидность педагогического измерителя лучше всего определять на основе данных о профессиональном и карьерном росте выпускников образовательного учреждения.
В основе разработки диагностико-квалиметрического обеспечения любого педагогического процесса лежит технология стандартизации педагогического измерителя, которая включает в себя:
экспертизу учебной программы, предполагающую определение весомости каждого вопроса и выявление структурных элементов, что обеспечивает содержательную валидность теста, или отбор критериев и показателей на основе выборочного метода, включающего в себя стратификацию генеральной совокупности требований государственного образовательного стандарта;
подбор тестовых заданий различных уровней трудности, составленных на основе структурных элементов учебной программы, что обеспечивает конструктную валидность теста, или начисление респондентами рейтинговых баллов по каждому критериальному показателю с целью объективной оценки предмета исследования;
статистическую обработку данных репрезентации с целью определения степени согласованности результатов двух последовательных тестирований одного и того же контингента учащихся, что подтверждает надежность педагогического измерителя, или установление экспертного статуса респондентов на основе корреляционного анализа;
определение согласованности результатов тестирования с независимыми данными об уровнях достижений, что гарантирует критериальную валидность теста, или оценку конкордации суждений членов экспертной группы и вычисление интегрального показателя состояния образовательного процесса.
Используя разработанные таким образом педагогические измерители, можно быть уверенным в объективности, точности и внутренней непротиворечивости получаемых выводов. Что позволяет провести сравнительный анализ основных параметров и результатов реализации проектов учебного процесса и методической системы преподавания определенной учебной дисциплины с требованиями государственного образовательного стандарта.
Литература
Джуринский А.Н. История образования и педагогической мысли: Учеб.пособ. для студентов педвузов / А.Н. Джуринский. - М.: Гуманит. изд.центр ВЛАДОС, 2008.
Гонеев А.Д. Основы коррекционной педагогики / Под ред. В.А. Сластенина. - М.: Академия, 2007.
История педагогики и образования. От зарождения воспитания в первобытном обществе до конца ХХ в.: / Под ред. акад. РАО А.И.Пискунова. - М.: ТЦ «Сфера», 2008.
Краевский В.В. Методология педагогики: новый этап: Учеб.пособие для студентов высш. учеб. заведений / В.В. Краевский, Е.В. Бережнова. - М.: Академия, 2009.
Мижериков В.А. Введение в педагогическую деятельность /В.А. Мижериков, Т. А. Юзефавичус.- М.: Роспедагентство, 2009.
Мудрик А.В. Социальная педагогика: Учеб.для студентов пед. вузов / А.В. Мудрик / Под ред. В.А. Сластенина. - М.: Академия, 2007.
Орлов А.А. Введение в педагогическую деятельность: Практикум: Учеб.-метод. пос./ А.А. Орлов, А.С. Агафонова. Под ред. А.А. Орлова. - М.: Академия, 2007.
Педагогика: Учеб. пособие для студ. высш. пед. учеб. заведений / Под ред. П.И. Пидкасистого. - М.: Пед. общество России, 2009.
Педагогический энциклопедический словарь / Гл. ред. Б.М. Бим-Бад. - М., 2007.
Педагогические технологии: Учебное пособие для студентов педагогических специальностей / Под общей ред. В.С. Кукушина. - М.: ИКЦ «МарТ»; Ростов н/Д: ИКЦ «МарТ», 2008.
Питюков В.Ю. Основы педагогической технологии. Учебно-методическое пособие. - М.: Изд-во «Гном и Д», 2007.
Роботова А.С. Введение в педагогическую деятельность/ Роботова А.С., Леонтьева Т.В., Шапошникова И.Г. и др. - М.: Академия, 2009. - 208 с.
Российская педагогическая энциклопедия в двух томах: Том II / Гл. ред. В.В. Давыдов. - М.: Научное издательство «БОЛЬШАЯ РОССИЙСКАЯ ЭНЦИКЛОПЕДИЯ», 2008.
Селевко Г.К. Современные образовательные технологии / Г.К. Селевко. - М., 2007.
Сластенин В.А. Педагогика: Учеб.пособие для студ. высш. пед. учеб. заведений / В.А. Сластенин, И.Ф. Исаев, Е.Н. Шиянов. - М.: Академия, 2009.