Студопедия

Главная страница Случайная лекция


Мы поможем в написании ваших работ!

Порталы:

БиологияВойнаГеографияИнформатикаИскусствоИсторияКультураЛингвистикаМатематикаМедицинаОхрана трудаПолитикаПравоПсихологияРелигияТехникаФизикаФилософияЭкономика



Мы поможем в написании ваших работ!




Алгоритмы и математические модели тестирования

Читайте также:
  1. V. Моделирование. Геометрический материал.
  2. Аканов А.А., Сейсенбаев А.Ш., Аканова Г.Г. и соавт. Алгоритмы действий медицинских работников на уровне ПМСП по основным факторам риска ХНЗ. - Алматы, 2000. - 40 с.
  3. Алгоритмы планирования
  4. Алгоритмы проверки свойств последовательности
  5. Анализ и синтез в моделировании
  6. Анализ чувствительности модели
  7. Аналитические модели СМО
  8. Базовые модели ППР.
  9. БАЗЫ ДАННЫХ МОДЕЛИРОВАНИЯ

Довольно распространенным методом контроля уровня знаний обучаемого контингента, в настоящее время является тестирование, которое также представляет определенную диалоговую форму обучения и обычно реализуется в рамках соответствующей информационной технологии. Особенно популярным в последнее время становится компьютерное адаптивное тестирование (Computerized Adaptive Testing – CAT), при котором компьютер отбирает задания в зависимости от предыдущих ответов, подстраивая тест к уровню тестируемого. Основой для современных компьютерных адаптивных тестов служит теория ответа на задание (Item Response Theory – IRT), учитывающая уровень тестируемого и трудность задания [9].

Процедура тестирования описывается киберсистемой из двух конечных автоматов А и А', соединенных по схеме рис.4.1, и алгоритм их поведения представляет частный случай общего алгоритма диалога, приведенного в табл. 4.1, в том смысле, что алгоритм тестирования реализуется в одном цикле. Формально тест представляет собой слово z = z1z2…zn в алфавите Z, так, что каждая буква zi Z, - это i-ое задание теста z. Данный тест z поступает на вход автомата А' (тестируемый объект) и обрабатывается как слово в соответствии с алгоритмом (1.1);(1.3), который в данном случае задает процедуру «решения» тестовых заданий. На основе данных решений по каждому заданию zi дается ответ ai= , где – вариант решения, предложенный тестируемым по заданию zi. В результате, посредством алгоритма (1.2), на выходе А' формируется слово a = a1a2…an; ai , которое для контроля поступает на вход A автомата А. Контроль ответа сводится к тому, что каждая буква ai слова a сравнивается с результатом правильного решения и ответ ai приобретает рейтинг . В итоге на выходе А формируется слово r = r1r2…rn, по которому устанавливается общий результат выполнения теста z, этот результат доводится до А' и на этом процедура тестирования завершается.

В российском образовательном пространстве в процедурах компьютерного тестирования в основном преобладают тесты с открытой или закрытой формой заданий [9;10]. При закрытой форме тестовых заданий (формат multiple choice) каждое такое задание снабжено набором ответов, из которых обычно только один верный, и тестируемому предлагается выбрать по одному ответу из каждого такого набора. В заданиях открытой формы ответы с выбором не предусматриваются и испытуемый должен сам представить ответ, который свидетельствует о наличии или отсутствии у него требуемых знаний по заданному вопросу. При компоновке тестовых батарей задание с закрытой формой обычно располагают в начале (часть А), а более сложные задания обычно предполагают открытую форму ответа и размещаются ближе к концу теста (часть Б).

Алгоритм обработки выполненных тестов может быть следующим [11]. Пусть, как и выше, тест z представляется словом z = z1z2…zn, у которого первые k букв zi, - описывают задания с закрытой формой, а остальные буквы zi, - это задания с открытой формой ответов. Тогда выходное множество автомата А' (и, соответственно, входное множество A автомата А) можно представить в виде разбиения (соответственно, A= ), где индексы 3;0 – приписываются заданиям с закрытой и открытой формой ответов, соответственно.

Пусть при выполнении тестовых заданий с закрытой формой испытуемому по каждому отдельному заданию следует выбрать один ответ из l >1 предложенных ответов. Тогда подмножество автомата А' можно определить базисным набором l-мерных ортонормированных векторов. В этом случае = , где - вариант решения, предложенный тестируемым по заданию zi, , на основании которого выбран ответ (ai1;…;ail) , так, что одна из координат aij, j= , отвечающая выбранному ответу в предложенном наборе, равна 1, а остальные координаты нулевые. Из векторов сформируем столбец ( )*, где * - означает операцию транспонирования, после чего, разворачивая этот столбец по координатам векторов , получаем матрицу ответов Akl.

Матрица Akl представляет входной сигнал для автомата А, который реализует контроль теста. Для этого введем вектор (qi1;…;qil) A3= , представляющий вектор-ключ к заданию zi, , у которого одна из координат qij, j= , соответствующая правильному ответу в предложенном наборе, равна 1, а остальные координаты – нулевые. Из векторов сформируем строку ( ) и, затем, разворачивая координаты в столбцы, строим ключ-матрицу Qlk.

Легко убедиться, что для матрицы Ckk=AklQlk диагональные элементы cii , причем, cii=0, если дан неверный ответ к заданию zi и cii=1 – в противном случае. Поэтому сумма диагональных элементов Sp(Ckk) – это количество правильных ответов среди заданий открытой формы zi, теста z. Тогда, если Rkk=diag(r1;…;rk) – скалярная матрица рейтингов заданий z1;…;zk , то Sp(CkkRkk) – определяет общий рейтинг, оценивающий результаты выполнения теста z в части заданий с закрытой формой ответа.

При открытой форме тестовых заданий zi, , ответ к каждому заданию представляется в виде некоторого числа, так, что для подмножества можно положить . В этом случае ai= , где ai численный ответ к заданию zi в открытой форме, и можно определить вектор (ak+1;…;an). Пусть теперь (qk+1;…;qn) – вектор-ключ для тестовых заданий zi, , так, что qi правильный ответ для задания zi. Составим разность , причем, координаты вектора запишем по правилу: (4.8)

Тогда, если (rk+1;…;rn) есть рейтинг-вектор, где ri рейтинг задания zi, то скалярное произведение определяет общий рейтинг выполнения тестовых заданий zi с открытой формой ответа.

Общий рейтинг при выполнении теста z = z1z2…zn можно определить суммой Sp(CkkRkk)+ , с которой связывается определенная оценочная шкала P, устанавливающая результаты тестирования, доводимые до испытуемого.

В рамках приведенного алгоритма, в Лаборатории тестирования механико-математического факультета Саратовского государственного университета им. Н.Г. Чернышевского в период 1998-2000 гг. были разработаны различные версии программных оболочек, реализующих процедуру компьютерного тестирования в режиме реального времени, а также в клиент-серверном варианте, как для работы в локальной, так и глобальной сети (с выходом в Интернет), о чем докладывалось на Всероссийских конференциях «Развитие системы тестирования в России» [12;13]. Данные компьютерные технологии с успехом апробированы в рамках школьного тестирования по математике учащихся общеобразовательных учреждений г.Саратова, для чего специально создавались довольно мощные тестовые батареи [14;15], причем, к этой работе широко привлекались студенты Саратовского госуниверситета.

В более широком формате эти технологии использовались в 2002 г. при проведении тестового мониторинга уровня подготовки выпускников I-ой ступени обучения (начальная школа) общеобразовательных учреждений Саратовской области по предметам федерального компонента – математике и русскому языку, который осуществлялся по заказу регионального Минобразования. В рамках мониторинга было охвачено 2262 школьника из всех регионов Саратовской области, заканчивающих 2001/2002 уч.г. обучение по 3-х и 4-х летним программам (для сравнения, в централизованном тестировании выпускников начальной школы 2002 г. участвовало 1074 человека). Результаты мониторинга оказались следующими: количество школьников, выполнивших тесты с оценками «4» и «5» по математике составило 77%, по русскому языку – 82% (по результатам централизованного тестирования, соответственно, 85,3% и 78,4%) [16].

Подводя некоторый итог, необходимо заметить, что, хотя информатизация современного образовательного пространства объективна и происходит довольно стремительно, все-таки процессы обучения в рамках электронной педагогики обладают тем общим недостатком, свойственным для коммуникативного общения – в этом случае субъекты общения в принципе не имеют полной логической конгруэнтности. По этой причине возникает, например, известная проблема содержательной и адекватной интерпретации результатов тестирования [10]. Поэтому можно предполагать, что класс образовательных задач, разрешимых посредством тестирования, является ограниченным, что, вообще говоря, и не оспаривается специалистами в области электронной педагогики [17].

 


<== предыдущая страница | следующая страница ==>
Полугрупповая теория формирования базы знаний ЭС | Из истории ЭС

Дата добавления: 2014-10-28; просмотров: 708; Нарушение авторских прав




Мы поможем в написании ваших работ!
lektsiopedia.org - Лекциопедия - 2013 год. | Страница сгенерирована за: 0.009 сек.