Одномоментное оценивание группой экспертов

Этот подход в литературе может называться и «методом комиссий» если имеется в виду не только собственно оценивание, но и некоторые «обеспечивающие действия».

Содержание «метода комиссий» обычно описывается в литературе следующим образом.

1) Создается некая «рабочая группа», выполняющая обеспечивающие функции (функции технической поддержки).

2) Эта группа выполняет выбор (осуществляет отбор) экспертов в экспертную группу

3) Для экспертов подготавливаются:

- материалы по предметной области, необходимые для оценки вариантов;

- сами вопросы для экспертного оценивания и пр.

При необходимости разрабатывается шкала оценок и, возможно, пояснения к ней.

4) Осуществляется собственно опрос экспертов (получение от них экспертных оценок по предложенным вариантам).

5) Проводится техническая (математическая) обработка материалов опроса, в т.ч. и с применением ЭВМ

6) Полученные результаты анализируются и фиксируют тем или иным образом

Таким образом, в этом методе эксперты оценивают уже предложенные варианты, а не выдвигают какие-то свои.

Поясним некоторые пункты подробнее.

Для пункта «1» персональный состав рабочей группы фиксируется в некотором «приказе» или ином документе. Одновременно устанавливается распределение полномочий и ответственности членов рабочей группы, состав их должностных обязанностей, особенности взаимодействия с экспертами.

Некоторые особенности отбора экспертов в экспертную группу уже были отражены в разделе 9.3 настоящей лекции. Подчеркнем, что при отборе экспертов приходится учитывать много факторов, в т.ч. и их уровни требований об оплате работы. Если коллективное экспертное оценивание используется достаточно часто, то целесообразно формирование некоторой компьютерной базы данных по экспертам, которая позволит осуществлять отбор достаточно быстро.

Для пункта «3» уточняются основные направления развития объекта (системы, процесса), являющегося предметом экспертной оценки. В некоторых случаях составляется схема, отражающая генеральную цель, подцели и средства для их достижения.

Вопросы для экспертов могут быть предъявлены в форме перечня или таблицы в зависимости от специфики оцениваемого объекта. Как правило, предъявляются несколько «вопросов» или «заданий» для выбора оптимального варианта. В частных случаях может предъявляться и по одному вопросу, рассчитанному либо на количественную оценку объекта, либо даже на ответы типа «да-нет».

Для пункта «4». Как правило, опрос экспертов проводится «одномоментно», причем так, чтобы эксперты не могли влиять на мнения друг друга. Это делается для повышения объективности ответов экспертов.

В общем случае опрос может производиться и в автоматизированной форме, в т.ч. и по дистанционным технологиям (через Интернет). Результаты опроса должны быть как-то зафиксированы и при необходимости подписаны членами экспертной группы.

Оценки экспертами обычно осуществляются в баллах. Чаще всего используются следующие шкалы:

- 5-ти бальная из целых чисел;

- 10 –ти бальная из целых чисел или с возможностью задания и десятых долей;

- 100-бальная.

Необходимо иметь в виду, что при наличии более десяти градаций оценок они могут в определенных пределах носить случайный характер. Как пример, приведу оценки студентов на экзаменов по 100-бальной шкале. Обычно достаточно трудно оценить оправдана ли разница в оценке ответа в 77 баллов по сравнению с 76-ю баллами.

Кроме того, для оценки объектов обычно желательно использование оценок из всего возможного диапазона значений, а не только из какой-то его части. Это обеспечивает «дифференцирующую способность» оценок. Например, 100-бальная шкала оценки студентов на экзаменах фактически использует лишь диапазон 70-100 баллов, а все, что меньше 70 считается неудовлетворительным. Таким образом фактически применяется 32-бальная шкала: неудовлетворительно + 31 возможна оценка.

Аналогичная ситуация и с оценками по 5-ти бальной шкале. Фактически применяются лишь четыре оценки – неудовлетворительно, 3, 4, 5. Многими преподавателями считается, что (и справедливо), что всего три градации положительных оценок это «слишком мало» (т.е. оценка является недостаточно дифференцированной).

Значительно реже встречается использование экспертами качественных оценок (их обычно можно перевести в баллы) или бинарных («да-нет»).

Для пункта «5» обработка мнений экспертов может осуществляться: с помощью электронных таблиц; на основе специальных программ и пр. Целью их использования является автоматизация расчетов для снижения их трудоемкости.

Алгоритмы обработки количественных оценок экспертов могут быть различны.

(А) В простейшем случае для каждого из оцениваемых экспертами вариантов проставленные ими (экспертами) баллы суммируются и «оптимальным» считается вариант, получивший максимальную «сумму баллов» или «средний балл». Такой подход применяется если в составе экспертной группы находятся люди с примерно одинаковой весомостью мнений или оценить эту весомость вообще затруднительно.

(В) Если учитываются экспертные коэффициенты экспертов, то вместо «суммы баллов» или «среднего балла» используются «взвешенная сумма баллов» или «взвешенное среднее значение» (взвешивание осуществляется «на экспертные коэффициенты»). Для сопоставимости результатов с вариантом «А» в отношении средних значений может быть целесообразным делить полученные средние взвешенные оценки на суммы взвешивающих коэффициентов (эти суммы для всех оцениваемых вариантов одинаковы).

(С) в некоторых случая используется методика предварительного «удаления» из совокупности оценок экспертов по каждому из вариантов самой высокой и самой низкой оценки - исходя из того, что они могут являться субъективными. эта методика требует повышенного количества экспертов в экспертной группе, что не всегда приемлемо.

(D) Альтернативой варианта «С» является подсчет средней оценки и среднеквадратичного отклонения от нее для каждого из вариантов. Затем отсекаются резко отличающиеся от среднего значения результаты. Их признаком может считаться, например, выход оценок за границы «плюс-минус» три среднеквадратичных отклонения.

Для пункта «6» согласованность мнений экспертов в группе может оцениваться различными способами.

Наиболее прост (для Вас) вариант с подсчетом матрицы парных коэффициентов корреляции между мнениями отдельных экспертов с последующим вычислением среднего значения по нижнему треугольнику этой матрицы (эту работу можно проделать в Microsoft Excel с использованием средства «пакет анализа»).

Хорошим совпадением может считаться, например, вариант, когда средний коэффициент корреляции составляет +0.7 и выше. В то же время средний коэффициент корреляции близкий к нулю говорит о плохом совпадении мнений.

Альтернативой расчету матрицы коэффициентов парной корреляции может быть использование коэффициента конкордации, что и рекомендуется в некоторых учебниках. Однако считать его сложнее.

При низкой согласованности мнений экспертов часто считается, что результаты экспертного оценивания являются неудовлетворительными, а само экспертное оценивание необходимо повторить заново - с использованием иной экспертной группы. Поскольку это увеличивает сроки получения итоговых оценок экспертов, то идут на это не всегда.

Дата добавления: 2015-07-26; просмотров: 104; Нарушение авторских прав

Мы поможем в написании ваших работ!