Наличие объединенных рангов при ранжировании свидетельствует о неразличимости исследуемых факторов или неспособностью экспертов найти существенные различия1. Исходные статистические данные обработаны и сведены в таблицу ранжированных статистических факторов, оказывающих влияние на образовательный процесс. В целях признания истинной важности анализируемых вопросов (согласованности экспертных оценок), произведена проверка наличия статистически значимой связи между значениями рангов посредством коэффициента согласованности, который определяется как отношение суммы квадратов S фактически встречающихся отклонений к максимальной S' сумме квадратов указанных отклонений2. Коэффициент согласованности в некотором смысле является мерой общности суждений экспертов и при полном совпадении экспертных заключений значение коэффициента равно 1. В случае большого различия заключений экспертов коэффициент согласованности составит малую величину, так как суммы рангов окажутся более или менее близки друг к другу и, следовательно, сумма квадратов отклонений от среднего составит минимальное значение. Возрастание коэффициента согласованности от 0 до 1 свидетельствует, что различия между отклонениями «усиливаются», в чем и проявляется все большая согласованность рангов. Расчет коэффициента согласованности выполнен на ПЭВМ с применением электронных таблиц Microsoft Excel3. 193 1См.: Сафонцев, С.А., Шишкина, И.Л. Проектирование учебного процесса на основе результатов педагогического тестирования: монография [Текст]/С.А. Сафонцев, И.Л. Шишкина. Славянск-на-Кубани: Издательский центр СГПИ, 2009. 2 См.: Цыганов, Ш.И. Математическая обработка результатов педагогического тестирования [Текст]/Ш.И. Цыганов. Уфа: РИЦ БашГУ, 2007. 3 См.: Вадзтский, Р.Н Статистические вычисления в среде Excel [Текст]/Р.Н. Вадзинский. — СПб.: Питер, 2008; Радке, Хорст-Дитер. Практическое использование Microsoft Excel для обобщения статистических данных и их презентации: подготовка и презентация статистических данных в Microsoft Excel [Текст]/Хорст-Дитер Радке. —М.: NT Press, 2008. |
Минимальный коэффициент взаимных рекомендаций у эксперта №7 (заместитель начальника факультета автоматизированных систем управления и радиосвязи), поэтому этот кандидат исключается из состава группы экспертов. В дальнейших исследованиях участвовало 13 экспертов. В целях получения экспертных оценок группе экспертов предлагалось: ознакомиться с перечнем обследуемых факторов, дополнить недостающими факторами предлагаемый перечень по своему усмотрению или исключить; произвести ранжирование получившихся факторов по степени важности. Ранжирование факторов по местам было выполнено следующим образом. Фактору, оказывающему на специальную подготовку наибольшее влияние, присваивается 1-е место, следующему по степени влияния фактору присваивается 2-е место и так далее. При одинаковом влиянии факторов на специальную подготовку данным факторам присваивался одинаковый ранг (место). Факторы, имеющие одинаковый ранг, сводятся в группы, и в этом случае каждому из факторов одной группы рассчитывался объединенный ранг, равный среднеарифметическому значению мест, которые они делят. Расчетным путем получено: порядковым номерам № 6. 7. 20 присвоен объединенный ранг ( 1 + 2 + 3) / 3 = 2 порядковым номерам № 3, 17 присвоен объединенный ранг (4 + 5 ) / 2 =4,5. Наличие объединенных рангов при ранжировании свидетельствует о неразличимости исследуемых факторов или неспособности экспертов найти существенные различия. Исходные статистические данные обработаны и сведены в таблицу ранжированных статистических факторов, оказывающих влияние на образовательный процесс курсантов 4-го курса военно-морских вузов. 182 Однако необходимо проверить наличие статистически значимой связи между значениями рангов посредством коэффициента согласованности в целях признания истинной важности анализируемых вопросов (согласованности экспертных оценок). Коэффициент согласованности W ( m ) определяется1 как отношение суммы квадратов S фактически встречающихся отклонений к максимальной S' сумме квадратов указанных отклонений: W(m) = % (2.3) Для определения коэффициента согласованности произведен расчет среднего значения суммы рангов олного фактора по формуле: X, = 0,5m(n + 1) (2,4) где: п количество анализируемых факторов: ш —численность экспертной группы (длина ранжировки). Согласно формуле (2.4), определено среднее значение суммы рангов одного ф актора136.5. Максимальная сумма квадратов индивидуальных отклонений рангов факторов от среднего определяется по формуле: S' = 0.5m; (:r п) (2.5) Коэффициент согласованности определяется по формуле: 1 . с W ( m 1 = ----:--------------( 2 .6 ) т'^гг — п) Сумма квадратов фактически встречающихся отклонений вычисляется по формуле: 2 183 S (2.7) i-1Ч .j-i где: Xj —сумма рангов i-того фактора. 1 Михеев В.И. М етодика получения и обработки экспериментальных данных в психолого-педагогнческих исследованиях. М.. 1996. 198с. Коэффициент согласованности в некотором смысле является мерой общности суждений экспертов, и при полном совпадении экспертных заключений значение коэффициента равно I. В случае большого различия заключений экспертов коэффициент согласованности составит малую величину, так как суммы рангов окажутся более или менее близки друг к другу и, следовательно, сумма квадратов отклонений от среднего составит минимальное значение. Возрастание w (m)oT 0 до 1 свидетельствует, что различия между отклонениями «усиливаются», в чем и проявляется все большая согласованность рангов. С учетом наличия объединенных рангов в таблице ранжированных статистических факторов коэффициент согласованности вычисляется с поправочным коэффициентом Т по формуле: Щт) = ■■■ ^-----------(2.8) — ж : (/7 5 п ) п : ■Т 12 где: Т поправочный коэффициент, определяемый по формуле: T = (2-9) I— t»l где: g число групп неразличимых рангов; nt число элементов С-той группы неразличимых рангов. Расчет коэффициента согласованности выполнен на ПЭВМ с применением электронных таблиц Microsoft Excel. Сумма квадратов фактически встречающихся отклонений равна S=57503. Если бы все последовательности совпадали, то максимальное значение суммы квадратов отклонений составила бы: =-~т2(п*-п)= 112385. Поправочный коэффициент Т равен 101. Следовательно, коэффициент согласованности с учетом выражений (2.7) и (2.8) равен: W(13) =0,518. 184 |