Одним из направлений управления высшим учебным заведением является система менеджмента качества, общие принципы которого определены в стандартах ИСО серии 9000 [1]. Вопросы менеджмента качества рассматриваются на различных уровнях: в Федеральном законе «Об образовании в Российской Федерации», в научных работах, связанных с сущностью понятий, выбором характеристик качества и их использованием на практике [2-4]. Однако в значительно меньшей степени рассматриваются вопросы, связанные с количественной оценкой обоснованности всех выводов [5-7].
Основой современного менеджмента качества является ориентация на потребителя, так как все успехи и неудачи организации определяются востребованностью производимой продукции. Спецификой процесса высшего образования является то, что его основной «производимой продукцией» представляется специалист, окончательную оценку качества которого определяет общество «принимая» или «отвергая» полученного работника. Так как требования общества к качеству подготовки специалиста постоянно изменяются, то и сам процесс образования, и понятие «качественное образование» должны непрерывно изменяться и совершенствоваться. А это обусловливает необходимость собственно менеджмента качества, методы которого также непрерывно изменяются. Сейчас весьма неприглядно выглядит управление по принципам: «Мне кажется …», «Я так думаю …», «Есть мнение …» и т.п. Субъективное принятие решений даже самым грамотным и опытным руководителем не исключает возникновения ошибок, и кажущееся может быть принято за истинное. Поэтому одним из принципов современного менеджмента качества является принятие решений, основанное на фактах. Поэтому в любой организации должна действовать определенная система принятия решений, а для этого необходимо организовать и систему по сбору и анализу результатов по различным направлениям деятельности.
Цель исследования – статистический анализ факторов, влияющих на оценку качества высшего образования.
Материал и методы исследования. Материал исследования основан на анкетировании (опросе) 205 респондентов из числа организаторов процесса обучения, преподавателей и студентов Южно-Уральского государственного университета. Важность каждого фактора, оказывающего влияние на качество образования, оценивалась по десятибалльной шкале.
Результаты исследования и их обсуждение. Эффективное решение той или иной проблемы возможно только при анализе данных и информации по рассматриваемой проблеме. При этом, чем объективнее и разнообразнее полученные данные, тем обоснованнее будет решение. В целях определения приоритетных факторов, влияющих на качество образования, было проведено анкетирование респондентов, обобщенные результаты которого приведены в таблице 1.
Таблица 1
Результаты оценки факторов качества образовательного процесса
|
№ |
Факторы качества |
Организаторы учебного процесса |
Препо-даватели |
1-й курс Бакалав- ры |
2-й курс бакалав- ры |
3-й курс бакалав-ры |
4-й курс Бакалав- ры |
1-й курс магист- ры |
|
1 |
Преподаватели |
9,40/15 |
8,8/35 |
8,57/35 |
9,18/33 |
8,89/27 |
8,76/37 |
9,77/22 |
|
2 |
Родители |
4,13/15 |
3,63/35 |
5,63/35 |
7,84/33 |
4,30/27 |
3,41/37 |
4,18/22 |
|
3 |
Студенты |
7,80/15 |
8,69/35 |
7,47/34 |
8,24/33 |
8,11/27 |
6,68/37 |
5,50/22 |
|
4 |
Обслуживающий персонал (инже-неры, мастера, лаборанты и т.п.) |
5,60/15 |
4,11/35 |
3,62/34 |
5,39/33 |
5,59/27 |
4,24/37 |
4,14/22 |
|
5 |
Наличие специализированых аудиторий и лабораторий |
7,53/15 |
7,37/35 |
8,69/35 |
8,61/33 |
8,85/27 |
8,30/37 |
7,91/22 |
|
6 |
Материальное оснащение лабораторий |
7,80/15 |
7,69/35 |
8,46/35 |
8,82/33 |
9,00/27 |
8,54/37 |
8,29/21 |
|
7 |
Компьютерное оснащение |
7,36/14 |
7,54/35 |
9,14/35 |
9,09/33 |
9,12/26 |
8,84/37 |
7,90/22 |
|
8 |
Учебники центральных издательств |
7,00/15 |
7,74/35 |
7,77/35 |
7,18/33 |
8,96/27 |
8,11/37 |
7,59/22 |
|
9 |
Тексты лекций |
7,93/15 |
6,61/33 |
8,69/35 |
8,61/33 |
9,08/26 |
7,46/37 |
8,09/21 |
|
10 |
Программные средства (обучаю-щие, контрольные, развивающие |
7,07/15 |
6,60/35 |
7,71/35 |
6,85/33 |
8,11/27 |
7,14/37 |
6,77/22 |
|
11 |
Периодические издания |
5,50/14 |
5,89/35 |
6,66/35 |
6,33/33 |
6,85/27 |
7,64/36 |
5,48/21 |
|
12 |
Учебные и учебно-методические пособия для практических и лабораторных работ |
7,93/15 |
7,77/35 |
7,77/35 |
6,97/33 |
8,33/27 |
7,46/37 |
5,32/22 |
|
13 |
Аудиторные лекции |
8,64/14 |
8,43/35 |
8,51/35 |
8,58/33 |
8,38/26 |
7,68/37 |
8,45/22 |
|
14 |
Практические аудиторные занятия |
8,28/14 |
8,71/35 |
8,29/34 |
8,67/33 |
9,58/26 |
8,97/37 |
8,50/22 |
|
15 |
Домашние практические задания |
7,69/13 |
6,89/35 |
7,91/34 |
7,76/35 |
7,30/27 |
6,97/37 |
5,95/21 |
|
16 |
Самостоятельное изучение отдель-ных положений дисциплин |
7,28/14 |
6,79/34 |
6,63/35 |
6,18/33 |
6,59/27 |
6,32/37 |
5,55/22 |
|
17 |
Учебно-производственные практики |
8,36/14 |
6,50/32 |
9,06/35 |
6,80/25 |
9,20/25 |
6,62/37 |
6,00/22 |
|
18 |
Курсовое проектирование |
8,15/13 |
7,17/35 |
6,83/35 |
6,97/33 |
7,48/25 |
7,14/37 |
6,91/22 |
|
19 |
Устные опросы |
7,64/14 |
7,03/32 |
8,00/35 |
6,94/32 |
8,74/27 |
7,32/37 |
5,77/22 |
|
20 |
Текущий контроль |
6,86/14 |
6,54/35 |
6,26/34 |
7,73/33 |
7,55/27 |
7,61/36 |
5,82/22 |
|
21 |
Научно-исследовательская работа преподавателя |
7,33/15 |
6,46/35 |
7,57/35 |
6,17/23 |
7,22/27 |
7,30/37 |
3,95/22 |
|
22 |
Научно-исследовательская работа студента |
7,00/15 |
6,97/35 |
8,60/35 |
6,69/29 |
8,52/27 |
8,65/37 |
5,36/22 |
|
23 |
Конкурсы и олимпиады |
6,60/15 |
6,21/33 |
7,03/35 |
6,00/23 |
5,00/26 |
6,54/37 |
4,64/22 |
В качестве основных исходных параметров приняты средний балл соответствующего фактора и количество опрашиваемых, оценивших его. Это связано с тем, что при анкетировании можно было не оценивать тот или иной фактор. В связи с этим абсолютная оценка в баллах конкретного фактора качества не полностью характеризует степень его влияния. Для оценки степени влияния необходимо использовать безразмерные, относительные показатели. Таким показателем принят коэффициент весомости показателя:
где 
– весомость i-го фактора качества;
– сумма баллов, набранная i-м фактором;
m – количество рассматриваемых факторов качества (в данном случае m=23).
Например, для 1-го фактора имеем (табл. 1) группу организаторов учебного процесса:
Аналогичные вычисления сделаны по всем факторам, для всех групп опрошенных. Результаты расчетов коэффициентов весомости факторов качества сведены в таблицу 2.
Таблица 2
Коэффициенты весомости и ранги факторов качества
|
№ фактора |
Органи-заторы учебного процесса |
Препода- ватели |
1-й курс Бакалав- ры |
2-й курс бакалав- ры |
3-й курс бакалав-ры |
4-й курс Бакалав- ры |
1-й курс магист- ры |
Сумма рангов |
Средний Коэффи-циент Весомос-ти |
|
1 |
0,058/1,0 |
0,056/2,0 |
0,049/5,5 |
0,056/1,5 |
0,050/3 |
0,052/2,5 |
0,067/1,0 |
16,5 |
0,055 |
|
2 |
0,025/26 |
0,023/26 |
0,032/22 |
0,046/10 |
0,024/24 |
0,020/27 |
0,029/23 |
158,0 |
0,028 |
|
3 |
0.048/6,5 |
0,055/2 |
0,042/14 |
0,050/8 |
0,046/13 |
0,040/18 |
0,038/18 |
80,0 |
0,046 |
|
4 |
0,034/22 |
0,026/25 |
0,020/26 |
0,033/20 |
0,031/22 |
0,025/25 |
0,028/23 |
163,5 |
0,028 |
|
5 |
0,046/11 |
0,047/9,5 |
0,050/3,5 |
0,052/5,0 |
0,050/3,0 |
0,050/5,5 |
0,054/7,0 |
46,5 |
0,050 |
|
6 |
0,048/6,5 |
0,049/6,5 |
0,049/5,5 |
0,053/5,0 |
0,051/3,0 |
0,051/5,5 |
0,054/7,0 |
39,0 |
0,051 |
|
7 |
0,042/15 |
0,048/6,5 |
0,053/1,5 |
0,055/1,5 |
0,049/8,0 |
0,053/2,5 |
0,054/7,0 |
43,0 |
0,051 |
|
8 |
0,043/15 |
0,049/6,5 |
0,045/10 |
0,044/13 |
0,050/3,0 |
0,048/7,5 |
0,052/7,0 |
63,5 |
0,047 |
|
9 |
0,049/6,5 |
0,039/16 |
0,050/5,5 |
0,052/5,0 |
0,049/8,0 |
0,045/12 |
0,053/7,0 |
61,5 |
0,048 |
|
10 |
0,043/15 |
0,042/12 |
0,044/14 |
0,042/13 |
0,046/13 |
0,043/12 |
0,046/11 |
93,0 |
0,044 |
|
11 |
0,032/22 |
0,037/20 |
0,038/17 |
0,038/18 |
0,038/18 |
0,044/12 |
0,036/18 |
127,0 |
0,038 |
|
12 |
0,049/6,5 |
0,049/6,5 |
0,045/10 |
0,042/13 |
0,047/8,0 |
0,045/12 |
0,036/18 |
76,0 |
0,045 |
|
13 |
0,050/3,0 |
0,053/4,0 |
0,049/5,5 |
0,052/5,0 |
0,045/13 |
0,046/7,5 |
0,058/3,5 |
41,5 |
0,050 |
|
14 |
0,048/6,5 |
0,055/2,0 |
0,046/10 |
0,053/5,0 |
0,052/3,0 |
0,054/2,5 |
0,058/3,5 |
33,0 |
0,052 |
|
15 |
0,041/15 |
0,044/12 |
0,044/14 |
0,047/10 |
0,041/16 |
0,042/18 |
0,039/18 |
104,5 |
0,043 |
|
16 |
0,042/15 |
0,042/12 |
0,038/17 |
0,037/18 |
0,037/20 |
0,038/20 |
0,038/18 |
122,0 |
0,039 |
|
17 |
0,048/6,5 |
0,038/20 |
0,052/1,5 |
0,031/21 |
0,048/8,5 |
0,040/18 |
0,041/13 |
89,0 |
0,043 |
|
18 |
0,043/15 |
0,045/9,5 |
0,039/17 |
0,042/13 |
0,039/18 |
0,043/12 |
0,047/11 |
98,5 |
0,043 |
|
19 |
0,044/11 |
0,041/16 |
0,046/10 |
0,041/16 |
0,049/8,5 |
0,044/12 |
0,039/18 |
93,0 |
0,043 |
|
20 |
0,039/20 |
0,041/16 |
0,035/21 |
0,047/10 |
0,042/16 |
0,044/12 |
0,040/13 |
109,5 |
0,041` |
|
21 |
0,045/11 |
0,041/16 |
0,044/14 |
0,026/22 |
0,041/16 |
0,044/12 |
0,027/24 |
107,0 |
0.038 |
|
22 |
0,043/15 |
0,044/12 |
0,049/5,5 |
0,036/18 |
0,048/8,5 |
0,052/2,5 |
0,037/18 |
80,5 |
0,044 |
|
23 |
0,041/15 |
0,037/20 |
0,04/17,5 |
0,025/22, |
0,027/23 |
0,039/20, |
0,032/22 |
141,0 |
0,034 |
Анализ результатов анкетирования предполагает выделение, прежде всего, различий в оценке того или иного фактора. При существенной разнице оценок необходимо выяснить причины этого расхождения и осуществить соответствующее корректирующее действие для изменения оценки в нужном направлении. При этом необязательно, что мнение большинства вернее, чем меньшинства. Это является предметом специального анализа, без которого в данной работе ряд оценок полученных результатов носит предположительный характер. С учетом сказанного можно отметить следующее. Прежде всего, практически все группы опрошенных (за исключением студентов 1-го курса бакалавриата) на первое место по важности вывели преподавателя. Это является отражением объективного общепринятого положения, что качество образования определяется, прежде всего, качеством основного носителя знаний – преподавателя. Полученный результат отражает и определенную объективность результатов анкетирования, так как это своеобразный проверочный вопрос анкеты. Здесь можно отметить оценку роли преподавателя студентами. Наивысшую оценку сделали студенты 1-го курса магистратуры (выше, чем преподаватели), а низшую – студенты 1-го курса бакалавриата.
Организаторы учебного процесса и основные его исполнители (преподаватели) достаточно близки в своих оценках. Наблюдается заметное различие оценок факторов 3, 4, 9, 17. Например, организаторы учебного процесса значительно выше оценили роль обслуживающего персонала, учебно-производственных практик и текстов лекций по дисциплинам, чем преподаватели. Среди студентов по курсам обучения разброс мнений больше, но явно это заметно только при оценке факторов 2–4, 17, 21–23. Обращает внимание различная оценка студентами роли учебно-производственных практик. Так, очень высоко ее оценили студенты 1-го курса бакалавриата (еще не прошедшие их). Это свидетельствует об ожиданиях эффективности этой формы обучения. Ниже всех оценили роль практик студенты 1-го курса магистратуры, уже прошедшие большее число практик и способные по опыту оценить их роль. По-видимому, в этом направлении необходима существенная организационная работа.
Своеобразна оценка роли самого студента в получении качественного образования. Преподаватели эту роль оценивают выше, чем сами студенты. Здесь, очевидно, необходимы соответствующие разъяснения со стороны преподавателя. Научить можно только того, кто желает научиться. Студенты старших курсов свою роль оценили весьма невысоко, что явно указывает на недоработки в этом направлении.
Существенное отличие наблюдается в оценке факторов 5–7, связанных с материальным оснащением учебного процесса, сделанной преподавателями и студентами. Причем большее значение этим факторам придают студенты. Особенно это касается компьютерного оснащения. Вероятно, это связано с отсутствием в постоянном использовании этого средства у большинства студентов. Кроме того, возможно, студент неосознанно не разделяет использование компьютера для целей обучения и развлечения.
Интересна оценка роли родителей в качестве образовательного процесса. Студенты 1-го и 2-го курса бакалавриата делают эту оценку более существенной, чем преподаватели и студенты старших курсов. Одновременно ясно, что именно на начальном этапе обучения наиболее полезно (и необходимо) вести работу с родителями (например, организуя встречу с руководством института и высказывая пожелания об их роли в качественном образовании своих детей).
Достаточно высоко оценивается роль учебно-методического оснащения учебного процесса (факторы 8, 9, 12). При этом примерно равноценно (как преподавателями, так и студентами) оцениваются как центральные издания, так и изданные вузом. Приблизительно одинаково (как преподавателями, так и студентами) оцениваются формы обучения. Наиболее ценными считаются аудиторные занятия и учебно-производственные практики. Относительно меньшую роль играют самостоятельное изучение разделов дисциплины, текущий контроль.
Весьма примечательна оценка роли научно-исследовательской работы (НИР). Если преподаватели важность этого вида деятельности для качественного образования студента оценивают приблизительно одинаково (занятие НИР как самим преподавателем, так и студентом), то студенты занятие НИР студентом оценили выше, чем НИР преподавателя. Здесь необходима разъяснительная работа, что такое соотношение просто невозможно. Преподаватель не сможет качественно вести НИР со студентом, если сам не работает в этой области.
Наименьшую роль в качестве образования, по мнению преподавателей и студентов, играют родители студентов и обслуживающий персонал. Если не касаться генетической роли родителей, то их роль может быть весьма высока на первых этапах обучения (по привитию студенту навыков самостоятельной работы). Низкая роль обслуживающего персонала связана, по всей видимости, либо с недостаточной его квалификацией (часто это студенты института заочной формы обучения), либо с недостаточной оплатой для привлечения квалифицированных специалистов. Но при таком положении дел надо иметь в виду, что без качественного обслуживающего персонала его функции вынуждены выполнять преподаватели, а это, прежде всего, непроизводительные затраты времени.
Для определения степени обоснованности сделанных выводов определим степень согласованности мнений «коллективных» экспертов (в качестве которых выступает каждая группа опрошенных). Для этого в соответствии с величиной коэффициента весомости фактора проранжируем их. При этом примем во внимание следующие обстоятельства. Средняя величина диапазона изменения коэффициентов весомости – 0,033. Коэффициенты весомости записаны с точностью до третьего знака. Поэтому последняя цифра принята с округлением. Для повышения достоверности различий коэффициентов весомости существенной считаем разницу в их величине 
от диапазона изменения (
). Такой подход (несмотря на некоторую субъективность) приведет к появлению «связанных» факторов, имеющих одинаковую величину ранга, которая принимается среднеарифметическому номеру места коэффициента в общем ряду. Количество мест в ранжированном ряду может превысить количество рассматриваемых факторов на число интервалов, в которые коэффициенты весомости не попадают. Тем самым будет учитываться в более полной мере степень влияния фактора, чем простое присвоение ранга по занимаемому месту в общем ряду без учета численного различия рядом стоящих коэффициентов. В таблице 2 приведены результаты ранжирования факторов (вместе с их весовыми коэффициентами). Совпадение мнений экспертов оценивается коэффициентом конкордации:
где S – сумма квадратов отклонений суммы рангов фактора от средней суммы рангов по всем факторам;
n – количество экспертов (n=7 – количество групп опрошенных);
Tj – оценка «связанных» факторов, 
u – число групп, образованных факторами одинакового ранга;
число одинаковых рангов в u-й группе j-го ранжирования.
В соответствии с таблицей 2, средняя сумма рангов факторов (16,5+158 + 80 + … + 141)/23 = 1987/23 = 86,4. Тогда: S = (16,5 – 86,4)2 + (158 – 86,4)2 + … + (141 – 86,4)2 = 35212. По всем группам коллективных экспертов имеются «связанные» факторы с одинаковой величиной ранга. Например, студенты 1-го курса бакалавриата имеют u=6 групп со связанными рангами (табл. 2): три раза tu=2 (факторы 7, 17; 11, 16; 18, 23), tu=4 (факторы 3, 10, 15, 21), tu=6 (факторы 1, 5, 6, 9, 13, 22). Тогда Т3 = [3(23 – 2) + (43 – 4) + (63 – 6)]/12 = 24. Аналогично определены другие Tj (
Окончательно имеем:
Уже этот результат свидетельствует о хорошей согласованности результатов анкетирования по различным группам опрошенных (при полном совпадении мнений W=1,0; при полном разногласии W=0). Но дополнительно оценим статистическую значимость коэффициента конкордации критерием согласия К. Пирсона (
Для этого определим расчетное значение 
Табличное значение 
(при 5%-ном уровне значимости и 22 степенях свободы). Так как 
то мнения экспертов можно считать согласованными и построить диаграмму рангов. На рисунке 1 представлена диаграмма рангов в виде удельного веса каждого фактора.
Для этого использованы отношения разности наименее влияющего фактора (имеющего наибольшую сумму рангов, равную 163,5) и рассматриваемого к сумме этих разностей по всем факторам.
По диаграмме можно выделить три группы факторов:
- сильно влияющие – 1, 5–9, 13, 14;
- средне влияющие – 3, 10, 12, 15, 17–22;
- слабо влияющие – 2, 4, 11, 16, 23.
Деление на группы факторов осуществлено относительно средней величины рангов рассмотренных факторов (1 : 24 = 0,042). В первую группу отнесены факторы с величиной ранга, существенно большей средней, во вторую – с величиной ранга в районе средней, и в третью – с наименьшей величиной ранга. Управление первой группой факторов в значительной степени связано с материальными затратами (квалифицированные преподаватели, материальное (в том числе компьютерное) оснащение аудиторий и лабораторий, учебники центральных издательств и тексты лекций по дисциплинам) и совершенствованием основных форм занятий: аудиторные лекции и практические занятия. Вторая группа факторов в большей степени связана с организацией процесса обучения (воспитательная работа со студентом; организация учебно-производственных практик, курсового проектирования и домашних практических заданий; регулярные устные опросы, собеседования, текущий контроль; организация научно-исследовательской работы преподавателя и студента). Третья группа факторов свидетельствует о слабой организации работы по соответствующим факторам. Если рассмотреть усредненные весовые коэффициенты (табл. 2), то видно, что при их использовании происходит существенное усреднение величины коэффициентов (по сравнению с их величинами в опрошенных группах). Диапазон изменения коэффициента уменьшился, и происходит выравнивание в степени влияния факторов. Поэтому диаграмма рангов более наглядно выделяет степень влияния факторов.
Диаграмма рангов факторов качества:
1 – сильно влияющие факторы; 2 – средне влияющие факторы;
3 – слабо влияющие факторы
Некоторые комментарии к полученным результатам были даны выше. Теперь можно сделать окончательное заключение и выводы. По мнению опрашиваемых, наиболее важным для качества образования является, прежде всего, качество преподавательского состава. Для успешного усвоения материала необходимы качественное материальное оснащение учебных классов и лабораторий и необходимое количество учебников центральных издательств и текстов лекций, соответствующих учебным планам.
Из наименее влияющих факторов о роли родителей и обслуживающего персонала было сказано выше. Низкая оценка периодических изданий связана, по всей видимости, с недостаточным их количеством для удобного использования и неумением студента работать с ними, а также с недостаточной организацией работы со стороны преподавателя. Низкая оценка роли самостоятельной работы студента (как и высокой роли преподавателя) – ожидаемый результат, своеобразный тест. Эта работа требует со стороны студента больше усилий и времени (по сравнению с аудиторными занятиями) и хорошей методической и издательской обеспеченности, чего, по всей видимости, пока недостаточно. Конкурсы и олимпиады по дисциплинам представляют интерес для хорошо подготовленных студентов, желающих проверить свою подготовку. Таких студентов относительно немного, поэтому результат этого фактора понятен.
Выводы
Результаты проведенного анализа позволяют сделать следующие выводы.
1. Важнейшим в качестве образования является кадровый вопрос. Поэтому желательна организация системы оценки и стимулирования уровня педагогической активности преподавателя. Для повышения уровня самосознания студента по его месту и роли в процессе обучения необходима соответствующая разъяснительная работа. Организация работы обслуживающего персонала нуждается в улучшении и, прежде всего, в повышении его квалификации.
2. Важное место в подготовке образовательного процесса должны занимать организация и материальное оснащение специализированных аудиторий и лабораторий.
3. Планирование приобретения учебников центральных издательств и организация издания текстов лекций, учебных и учебно-методических пособий по дисциплинам – один из путей повышения качества образования. Целенаправленная деятельность в этом направлении невозможна без единой планирующей службы.
4. На первых курсах обучения рационально привлекать родителей студентов – как воспитателей самостоятельности у студента. Для этого желательно проводить встречу руководства института с родителями первокурсников.