Введение
Переход к новой версии Закона об образовании расширяет возможности по конкурентоспособности отечественных высших учебных заведений [4, 7]. Обучение студентов по совместных образовательных программ с другими зарубежными университетами, развитие международной академической мобильности для студентов и преподавателей вузов становится доступным благодаря введению сетевой формы реализации образовательных программ.
При использовании такой новой формы всегда возникает вопрос, как оценить эффективность сетевой образовательной программы
Национальный исследовательский ядерный университет «МИФИ» (НИЯУ МИФИ), как университет, победивший в открытом конкурсе на получение государственной поддержки для повышения своей конкурентоспособности и вхождения к 2020 г. в сто лучших университетов мира [5], приступил к активному формированию нормативно-методической базы для реализации образовательных программ в сетевой форме.
В этой связи, разработка методики выявления наличия и оценки эффективности и результативности применения сетевых форм реализации образовательных программ является особо актуальным с точки зрения повышения конкурентоспособности не только НИЯУ МИФИ, но и всего отечественного высшего образования.
Понятия «эффективность» и «результативность»
В современной литературе существует различие между понятиями «эффективность» и «результативность»[4]. В самом общем виде эти различия формулируются следующим образом:
- результативность отражает степень достижения запланированного результата;
- эффективность показывает отношение полученных результатов кзатратам времени, финансовых идругих ресурсов для их достижения.
Как правило, для оценки подобных понятий используются экпертно-аналитические методы. В этом случае, аналитическим путем, на основе системного анализа, выявляется наборпоказателей, с помощью которого может проводится оценивание какого-либо свойства, вырабатывается система шкал оценивания и сами критерии оценки.
Экспертным путем находится согласованные оценки по значимости (весу) каждого показателя, определяются пороговые допустимые значения для показателей, формируется итоговая целевая функция для оценки.
Анализ, выбор и обоснование экспертно–аналитических методов оценки эффективности и результативности применения сетевых форм реализации образовательных программ
Оценка результативности образовательной программы включает анализ достижения плановых значений показателей образовательного процесса. Для этого используется количественная методика оценки, которая включает:
- оценку результативности выполнения плана работ по качеству реализации программы.
- оценку результативности достижения целей программы.
Оценка результативности достижения целей образовательной программы позволит определить действия, необходимые для планирования улучшений, корректирующих либо предупреждающих действий для повышения качества образовательных услуг и достижения целей.
Если в основе оценки результативности образовательной программы лежит набор индикаторов, значение которых оценивается по двоичной шкале [0,1], то результативность выполнения плана работ по реализации сетевой образовательной программы может быть оценена по формуле:
где:
n - количество целевых индикаторов;
xi - планируемое значение i-го целевого индикатора;
xфактi- фактическая количественная оценка i-го целевого индикатора.
Более сложным является вопрос оценки эффективности. Попытаемся исследовать понятие исуществующие экспертно-аналитические методы оценки эффективности. В табл. 1 приведены различные определения понятия эффективности
Табл. 1. Определение понятия эффективности
|
Источник |
Понятие эффективности |
|
ГОСТ Р ИСО 9000-2008 |
связь между достигнутым результатом ииспользованными ресурсами |
|
Терминологический словарь вобласти управления качеством ВПО иСПО |
· степень реализации запланированной деятельности идостижения запланированы результатов · связь между достигнутым результатом и использованными ресурсами |
|
Современный экономический словарь |
· относительный эффект, результативность процесса, операции, проекта, определяемые как отношение эффекта, результата кзатратам, расходам, обусловившим, обеспечившим его получение По эффектом понимается достигаемый результат вего материальном, денежном, социальном выражении |
|
Большая советская энциклопедия |
экономическая эффективность - отношение между получаемыми результатами производства (продукцией иматериальными услугами), содной стороны, изатратами труда исредств производства – с другой |
|
Большой экономический словарь |
· результативность процесса, операции, проекта, определяемая как отношение эффекта, результата кзатратам, обусловившим его получение |
|
Экономика иправо: словарь-справочник |
· результативность процесса, операции, проекта, определяемая как отношение эффекта, результата кзатратам, обусловившим его получение |
Таким образом,под эффективностьюпонимается характеристика качества системы сточки зрения соотношения затрат ирезультатов ее функционирования.
Рассмотрим наиболее часто используемые методов оценки эффективности, представленные в [1], и возможности их дальнейшего использования к оценке сетевой формы реализации образовательных программ.
1. Оценка эффективности программы может быть проведена на основе выгод от ее внедрения, сертификации и функционирования. В этом случае проводится качественное сравнение запланированных и достигнутых результатов и исследование базируется на оценках представителей университета, которые носят субъективный характер и могут быть умышленно искажены.
2. Определение эффективности программы возможно на основе установления причинно-следственной связи между внедрением программы и экономическими показателями деятельности организации. В этом случае экономическая эффективность может определена, как разность между результатами и затратами или как отношение между этими величинами. Другой метод возможность вычислить эффективность как разность затрат до и после внедрения какого-либо мероприятия или набора мероприятий. В любом случае, такой подход является ограниченным, так как получение экономической выгоды не является основой деятельности для государственных учебных заведений.
3. Третья группа методов дает возможность оценить эффективность образовательной программы на основе индекса удовлетворенности потребителей. В рамках такого исследования выявляется эмпирическая взаимосвязь удовлетворенности потребителя иэкономических показателей деятельности организации. В данном случае проводится сбор данных удовлетворенности потребителей образовательных услуг университета, на основе которых может быть проведенаоценка эффективности сетевой образовательной программы. Нам представляется, что подобные исследования имеют чрезмерно узкий характер и могут оценить лишь один из аспектов реализации сетевых образовательных программ.
4. Оценка эффективности сетевых образовательныхпрограмм возможна на основе анализа добавленной стоимости (ДС). В этом случае проводится анализ деятельности и бизнес-процессов вуза сцелью определения размера стоимости, добавляемой врезультате совершения определенных операций ипроцессов, атакже полезности услуг по отношению ких потребителям. ДС может рассчитываться как отношение добавленной бизнес-процессом ценности для конечного потребителя к добавленной этим жебизнес-процессом стоимости для конечного потребителя.
5. К пятой группе методов относится оценка эффективности на основе сбалансированной системы показателей (ССП).Использование ССП дает возможность оценить эффективность сетевой образовательной программы для разных заинтересованных сторон: влияния на финансовые показатели деятельности организации, удовлетворенность потребителей, влияние на качество подготовки выпускников.
Исследование существующих методов оценки эффективности образовательных программ, позволяет сделать вывод отом, что наиболее предпочтительным подходом при оценке эффективности образовательной программы является метод на основе ССП, который дает возможность контролировать текущее состояние истратегическое развитие данного вида образовательных услуг.
Для выбора показателей и построения из них сбалансированной системы можно использовать многокритериальной оптимизации - метод анализа иерархий (МАИ)Т. Саати [6], который хорошо зарекомендовал себя в самых разных областях [2, 3]. МАИ дает возможность сформировать иерархию показателей, определить шкалы и критерии оценки результативности и эффективности, определит значимость (вес) каждого показателя.
Система показателей, шкалы и критерии оценки эффективности и результативности реализации образовательных программ в сетевой форме
По результатам проведенного анализа методов оценки результативности и особенностей сетевой формы реализации образовательных программ была сформирована следующая иерархияукрупненных групп показателейдля оценки результативности и эффективности (рис. 1).
Рис. 1. Иерархия укрупненных групп показателей для оценки результативности и эффективности сетевых образовательных программ
В данном случае, при выделении показателей были учтены факторы, влияющие на качество подготовки кадров высшего профессионального образования в части:
- подготовки квалифицированных кадров для приоритетных секторов отраслевой и региональной экономики и рынка труда;
- повышения качества образовательных программ по приоритетным направлениям отраслевого, межотраслевого и регионального развития в соответствии с международными стандартами;
- развития прикладных исследований для нужд предприятий отрасли и региона.
Оценка результативности
По результатам проведенного анализа особенностей сетевых образовательных программ была сформирована следующая иерархия показателей и индикаторов.На верхнем уровне иерархии всего две группы укрупненных целевых индикаторов и показателей.
- Достижение целей реализации сетевых программ
- Оценка качества реализации программ.
В состав этих двух групп входят показатели и индикаторы, представленные на рис. 2.
Рис. 2. Показатели и индикаторы для оценки результативности
Шкалы и значимость индикаторов и показателей оценки, полученные с помощью экспертных оценок и согласованные между собой, приведены в табл. 2.
Табл. 2.Иерархическая система показателей для оценки результативности сетевых образовательных программ
|
Показатели |
Критерии оценки |
Шкала:показателя |
Вес |
|
ДОСТИЖЕНИЕ ЦЕЛЕЙ РЕАЛИЗАЦИИ СЕТЕВЫХ ПРОГРАММ |
|
50 |
0,5 |
|
I. Подготовка кадров с уникальными компетенциями. |
|
20 |
0,2 |
|
1. Наличие документально подтвержденной потребности в подготовке кадров на стыке дисциплин по перспективным направлениям (заказ органов федеральной и региональной власти, отрасли, договоры о целевой подготовке для предприятий и др.). |
Да/нет [0, 1] |
10/0 |
0,005 |
|
2. Наличие уникальной научной школы в организации-партнере по сетевому взаимодействию. |
Да/нет [0, 1] |
10/0 |
0,005 |
|
3. Наличие в организации-партнере по сетевому взаимодействию, уникального оборудования, необходимого для подготовки специалистов. |
Да/нет [0, 1] |
10/0 |
0,005 |
|
4. Наличие учебно-методических материалов, ориентированных на подготовку и оценку дополнительных к ФГОС уникальных компетенций. |
Да/нет [0, 1] |
10/0 |
0,005 |
|
II. Подготовка кадров в соответствии с программами развития предприятий, отраслей, объединений работодателей |
|
20 |
0, 1 |
|
1. Наличие целевого заказа от предприятий, отраслей, ведомств и организаций-партнеров на подготовку специалистов по сетевой программе. |
Да/нет [0, 1] |
10/0 |
0,05 |
|
2. Наличие программы развития предприятия, организации, отрасли, в рамках которой предусмотрена подготовка кадров организациями-партнерами. |
Да/нет [0, 1] |
5/0 |
0,025 |
|
3. Наличие учебно-методических материалов (программ), ориентированных на совместную с предприятием-партнером подготовку (лекции, семинары, практические и лабораторные занятия) по сетевым образовательным программам. |
Да/нет [0, 1] |
5/0 |
0,025 |
|
III. Необходимость совместного использования современного (дорогостоящего) оборудования и иных ресурсов |
|
20 |
0, 1 |
|
1. Наличие образовательной программы, предполагающей использование при подготовке специалистов дорогостоящего оборудования, приобретение и обслуживание которого образовательной организацией самостоятельно невозможно или неэффективно. |
Да/нет [0, 1] |
10/0 |
0,05 |
|
2. Предусмотренная образовательной программой необходимость использования крупных культурных центров, лабораторий, полигонов (природных территорий) для качественной подготовки кадров, привлечения специалистов соответствующих организаций для реализации образовательного процесса. |
Да/нет [0, 1] |
10/0 |
0,05 |
|
IV. Подготовка кадров в соответствии с программами международного образовательного сотрудничества. |
|
20 |
0,1 |
|
1. Наличие соглашения с зарубежным университетом (колледжем, научным центром и т.д.) о совместной реализации программ. |
Да/нет [0, 1] |
10/0 |
0,05 |
|
2. Наличие международных соглашений о совместной подготовке кадров для предприятий и организаций, находящихся за рубежом. |
Да/нет [0, 1] |
10/0 |
0, 5 |
|
V. Количественные характеристики |
|
20 |
|
|
1. Доля уникальных компетенций, приобретаемых выпускником сетевой образовательной программы в общем количестве компетенций ООП, %. |
до 6 до 10 до 15 до 20 20 и более |
1 2 3 4 5 |
0,05 |
|
2. Доля выпускников сетевой образовательной программы, трудоустроенных по профилю в течение года после выпуска, %. |
более 50 более 60 более 70 более 80 более 90 |
1 2 3 4 5 |
0,05 |
|
3. Доля студентов, обучающихся по сетевой образовательной программе, принимающих участие в научных и инновационных проектах, %. |
более 50 более 60 более 70 более 80 более 90 |
1 2 3 4 5 |
0,05 |
|
4. Доля студентов, обучающихся по сетевой образовательной программе, имеющих повышенные стипендии, гранты и иные общественно признанные достижения, %. |
более 10 более 20 более 30 более 40 более 50 |
1 2 3 4 5 |
0,05 |
|
|
|
|
|
|
ОЦЕНКА КАЧЕСТВА РЕАЛИЗАЦИИ ПРОГРАММ |
|
50 |
0,5 |
|
I. Соблюдение государственных требований, предъявляемых к образовательным программам |
|
20 |
|
|
1. Соответствие сетевой образовательной программы федеральным государственным образовательным стандартам (ФГОС). |
Да/нет [0, 1] |
* 1 или 0 |
-- |
|
2. Соответствие сетевой образовательной программы образовательным стандартам, устанавливаемым образовательной организацией самостоятельно. |
Да/нет [0, 1] |
20/0 |
0,1 |
|
II. Нормативное обеспечение |
|
30 |
0,15 |
|
1. Наличие договора о сетевом взаимодействии организаций -партнеров в рамках образовательной программы. |
Да/нет [0, 1] |
* |
??? |
|
2. Наличие ООП (включая учебные планы, отражающие распределение ответственности), утвержденной всеми организациями-партнерами сетевого обучения. |
Да/нет [0, 1] |
30/0 (с учетом качества) |
0,15 |
|
III. Общественная профессиональная оценка |
|
50 |
0,25 |
|
1. Наличие профессионально-общественной аккредитации образовательной программы |
Да/нет [0, 1] |
25/0 |
0,125 |
|
2. Наличие сертификации квалификаций выпускников. |
Да/нет [0, 1] |
25/0 |
0,125 |
* при отсутствии сетевая программа не реализуется, критический индикатор
Целевая функция оценивания результативности, с учетом значимости каждого из показателей, может быть сформирована следующим образом.
Результативность выполнения плана работ по достижению целей программы и требуемому уровню качества может быть оценена по формуле:
где:
n - количество целевых показателя;
wi – вес i-го целевого показателя;
xк – фактическое значение критического показателя «Наличие договора о сетевом взаимодействии организаций -партнеров в рамках образовательной программы»;
xi- планируемое значение i-го целевого показателя;
xфактi- фактическая количественная оценка i-го целевого показателя.
Если значение результативности равно 0- образовательная программа реализоваться не может.
Максимальное значение целевой функции равно 1,8, это означает, что все показатели сетевой программы выполнены, а показатели группы «Количественные характеристики» перевыполнены.
Для принятия решения о результативности образовательной программы в качестве решающего правила можно использовать математический метод деления отрезка пополам. Тогда по полученному значению целевой функции можно выделить категории сетевых образовательных программ, представленных в табл.3.
Табл. 3. Решающее правила для оценки результативности сетевых образовательных программ
|
Категория |
Значение целевой функции |
Управленческое решение |
|
Результативная программа |
Не менее 0,75 |
Признать результативной |
|
Результативная с замечаниями |
Не менее, чем 0,5, но менее 0,75 |
Дляпринятие окончательного решения требуется дополнительное рассмотрение |
|
Нерезультативная программа |
Менее 0,50 |
Признать нерезультативной |
Оценка эффективности
По результатам проведения анализа понятия эффективность и особенностей сетевой формы реализации образовательных программ была сформирована иерархия показателей, представленная на рис.3.
Рис. 3. Группы показателей для оценки эффективности
Более подробно шкалы и значимость индикаторов оценки, полученные с помощью экспертных оценок и согласованные между собой, приведены в табл. 4.
Табл. 4.Иерархическая система показателей для оценки эффективности сетевых образовательных программ
|
Оценка эффективности реализации программ |
Критерии |
Шкала |
Вес |
|
|
|
|
|
|
I. Востребованность сетевых образовательных у потребителей |
|
40 |
0,4 |
|
1. Ежегодная потребность в специалистах, обучающихся по сетевой программе, подтвержденная заказом предприятий, отрасли и др. (количество человек) |
до 5 до 10 до 20 до 30 до 50 50 и более |
0 1 2 3 4 5 |
0,08 |
|
2. Количество соглашений между образовательной организацией и предприятиями на подготовку специалистов по сетевой образовательной программе |
0 1 2 3 4 5 и более |
0 1 2 3 4 5 |
0,04 |
|
3. Количество обучающихся по сетевой образовательной программе по заказу предприятий |
до 10 до 20 до 40 до 60 до 100 100 и более |
0 1 2 3 4 5 |
0,04 |
|
4. Конкурс при приеме на сетевую образовательную программу |
более 1 более 2 более 3 более 4 более 5 |
1 2 3 4 5 |
0,08 |
|
5. Средний балл ЕГЭ для поступивших на сетевую программу (средний балл диплома бакалавра/специалиста для поступивших в магистратуру, приведенный к 100) |
более 50 более 60 более 70 более 80 более 90 |
1 2 3 4 5 |
0,08 |
|
6. Доля софинансирования в общих затратах на сетевую образовательную программу, % |
5 и более 10 и более 20 и более 30 и более 40 и более |
1 2 3 4 5 |
0,08 |
|
II. Эффективность использования сетевых ресурсов. |
|
40 |
0,4 |
|
1. Доля зачетных единиц, реализующихся при участии организаций-партнеров сетевого взаимодействия (%) |
1 и более 2 и более 3 и более 4 и более 5 и более 10 и более 15 и более 20 и более 25 и более 30 и более |
1 2 3 4 5 6 7 8 9 10 |
0,1 |
|
2. Доля зачетных единиц, реализующихся с использованием лабораторного оборудования организаций-партнеров сетевого взаимодействия (%) |
0,5 и более 1 и более 1,5 и более 2 и более 2,5 и более 5 и более 7,5 и более 10 и более 12,5 и более 15 и более |
1 2 3 4 5 6 7 8 9 10 |
0,1 |
|
3. Доля привлеченных преподавателей из организаций-партнеров сетевого взаимодействия к общему числу преподавателей данной ООП (%) |
5 и более 10 и более 20 и более 30 и более 40 и более |
1 2 3 4 5 |
0,1 |
|
4. Количество участвующих в программе ведущих ученых - представителей ведущих научных школ организаций-партнеров, академиков, лауреатов премий и т.д. |
1 и более 2 и более 3 и более 4 и более 5 и более |
1 2 3 4 5 |
0,1 |
|
III. Существенное повышение качества подготовки |
|
20 |
0,2 |
|
1. Доля (%) преподавателей, имеющих научную степень, привлекаемых к реализации сетевой образовательной программы из организаций-партнеров в общем объеме |
1 и более 2 и более 3 и более 4 и более 5 и более 6 и более 8 и более 10 и более 15 и более 20 и более |
1 2 3 4 5 6 7 8 9 10 |
0,1 |
|
2. Доля задействованного в учебном процессе лабораторного оборудования, предоставленного организациями-партнерами сетевого взаимодействия, % |
до 5 до 10 до 20 до 30 до 50 50 и более |
0 1 2 3 4 5 |
0,05 |
|
3. Доля учебно-методических комплексов дисциплин, модернизированных при участии организаций-партнеров сетевого взаимодействия, %. |
до 5 до 10 до 20 до 30 до 50 50 и более |
0 1 2 3 4 5 |
0,05 |
Целевая функция оценивания эффективности, с учетом значимости каждого из показателей, может быть сформирована следующим образом.Эффективность реализации программы в сетевой форме оцениваетсяпо формуле:
где:
n - количество целевых показателей;
wi – вес i-го целевого показателя;
xi - планируемое значение i-го целевого показателя;
xфактi- фактическая количественная оценка i-го целевого показателя.
Если значение целевой функции равно 0, то образовательная программа реализоваться не может.
Если значение целевой функции меньше 1, то фактические значения наиболее весомых показателей отстают от плана. В этом случае, нужно определить допустимо возможный диапазон отставания. Экспертным путем эта граница была установлена, как 20%.
Если значение целевой функции больше или равно 1, это означает, что может быть два случая:все показатели сетевой программы выполнены и часть перевыполнена или перевыполненное значение некоторых показателей компенсирует невыполнение других.
Во втором случае необходимо определить максимально допустимое отклонение от планового значения показателя в случае невыполнения. Экспертным путем этот разрыв был установлен в 25%.
Для принятия решения об эффективности образовательной программы можно использовать сложное решающее правило, представленное в табл. 5.
Табл. 5. Решающее правила для оценки эффективности сетевых образовательных программ
|
Категория |
Основное условие –значение целевой функции |
Дополнительные условия |
Управленческое решение |
|
Эффективная сетевая программа |
Не менее 1 |
для каждого показателя |
Признать эффективной |
|
Эффективная сетевая программа с замечаниями |
Не менее 1 |
|
Требуется дополнительное рассмотрение
|
|
Недостаточно эффективная сетевая программа |
Не менее 1 |
|
Требуется применения антикризисных мер |
|
Менее 1, но более 0,8 |
Не существенно |
Требуется применения антикризисных мер |
|
|
Неэффективная сетевая программа |
Менее 0, 8 |
Не существенно |
Признать неэффективной |
Для ряда показателей
Заключение
Таким образом, суммируя вышесказанное, можно утверждать, что в качестве подхода к комплексной оценке таких понятий, как «результативность» и «эффективность» сетевых образовательных программ, наиболее предпочтительна сбалансированная система показателей.
На основе сбалансированной системы показателей разработана методика оценки, включающая в себя иерархическую систему показателей, включающая в себя критерии шкалу оценки для каждого показателя, значимость показателей и целевые функции оценки результативности и эффективности сетевых образовательных программ. Предложены два решающих правила для принятия решения о признании конкретной образовательной программыэффективной и результативной.
Предложенная методика ориентирована на то, чтобы совместная реализация сетевых образовательных программ с крупными научно-исследовательскими организациями, медицинскими организациями, организациями культуры, физкультурно-спортивными и т.д., ведущими отечественными и зарубежными университетами, стала общей практикой для российских высших учебных заведений.
Работа выполнена при поддержке Федеральной целевой программы развития образования на 2011 – 2015годы
Рецензенты:
Духанина Л.Н., д.п.н., профессор, заведующая кафедрой педагогики и методики естественнонаучного образования, Национальный исследовательский ядерный университет «МИФИ», г. Москва.
Путилов А.В., д.т.н., профессор, декан факультета управления и экономики высоких технологий, Национальный исследовательский ядерный университет «МИФИ», г. Москва.
Библиографическая ссылка
Гусева А.И., Весна Е.Б. ОЦЕНКА РЕЗУЛЬТАТИВНОСТИ И ЭФФЕКТИВНОСТИ СЕТЕВЫХ ОБРАЗОВАТЕЛЬНЫХ ПРОГРАММ // Современные проблемы науки и образования. – 2013. – № 6. ;URL: https://science-education.ru/ru/article/view?id=11000 (дата обращения: 16.04.2024).