Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

EXPERIENCE IN IMPLEMENTING THE RATING OF EDUCATIONAL ACHIEVEMENTS OF STUDENTS ON THE FACULTIES OF MEDICAL UNIVERSITY

Ivanova I.V. 1 Ershikov S.M. 1
1 FSBEI HE "Yaroslavl State Medical University"
An important part of the new educational technologies is a rating system for assessing academic achievements. The rating system is a method of assessing student performance, in which the final grade for a given discipline takes into account not only the result of the exam, but also a complex of all current student performance indicators. Student rating is a quantitative characteristic that allows differentiated compare the levels of educational achievements of various students among themselves. Rating technology makes it possible to assess the student's progress not only in certain disciplines, but also during the whole period of study. The article presents the main stages of the introduction of the rating system in the educational process at Yaroslavl State Medical University (YSMU). The purpose of this work is to develop a methodology for calculating the annual rating of students and its approbation at YSMU. The annual student rating is a weighted average of all student grade points obtained during an intermediate attestation in all disciplines during the academic year. The annual rating of students of all courses enrolled in «General Medicine» and «Pediatrics» for the 2015/16 and 2016/17 academic years was calculated, then the rating points were recalculated into the traditional grading scale. The results obtained are generally comparable with international criteria for assessing the quality of training. The differences in the level of training of students of different specialties, especially noticeable for the first years of study, were revealed. The possible causes of the discrepancies were analyzed. The ways of further development of the rating system at the university were determined: more complete informing of students about their rating, regular revision of the set of assessment tools for knowledge control, improvement of the procedure for entering information on academic performance into the database and its subsequent processing.
quality of education
rating system
knowledge control
weighted average
faculty rating
medical education

В современных условиях функционирования системы менеджмента качества образовательного процесса в вузе становится необходимым использование в учебном процессе новых образовательных технологий, активизирующих самостоятельную работу студентов, повышающих их учебную мотивацию. Важной составной частью таких образовательных технологий в настоящее время является рейтинговая система оценки учебных достижений [1–3].

Под рейтинговой (балльно-рейтинговой) системой оценки учебных достижений обучающихся понимают комплексную систему поэтапной оценки уровня освоения образовательных программ по специальностям (направлениям подготовки) высшего образования с использованием модульного принципа организации образовательного процесса. В ходе изучения дисциплины осуществляются систематизированный текущий контроль знаний обучающихся по каждому дисциплинарному модулю и промежуточная аттестация (ПА) по дисциплине в целом. Сумма баллов, полученных обучающимся при всех формах контроля, соотнесенная с максимальным количеством баллов, которые можно набрать по дисциплине в целом, составляет его итоговый рейтинг, который может быть конвертирован в традиционную аттестационную оценку, выставляемую в зачетную книжку. Таким образом, рейтинговая система – это такой метод оценивания успеваемости, при котором итоговая оценка по данной дисциплине учитывает не только результат сдачи экзамена, но и комплекс всех текущих показателей работы обучающихся [4, 5]. При этом рейтинг студента является количественной характеристикой, позволяющей дифференцированно сравнивать уровень учебных достижений различных обучающихся между собой.

Однозначность правил начисления баллов и прозрачность процедуры оценивания дают возможность студенту систематически отслеживать свой текущий рейтинг и стремиться улучшить конечный результат за счет более тщательной подготовки к контрольным мероприятиям [6]. Необходимость объективизировать оценку суммарной деятельности обучающихся побуждает преподавателей уделять больше внимания качеству используемых оценочных средств [4]. Использование балльно-рейтинговой системы позволяет оценить уровень сформированности компетенций будущего специалиста [7, 8]. В зарубежной литературе [9] подобный метод оценки описан под названием «непрерывное оценивание» (continuous assessment) [10].

Внедрение рейтинговой системы в нашем вузе началось в 1990-х гг. на уровне отдельных кафедр [11, 12]. В этот период была отработана технология рейтинговой оценки знаний студентов, преодолено скептическое отношение ряда сотрудников вуза к данному нововведению. Важную роль в становлении рейтинговой системы на кафедрах сыграла компьютеризация учебного процесса, что позволило минимизировать временные и трудовые затраты преподавателей, связанные с расчетом рейтинговых баллов и оформлением рейтинг-листов [12].

На следующем этапе происходил процесс создания единых подходов к разработке рейтинговой системы на всех кафедрах, которые были закреплены в общевузовском Положении о рейтинговой системе учебных достижений обучающихся, утвержденном Ученым Советом университета. В дальнейшем, когда рейтинговая система стала функционировать на всех кафедрах университета, представилась возможность формирования единого общефакультетского рейтинга для каждого обучающегося.  

Цель исследования: разработка методики расчета ежегодного факультетского рейтинга и ее апробация в Ярославском государственном медицинском университете (ЯГМУ).

Материал и методы исследования. На основании Положения о рейтинговой системе учебных достижений обучающихся по образовательным программам высшего образования – программам бакалавриата и программам специалитета, действующего в ЯГМУ с сентября 2015 г., кафедры разрабатывают правила формирования рейтинговой оценки по каждой преподаваемой дисциплине, которые закрепляются в кафедральном Положении о рейтинговой оценке. В этом документе устанавливаются количество точек контроля, максимальное число рейтинговых баллов, которое может набрать студент за каждую контрольную процедуру, включая ПА, а также максимально возможная сумма баллов по дисциплине в целом. При этом максимумы баллов, набранных в ходе ПА и набранных при контроле текущей успеваемости и рубежном контроле, должны соотноситься как 40:60 для экзаменационной формы аттестации или как 20:80 для зачетной. Отношение итоговой суммы баллов, набранных студентом, к максимальной сумме баллов по дисциплине представляет собой его кафедральный рейтинг (КР). Этот показатель рассчитывается с точностью до двух значащих цифр и находится в пределах от нуля до единицы.

Важным является вопрос о преобразовании рейтинговой оценки в традиционную пятибалльную шкалу, которая в настоящее время используется в высших учебных заведениях Российской Федерации. Для пересчета рейтинговых баллов в традиционные в ЯГМУ руководствуются критериями (табл. 1), применяемыми в университетах стран Европы [13].

Таблица 1

Шкала перевода значений рейтинговой оценки студентов в традиционную аттестационную оценку и рекомендуемое соотношение оценок студентов при аттестации [14, с.108 – 109]

Значение рейтинговой оценки

Международная буквенная оценка

Традиционная аттестационная оценка

Рекомендации ECTS (% студентов с указанной оценкой)

0,91 и выше

A (отлично)

Отлично

10

0,84–0,90

B (очень хорошо)

Хорошо

25

0,74–0,83

C (хорошо)

30

0,68–0,73

D (удовлетворительно)

Удовлетворительно

25

0,61–0,67

E (посредственно)

10

0,60 и ниже

F (неудовлетворительно)

Неудовлетворительно

0

Примечание: ECTS – European Credit Transfer System, Европейская система перевода и накопления кредитов.

КР обучающегося по дисциплине, полученный при ПА, вносится в аттестационную ведомость наряду с соответствующей аттестационной оценкой. В случае получения неудовлетворительной оценки, недопуска или неявки на процедуру ПА в ведомость КР не выставляется. Необходимо особо отметить, что выставление рейтинговых оценок и расчет кафедрой КР производятся и в тех случаях, когда процедура ПА осуществляется в форме зачета. Это значит, что кафедры, выставляющие аттестационную оценку «зачтено», также должны будут выдавать дифференцированную оценку по каждому студенту [5].

Аттестационные ведомости передаются в деканат факультета как на бумажном носителе, так и в электронной форме через систему электронного документооборота ЯГМУ. Информация из электронной версии аттестационных ведомостей аккумулируется в базе данных «Успеваемость» на сервере университета. Эта информация используется в дальнейшем для расчета ежегодного факультетского рейтинга обучающихся.

Ежегодный факультетский рейтинг (ФР) студента представляет собой средневзвешенный показатель всех значений КР, полученных при ПА в течение учебного года. В качестве весовых коэффициентов используется количество зачетных единиц трудоемкости по данной дисциплине (ТД), установленное Федеральным государственным образовательным стандартом. Значение ежегодного факультетского рейтинга (в пределах от 0 до 1) рассчитывается как отношение суммы произведений КР и количества ТД для дисциплин, изученных в течение учебного года, к сумме ТД по всем изученным дисциплинам [14, с. 112]:

где КР1, КР2, … КРn – значения кафедрального рейтинга студента по дисциплинам, ТД1, ТД2, … ТДn – число зачетных единиц трудоемкости для этих дисциплин. Аналогичным образом может быть рассчитан рейтинг студента и за весь период обучения [15].

Таким образом, базовые дисциплины, на изучение которых отводится большое число академических часов и, следовательно, характеризующиеся более высоким значением ТД, вносят наиболее значимый вклад в формирование показателя ФР. Чем выше величина значения КР студента по всем дисциплинам в течение учебного года, тем выше значение его ФР. При наличии у студента академической задолженности по какой-либо дисциплине его показатель КР´ТД по данной дисциплине обнуляется, что приводит к снижению величины ФР студента. При наличии большого числа задолженностей у студента его показатель ФР будет приближаться к нулю.

Для оценки результативности внедрения рейтинговой системы в ЯГМУ на факультетском уровне был выполнен расчет годового рейтинга студентов IVI курсов, обучающихся по специальностям «Лечебное дело» и «Педиатрия» за 2015/2016 и 2016/2017 учебные годы. Показатели успеваемости по дисциплинам базовой и вариативной частей ООП подготовки специалиста были взяты по состоянию на момент окончания летней экзаменационной сессии (без учета последующих пересдач). Анализ рейтинговых списков проводился согласно методике, описанной в работе [13]. Из процедуры анализа были исключены студенты, у которых значение ФР не превышало 0,60, т.е. соответствовало неудовлетворительной оценке. Для оставшихся выборок определялись медиана, минимальное и максимальное значения, интерквартильный размах, характеризующий разброс значений выборки. Для определения статистических показателей использовано программное обеспечение MS Excel 2016 и Statistica 10. Результаты исследования представлены в таблицах 2 и 3.

Результаты исследования и их обсуждение. Как показывают представленные данные, границы интерквартильного размаха, включающие центральные 50%-ные выборки, в большинстве случаев находятся в пределах интервала, соответствующего оценке «хорошо» (табл. 1). Это свидетельствует о том, что большинство студентов на каждом курсе показывают хорошие знания по большинству дисциплин в ходе ПА. Исключение составляют показатели для младших курсов педиатрического факультета, где нижняя граница интерквартильного размаха попадает в область удовлетворительных оценок, что может быть связано с более низким базовым уровнем подготовки поступающих на этот факультет. Но для старших курсов различия разброса выборок для обоих факультетов незначительны, что указывает на выравнивание уровня подготовки обучающихся.

Таблица 2

Показатели успешности студентов лечебного факультета в соответствии с рейтинговой системой ЯГМУ

Факультет

Лечебный

Курс

I курс

II курс

III курс

IV курс

V курс

VI курс

Учебный год

2015/2016

2016/2017

2015/2016

2016/2017

2015/2016

2016/2017

2015/2016

2016/2017

2015/2016

2016/2017

2015/2016

2016/2017

Количество студентов

321

339

292

309

266

254

264

263

240

256

264

239

ФР более 0,60

271

(84,4%)

300

(88,5%)

212

(72,6%)

224

(72,5%)

224

(84,2%)

197

(77,6%)

217

(82,2%)

228

(86,7%)

226

(94,2%)

235

(91,8%)

264

(100%)

239

(100%)

в том числе:

 

 

 

 

 

 

 

 

 

 

 

 

0,91–1,00

4,1%

7,3%

9,9%

11,6%

12,5%

10,7%

4,1%

2,2%

13,3%

1,7%

16,7%

10,5%

0,84–0,90

25,1%

29,7%

22,6%

22,8%

31,3%

23,4%

17,1%

15,4%

45,1%

34,0%

47,0%

47,7%

0,74–0,83

46,9%

42,3%

42,0%

42,9%

38,4%

44,7%

55,3%

53,5%

35,4%

50,2%

31,4%

36,4%

0,68–0,73

18,1%

11,0%

13,7%

12,5%

10,3%

10,7%

14,7%

21,5%

4,9%

8,5%

4,5%

5,0%

0,61–0,67

5,9%

9,7%

11,8%

10,3%

7,6%

10,7%

8,8%

7,5%

1,3%

5,5%

0,4%

0,4%

Медиана

0,79

0,81

0,79

0,79

0,82

0,80

0,79

0,78

0,85

0,81

0,86

0,85

Интерквартильный

размах

0,74–0,85

0,75–0,86

0,73–0,86

0,74–0,86

0,76–0,87

0,75–0,85

0,74–0,83

0,73–0,82

0,80–0,89

0,77–0,85

0,81–0,89

0,81–0,88

Минимум

0,61

0,61

0,61

0,61

0,61

0,61

0,61

0,61

0,61

0,61

0,67

0,66

Максимум

0,96

0,97

0,97

0,97

0,97

0,96

0,94

0,95

0,94

0,92

0,98

0,94

 

Таблица 3

Показатели успешности студентов педиатрического факультета в соответствии с рейтинговой системой ЯГМУ

Факультет

Педиатрический

Курс

I курс

II курс

III курс

IV курс

V курс

VI курс

Учебный год

2015/2016

2016/2017

2015/2016

2016/2017

2015/2016

2016/2017

2015/2016

2016/2017

2015/2016

2016/2017

2015/2016

2016/2017

Количество студентов

153

160

161

145

144

134

133

145

107

128

123

105

ФР более 0,60

126 (82,4%)

133 (83,1%)

109 (67,7%)

88 (60,7%)

119 (82,6%)

106 (79,1%)

116 (87,2%)

136 (93,8%)

94 (87,9%)

117 (91,4%)

123 (100%)

105 (100%)

в том числе:

 

 

 

 

 

 

 

 

 

 

 

 

0,91–1,00

4,8%

2,3%

1,8%

8,0%

2,5%

0,9%

3,4%

3,7%

3,2%

0,9%

7,3%

5,7%

0,84–0,90

18,3%

23,3%

11,0%

27,3%

20,2%

20,8%

18,1%

22,8%

28,7%

21,4%

46,3%

35,2%

0,74–0,83

40,5%

39,1%

42,2%

42,0%

51,3%

52,8%

53,4%

58,8%

54,3%

55,6%

35,8%

41,9%

0,68–0,73

19,8%

19,5%

29,4%

12,5%

15,1%

14,2%

16,4%

8,8%

9,6%

14,5%

1,6%

11,4%

0,61–0,67

16,7%

15,8%

15,6%

10,2%

10,9%

11,3%

8,6%

5,9%

4,3%

7,7%

8,9%

5,7%

Медиана

0,77

0,78

0,75

0,80

0,79

0,77

0,78

0,81

0,81

0,79

0,84

0,82

Интерквартильный

размах

0,71–0,83

0,71–0,83

0,69–0,80

0,74–0,86

0,73–0,83

0,73–0,83

0,71–0,83

0,76–0,84

0,77–0,85

0,74–0,83

0,80–0,87

0,77–0,86

Минимум

0,62

0,61

0,61

0,62

0,61

0,62

0,63

0,62

0,63

0,63

0,61

0,65

Максимум

0,95

0,94

0,97

0,96

0,93

0,95

0,95

0,95

0,92

0,93

0,95

0,92

 

Обращает на себя внимание также то, что доля оценок «удовлетворительно» на курсе (особенно лечебного факультета) в большинстве случаев ниже рекомендуемого ECTS уровня. Но здесь нужно иметь в виду, что количество этих оценок может увеличиться в результате ликвидации академической задолженности студентами, не учитываемыми при анализе распределения показателей ФР.

Более низкой оказывается с точки зрения рекомендаций ECTS и доля студентов, ФР которых соответствует оценке «отлично». Этот показатель ниже, чем процент отличных оценок на экзамене по отдельным дисциплинам. Такой результат может быть связан с тем, что показатели КР студентов по дисциплинам, завершающимся зачетом, ниже, чем экзаменационные, в силу устоявшегося менее ответственного отношения к таким дисциплинам.

Заключение. Таким образом, внедрение системы рейтинговой оценки учебных достижений на уровне факультетов является важным звеном управления качеством подготовки специалистов. Данная система позволяет обеспечить наличие совместимых (международных) объективных и дифференцированных критериев оценки качества учебных достижений, учитывает как трудоемкость дисциплин, так и успешность усвоения учебной программы.

Основными мерами дальнейшего развития системы факультетского рейтинга учебных достижений, на наш взгляд, могут служить:

1) более полное информирование студентов об их рейтинге, механизме формирования рейтинговой оценки, вкладе различных дисциплин, публикация рейтинговых списков на информационном стенде деканата факультета, а также на корпоративном интернет-портале университета. Это будет способствовать более ответственному отношению студентов к подготовке к контрольным мероприятиям;

2) совершенствование процедуры промежуточной аттестации, регулярный пересмотр фонда оценочных средств с целью установления более точного соответствия рейтинговых баллов студентов, получаемых в процессе освоения учебной программы, их реальным знаниям и умениям;

3) совершенствование процедуры внесения информации с аттестационных ведомостей и листов в базу данных «Успеваемость» и ее последующей обработки, что позволит максимально автоматизировать процесс подготовки рейтинговых списков.