Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,931

THE CLUSTER ANALYSIS OF OUTCOMES OF THE ESTIMATION OF KNOWLEDGE IN SYSTEM OF CORRESPONDENCE COURSE WITH USE OF DISTANT EDUCA-TIONAL PROCESS ENGINEERINGS

Arefev V.P. 1 Mikhalchuk A.A. 1 Filipenko N.M. 1
1 National Research Tomsk Polytechnic University
Проведен кластерный анализ качества заочного технического образования на основе экзаменационных результатов четвертого семестра по высшей математике при дистанционной сетевой модели организации заочного обучения на примере Института дистанционного образования Томского политехнического университета. Кроме экзаменационных результатов (ЭКЗ – набранные баллы за тест-экзамен в режиме online), в анализе использованы еще два показателя: DT – разность моментов окончания и начала экза-мена и ИДЗ – набранные баллы за 4 индивидуальных домашних задания. В рамках кластерного анализа методом K-средних получена 10-кластерная высококачественная модель результатов оценивания знаний по высшей математике, различающая высоко значимо 10 кластеров не только по совокупности показа-телей DT, ЭКЗ, ИДЗ, но и по каждому показателю. В рамках дисперсионного анализа выделены для каж-дого показателя однородные (различающиеся незначимо) группы кластеров. Проведена качественная классификация результатов оценивания знаний по высшей математике в номинальной шкале измере-ний, детальным образом прописывающая структуру результатов оценивания усвоенных студентом зна-ний при заочной форме обучения с использованием современных дистанционных образовательных тех-нологий (ДОТ). Результаты подобной кластеризации результатов оценивания знаний могут быть учтены при внедрении современных информационных образовательных интернет-технологий в организацию заочного обучения для обеспечения качества образования и контроля знаний.
The cluster analysis of quality of correspondence technical education on the basis of examination outcomes of the fourth semester on higher mathematics is carried out at distant network model of the organisation of corre-spondence education on an example of Institute of distant formation of Tomsk polytechnic university. Except examination outcomes (EX - the collected points for test examination in a condition on-line) in the analysis are used two more indicator: DT - a difference of the moments of the termination and the beginning of examination and IHW - the collected points for 4 individual home works. Within the limits of the cluster analysis the method of K-averages receives 10 cluster high-quality model of outcomes of an estimation of knowledge on the higher mathematics, 10 clusters distinguishing highly significantly not only on a population of indicators DT, EX, IHW, but also on each indicator. Within the limits of an analysis of variance are selected for each indicator homogene-ous (differing not significant) groups of clusters. Qualitative classification of outcomes of an estimation of knowledge by higher mathematics in a nominal dial of the measurements, in detail registering structure of out-comes of an estimation of the knowledge acquired by the student is spent at correspondence form of study with use of modern distant educational technologies (DET). Outcomes similar classification outcomes of an estimation of knowledge can be considered at introduction modern informational educational the Internet - technologies in the organisation of correspondence course for security of quality of formation and control of knowledge.
correspondence education.
distant educational technologies
analysis of variance
cluster analysis

Особенностью современного этапа развития системы высшего заочного образования является внедрение современных информационных образовательных интернет-технологий в организацию заочного обучения [6; 10]. При обучении с использованием дистанционных образовательных технологий (ДОТ) актуальными являются вопросы обеспечения качества образования и контроля знаний [3; 7; 9]. Одним из основных методов контроля знаний при дистанционном обучении является тестирование, эффективность результатов которого во многом определяется качеством тестовых заданий [4; 5].

В Томском политехническом университете последние 5 лет применяется форма заочного обучения с использованием ДОТ. В данной работе проведен кластерный анализ (аналогично [1; 2; 8]) результатов оценивания знаний по высшей математике (выборка ЭНИН4) в объеме 4-го семестра (дифференциальные уравнения, ряды, комплексный анализ, операционный метод) студентов Энергетического института. Рассмотрение проведено в системе 3-х переменных (рис. 1):

DT – разность моментов окончания и начала экзамена (в минутах),

ЭКЗ – набранные баллы за тест-экзамен в режиме online (из 40 – max),

ИДЗ – набранные баллы за 4 индивидуальных домашних задания (из 60 – max).

Рис. 1. Диаграммы рассеяния с гистограммами переменных выборки ЭНИН4

Из 130 участвовавших «неуд» (баллы ЭКЗ < 22) получили 25,4%, то есть каждый четвертый.

Особенностью полученных результатов является выделение многочисленной аномальной группы получивших положительный экзаменационный результат за минимальное время. Установленный рекорд составляет DT = 5 мин. Оказывается, что для пятой части (20%, рис. 2) сдавших для выполнения и оформления положительной экзаменационной работы по высшей математике достаточно было не более 20 минут из выделенных 3 часов.

Рис. 2. Гистограмма DT по всем сдавшим ЭКЗ (97 студ.)

Выявленное аномальное обстоятельство лишний раз подчеркивает несовершенство стадии оценивания усвоенных студентом знаний при дистанционном обучении с использованием информационных образовательных интернет-технологий, создающее проблему идентификации студента: преподаватель должен быть уверен, что на другом конце телекоммуникационной цепочки находится именно тот человек, который претендует на получение не только определенных знаний, но и документа (диплома, свидетельства, удостоверения, сертификата) об освоении соответствующей образовательной программы [3; 6].

В данной работе на базе данных выборки ЭНИН4 проведен кластерный анализ результатов оценивания знаний по высшей математике в абсолютной и стандартизированной шкалах.

В рамках кластерного анализа методом K-средних, проводящим классификацию объектов по заданному количеству кластеров, получена 10-кластерная высококачественная модель результатов оценивания знаний по высшей математике (рис. 3), различающая 10 кластеров по совокупности показателей DT, ЭКЗ, ИДЗ высоко значимо (на уровне значимости р < 0,00005) согласно λ-критерию Уилкса.

Рис. 3. Диаграмма рассеяния кластерных средних в системе {DT, ЭКЗ, ИДЗ}

При этом согласно параметрическому F-критерию (табл. 1), ранговому критерию Краскела-Уоллиса и медианному тесту высоко значимо (на уровне значимости р < 0,00005) различаются 10 кластеров также по каждому показателю.

Таблица 1. Результаты дисперсионного анализа качества кластеризации в системе {DT, ЭКЗ, ИДЗ}

Рассчитанные средние значения показателей по каждому кластеру представлены в табл. 2 в абсолютной и стандартизированной шкалах.

Таблица 2. Кластерные средние m в системе {DT, ЭКЗ, ИДЗ}

Кластер

Абсолютная шкала

Объем

кластера

Стандартизированная шкала

DT

ЭКЗ

ИДЗ

DT

ЭКЗ

ИДЗ

К1

99,00

18,94

30,00

3

0,28

-1,01

-1,03

К2

91,29

29,61

52,71

17

0,15

0,85

0,46

К3

123,25

23,66

52,58

12

0,71

-0,19

0,45

К4

153,77

30,95

56,69

13

1,24

1,09

0,72

К5

25,48

27,75

47,93

29

-1,00

0,53

0,14

К6

28,48

20,66

49,70

23

-0,94

-0,71

0,26

К7

158,07

25,95

46,87

15

1,31

0,21

0,07

К8

41,00

8,72

18,20

5

-0,73

-2,79

-1,81

К9

149,40

13,39

53,40

5

1,16

-1,98

0,50

К10

88,25

23,49

0,00

8

0,10

-0,22

-3,00

ЭНИН4

82,69

24,72

45,75

130

0,00

0,00

0,00

Для наглядного оценивания значимости различий кластерных средних по показателям построены их линейные графики на рис. 4.

Рис. 4. Линейные графики кластерных средних в системе {DT, ЭКЗ, ИДЗ} по стандартизированной шкале

В рамках дисперсионного анализа можно выделить для каждого показателя однородные (различающиеся незначимо, то есть на уровне значимости р > 0,10) группы кластеров, расположенные в порядке убывания кластерных средних:

  • DT: {К7, К4, К9}, {К3, К1}, {К1, К2, К10}, {К8, К6, К5}.
  • ЭКЗ: {К4, К2}, {К5}, {К7}, {К3, К10}, {К6, К1}, {К9}, {К8}.
  • ИДЗ: {К4, К9, К2, К3}, {К9, К2, К3, К6}, {К6, К5, К7}, {К1}, {К8}, {К10}.

Полученные результаты кластерного анализа (рис. 4 и табл. 2) позволяют провести качественную классификацию результатов оценивания знаний по высшей математике (выборка ЭНИН4) в номинальной шкале измерений (табл. 3), полагая при этом в качестве уровня «средний» - стандартизированный интервал (-0,5; +0,5) для показателей. Аномально высокие значения (> +1,5) определяют уровень «Лидер», а аномально низкие значения (< -1,5) определяют уровень «Аутсайдер». Промежуточные значения между средними и аномальными определяют уровень «выше среднего» и «ниже среднего» соответственно.

Таблица 3. Качественная классификация результатов оценивания знаний по высшей математике (выборка ЭНИН4)

Кластер

Характеристика уровня кластера

на фоне среднего по показателю

DT

ЭКЗ

ИДЗ

К1

Средний

Ниже среднего

Ниже среднего

К2

Средний

Выше среднего

Средний

К3

Выше среднего

Средний

Средний

К4

Выше среднего

Выше среднего

Выше среднего

К5

Ниже среднего

Выше среднего –Средний

Средний

К6

Ниже среднего

Ниже среднего

Средний

К7

Выше среднего

Средний

Средний

К8

Ниже среднего

Аутсайдер

Аутсайдер

К9

Выше среднего

Аутсайдер

Выше среднего –Средний

К10

Средний

Средний

Аутсайдер

Согласно рис. 4 и табл. 2-3, кластерная модель результатов оценивания знаний по высшей математике имеет спектральную структуру. Даже среди не сдавших экзамен (баллы ЭКЗ < 22) выделяются разные кластеры, значимо различающиеся по DT и ИДЗ: 8 условно допущенных (не сдавших все ИДЗ) имеют разное DT (mDT ≈ 40 для К8 и mDT ≈ 100 для К1) и 28 допущенных с разным DT (mDT ≈ 30 для К6 и mDT ≈ 150 для К9). Зона риска (mЭКЗ < 24) представлена двумя кластерами, разительно отличающимися по ИДЗ (mИДЗ = 0 для К10 и mИДЗ ≈ 53 для К3). Остальные 4 кластера допущенных и сдавших в разной степени успешно экзамен разнятся в большей степени значением DT: от «тугодумов» (mDT ≈ 160 для К7) до «легкодумов» (mDT ≈ 25 для К5). Одним из последних 29 (К5) является вышеотмеченный рекордсмен с DT = 5 мин. Связанную с этим аномальным обстоятельством проблему идентификации студента мы уже отметили.

Другой острой проблемой оценивания усвоенных студентом знаний при дистанционном обучении с использованием информационных образовательных интернет-технологий является чрезмерное увлечение автоматизацией итогового контроля знаний обучаемых в условиях несовершенства содержания и формы тестовых заданий: сдачи зачетов и экзаменов в форме компьютерного тестирования практически без участия преподавателя в оценивании полученных знаний.

Выводы

1. Получена 10-кластерная высококачественная модель результатов оценивания знаний по высшей математике, различающая высоко значимо 10 кластеров не только по совокупности показателей DT, ЭКЗ, ИДЗ, но и по каждому показателю.

2. В рамках дисперсионного анализа выделены для каждого показателя однородные (различающиеся незначимо) группы кластеров.

3. Проведена качественная классификацию результатов оценивания знаний по высшей математике в номинальной шкале измерений, детальным образом прописывающая структуру результатов оценивания усвоенных студентом знаний при дистанционном обучении с использованием информационных образовательных интернет-технологий.

4. Результаты подобной кластеризации результатов оценивания знаний могут быть учтены при внедрении современных информационных образовательных интернет-технологий в организацию заочного обучения для обеспечения качества образования и контроля знаний.

Работа выполнена в рамках государственного задания «Наука» № 1.604.2011 и поддержана ФЦП «Научные и научно-педагогические кадры инновационной России» по контрактам П691.

Рецензенты:

Трифонов Андрей Юрьевич, д.ф.-м.н., профессор кафедры высшей математики и математической физики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.

Арефьев Константин Петрович, д.ф.-м.н., профессор кафедры высшей математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.