Сетевое издание

Современные проблемы науки и образования

ISSN 2070-7428

"Перечень" ВАК

ИФ РИНЦ = 1,006

• Авторы
• Резюме
• Файлы
• Ключевые слова
• Литература

Арефьев В.П. 1, 1 Михальчук А.А. 1 Филипенко Н.М. 1

---

1 ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет»

Проведен непараметрический дисперсионный анализ качества заочного технического образования на основе экзаменационных результатов трех семестров по высшей математике в зависимости от классиче-ской и дистанционной сетевой модели организации заочного обучения на примере Института дистанци-онного образования Томского политехнического университета. В сравнительном анализе участвовали основные две выборки экзаменационных результатов студентов: 1) обучавшихся по классической форме обучения с использованием кейс-технологии (КТ) все три семестра и 2) обучавшихся по сетевой техноло-гии обучения с использованием современных дистанционных образовательных технологий (ДОТ) в те-чение 2-го и 3-го семестров и по классической форме в течение 5-го семестра. По основным пунктам про-веденного исследования на основании непараметрического дисперсионного анализа сделаны выводы: сильно значимое различие (0,00005< р < 0,001) между ДОТ и КТ в экзаменационных результатах, усред-ненных по 2-му и 3-му семестрам, дальнейшие отрицательные динамики (сравнение экзаменационных результатов, усредненных по 2-му и 3-му семестрам, с 5-ым), высоко значимая для ДОТ и слабо значимая для КТ, приведшие к незначимому (на уровне значимости р > 0,10) различию между ДОТ и КТ в 5-ом семестре. Обсуждаются причины значимых различий между ДОТ и КТ и способы их устранения. Резуль-таты проведенного дисперсионного анализа могут быть учтены в рамках проходящей реформы высшего образования.

Статья в формате PDF

193 KB

заочное образование

дистанционные образовательные технологии

дисперсионный анализ

1. Акерман Е. Н. , Михальчук А. А. , Трифонов А. Ю. Дисперсионный анализ качества мно-гопрофильного потенциального экономического образования // Современные проблемы науки и образования. – 2012 – №. 6; URL: http://www.science-education.ru/106-7850 (дата об-ращения: 21.12.2012).

2. Арефьев В. П., Михальчук А. А., Болтовский Д. В., Арефьев П.В. Дисперсионный ана-лиз результатов усвоения математических знаний в техническом вузе // Открытое и дистан-ционное образование. – 2011. – № 1. – С. 43–50.

3. Киреев М. Л., Алексеенко И. А. Оценка эффективности заочного инженерно-технического образования взрослых на основе методов педагогических измерений // Человек и образование. – 2010. – № 1. – С. 106–110.

4. Лазутин С. Б. Новые информационные технологии в системе дистанционного обучения // Вестник Тамбовского университета. Серия: Естественные и технические науки. – 2012. – Т. 17. – № 1. – С. 161–164.

5. Медведева С. Н., Тутубалин П. И. Информационные технологии контроля и оценки зна-ний в системе дистанционного обучения Мoodle // Образовательные технологии и общество (Educational Technology & Society). – 2012. – Т. 15. – № 1. – С. 555–566.

6. Образование в ТПУ: итоги 2011/12 учебного года / под ред. А. И. Чучалина, М. А. Соло-вьева. – Томск: Изд-во ТПУ, 2012. – 356 с.

7. Резниченко Н. С., Таптыгина Е. В., Морозова Т. Д. Сравнительный анализ качества ди-станционного обучения студентов // Сибирское медицинское обозрение. – 2011. – Т. 70. – № 4. – С. 99–103.

8. Смехнова Г. П. Профессиональная подготовка студентов по заочной форме обучения в контексте реформы высшего образования // Профессиональное образование в современном мире. – 2012. – № 4. – С. 63–67.

9. Староверова Н. А. Проблемы заочного обучения в сфере профессионального образова-ния // Вестник Казанского технологического университета. – 2012. – Т. 15. – № 23. – С. 237–239.

10. Хузиахметов А. Н., Насибуллов Р. Р. Учебная деятельность студентов вуза в условиях дистанционного образования // Высшее образование в России. – 2012. – № 4. – С. 98–102.

Среди проблем инновационной модернизации современного высшего заочного образования [8–10] особенно активно обсуждается внедрение современных информационных образовательных интернет-технологий в организацию заочного обучения, совершенствование содержания учебного процесса и контроля знаний [4–5]. Сегодня самым современным и перспективным средством технологической поддержки дистанционного обучения являются сетевые интернет-технологии в форме сервера дистанционного обучения, обеспечивающего интерактивную среду управления процессом познавательной деятельности, связь с учащимися через интернет, в том числе в режиме реального времени, и доступ к современным информационно-коммуникационным ресурсам. Такие сетевые интернет-технологии вытесняют в последнее время другие формы технологий, в частности, традиционную классическую кейс-технологию.

В Томском политехническом университете (ТПУ) [6] начиная с 2008 г. в учебном процессе применяются элементы телекоммуникационной и сетевой технологий (on-line трансляция лекций в режиме live-video, вебинары, on-line тестирования студентов, образовательные форумы). Использование информационно-коммуникационных технологий способствовало введению в современный процесс обучения для части студентов-заочников первого курса новой формы обучения, использующей современные дистанционные образовательные технологии (ДОТ) на платформе обучающей электронной среды Moodle, позволяющей студенту активно взаимодействовать с преподавателем через интернет. При этом для обучения большей части студентов-заочников продолжала применяться классическая форма обучения с использованием кейс-технологии (КТ), предполагавшей преимущественно самостоятельную работу студента с комплексом учебно-методических материалов по дисциплине. Таким образом, в переходный период в Институте дистанционного образования ТПУ были реализованы две модели организации заочного обучения по техническим направлениям: КТ, в рамках которой экзаменационные сессии проходили традиционно в Томске, и ДОТ, в рамках которой сессии проходили через интернет посредством on-line тестирования. Студенты технических направлений, обучавшиеся первые два курса в рамках модели ДОТ, начиная с 3-го курса, были переведены на КТ модель организации заочного обучения. Данное обстоятельство позволило провести сравнительный статистический анализ (аналогично [1–3, 7]) качества успеваемости студентов разных заочных форм обучения (ЗФО). В статистическом анализе использованы экзаменационные результаты (в 100-балльной шкале, приведенной к 5-балльной шкале) по высшей математике II, III и V семестров (ЭКЗII, ЭКЗIII и ЭКЗV) студентов-заочников Энергетического института ТПУ. Отдельной выборкой оформлены экзаменационные результаты студентов, академически восстановленных (АВ) до V-го семестра. Для сравнения динамики экзаменационных результатов (ЭКЗII, ЭКЗIII и ЭКЗV) в зависимости от ЗФО (КТ, ДОТ и АВ) введен 3-х уровневый фактор ЭКЗ (ЭКЗII, ЭКЗIII и ЭКЗV) повторных измерений и применен однофакторный (3-х уровневый фактор ЗФО) дисперсионный анализ с 3-х уровневым фактором ЭКЗ повторных измерений.

Заметим, что, согласно теории измерительных шкал, балльная шкала относится к типу порядковых шкал, позволяющих ранжировать (упорядочить) результаты оценивания качества усвоения знаний студентов. Поэтому в балльной шкале оперирование средним баллом является некорректным, а обоснованным является использование медиан вместо средних баллов. В связи с этим для сравнения рассматриваемых выборок предлагается использовать ранговые (непараметрические) критерии, основанные на рангах, а не на средних значениях.

Для каждой выборки взаимодействия факторов ЗФО*ЭКЗ кроме объема n рассчитаны числовые непараметрические характеристики: медиана Ме, минимум Мин, максимум Макс, нижняя квартиль (25 % процентиль) и верхняя квартиль (75% процентиль), приведенные в табл. 1.

Таблица 1. Числовые характеристики выборок ЗФО*ЭКЗ

Применение непараметрического (рангового) дисперсионного анализа Фридмана с повторными измерениями позволило оценить различия между результатами ЭКЗII, ЭКЗIII и ЭКЗV по их совокупности, то есть динамику экзаменационных результатов, для ДОТ (взаимодействие ДОТ*ЭКЗ) как высоко значимые (на уровне значимости р < 0,00005) , а для КТ (КТ*ЭКЗ) или АВ (АВ*ЭКЗ) как незначимые (на уровне значимости р > 0,10). Заметим для сравнения, что в случае КТ результаты ЭКЗV и ЭКЗIII различаются согласно парному непараметрическому критерию Вилкоксона слабо незначимо (на уровне значимости р ≈ 0,12 > 0,10). При этом согласно парным непараметрическим критериям знаков и Вилкоксона для зависимых выборок в случае ДОТ результаты ЭКЗV отличаются как от ЭКЗII, так и от ЭКЗIII высоко значимо (на уровне значимости р < 0,00005), а ЭКЗII и ЭКЗIII различаются статистически значимо (на уровне 0,001 < р < 0,05). Последнее различие (нестабильность ЭКЗII и ЭКЗIII в случае ДОТ) можно объяснить, по-видимому, в значительной степени несовершенством технического обеспечения процесса проведения и оформления результатов новой формы обучения ДОТ на начальном этапе ее внедрения в учебный процесс. С другой стороны, в рамках однофакторного дисперсионного анализа независимых выборок с помощью непараметрического критерия Краскела-Уоллиса можно оценить различия между экзаменационными результаты разных ЗФО (КТ, ДОТ и АВ) как незначимые (р > 0,10) в случае ЭКЗV (ЗФО*ЭКЗV), как статистически значимые (на уровне 0,001 < р < 0,05) в случае ЭКЗII (ЗФО*ЭКЗII) за счет различий между КТ*ЭКЗII (или АВ*ЭКЗII) и ДОТ*ЭКЗII и, наконец, как сильно значимые (на уровне 0,00005 < р < 0,001) в случае ЭКЗIII (ЗФО*ЭКЗIII) за счет различий между КТ*ЭКЗIII (или АВ*ЭКЗIII) и ДОТ*ЭКЗIII. Графические числовые непараметрические характеристики (диаграммы размаха) выборок экзаменационных результатов разных ЗФО представлены на рис. 1.

Рис. 1. Медианные диаграммы размаха выборок экзаменационных результатов ЗФО*ЭКЗ

Обозначения: метки «квадрат», «ромб», «треугольник» - медианы; метка «круг» – выбросы; ящик – квартильный размах (25 % – 75 %); отрезки – размах без выбросов

Полученные результаты оценки значимости различий разных выборок взаимодействия факторов ЗФО*ЭКЗ, а также дополнительные обстоятельства однородности отдельных выборок взаимодействия факторов ЗФО*ЭКЗ, позволяют сократить их количество.

С одной стороны, не значимость (на основании непараметрического дисперсионного анализа Фридмана с повторными измерениями) различия динамик экзаменационных результатов (ЭКЗII, ЭКЗIII и ЭКЗV) для КТ и АВ, а также близость выборки АВ по форме обучения к КТ, допускает возможность объединить две выборки АВ и КТ в одну выборку АВ+КТ.

С другой стороны, учитывая однородность экзаменационных результатов ЗФО*ЭКЗII и ЗФО*ЭКЗIII в смысле форм обучения, а также выше полученные результаты оценки значимости различий ЭКЗII и ЭКЗIII для разных ЗФО (ДОТ и КТ), можно вместо двух выборок ЗФО*ЭКЗII и ЗФО*ЭКЗIII рассмотреть одну выборку ЗФО*ЭКЗII+III, построенную усреднением экзаменационных результатов ЗФО*ЭКЗII и ЗФО*ЭКЗIII .

Таким образом, речь идет о сравнении выборок взаимодействия 2-х уровневого фактора экзаменационных результатов ЭКЗ2 (ЭКЗII+III и ЭКЗV) повторных измерений с 2-х уровневым фактором ЗФО2 форм обучения (ДОТ и АВ+КТ), то есть об оценивании различия динамики экзаменационных результатов (сравнение ЭКЗII+III с ЭКЗV) для разных форм обучения (ДОТ и АВ+КТ). Диаграммы размаха выборок экзаменационных результатов ЭКЗ2 разных форм обучения ЗФО2 представлены на рис. 2.

Рис. 2. Медианные диаграммы размаха выборок экзаменационных результатов ЗФО2*ЭКЗ2

Обозначения: метки «ромб», «треугольник» – медианы; метка «круг» – выбросы; ящик – квартильный размах (25 % – 75 %); отрезки – размах без выбросов

На основании дисперсионного анализа Фридмана различия между результатами ЭКЗII+III и ЭКЗV оценены как высоко значимые (р < 0,00005) в случае ДОТ и как незначимые (р ≈0,25 > 0,10) для АВ+КТ. С другой стороны, на основании критерия Краскела-Уоллиса различия между экзаменационными результатами разных форм обучения ДОТ и АВ+КТ оценены как незначимые (р > 0,10) в случае ЭКЗV и как сильно значимые (0,00005 < р ≈ 0,0005 < 0,001) в случае ЭКЗII+III .

Таким образом, на основании непараметрического дисперсионного анализа экзаменационных результатов трех семестров по высшей математике в зависимости от формы заочного обучения сделаны следующие выводы: сильно значимое различие (0,00005< р < 0,001) между ДОТ и КТ в экзаменационных результатах, усредненных по 2-му и 3-му семестрам, в результате дальнейшей отрицательной динамики (сравнение экзаменационных результатов, усредненных по 2-му и 3-му семестрам, с 5-ым), высоко значимой для ДОТ и не значимой для КТ, привело к незначимому (р > 0,10) различию между ДОТ и КТ в 5-ом семестре.

В связи с аномально высокими экзаменационными результатами ДОТ в 3-ем семестре можно заметить, что стадия оценивания усвоенных студентом знаний при дистанционном обучении с использованием информационных образовательных интернет-технологий может иметь специфический нюанс идентификации студента: преподаватель должен быть уверен, что на другом конце телекоммуникационной цепочки находится именно тот человек, который претендует на получение не только определенных знаний, но и документа (диплома, свидетельства, удостоверения, сертификата) об освоении соответствующей образовательной программы [4]. При дистанционном обучении стадия оценивания качества учебных достижений студентов («Контроль и оценка») в определенном смысле является центральной. Здесь очень важен вопрос о защите данных и средствах идентификации студента, не допускающих подмену и искажение результатов тестирования. В случае дистанционного обучения эти трудности могут быть преодолены за счет проведения контрольных испытаний студента в специально оборудованных учебных помещениях либо в присутствии лиц, находящихся в полном доверии у преподавателя и администрации учебного центра [4], либо в режиме видеотелефонной связи через интернет посредством Skype. Альтернативой может быть проведение экзаменационного контроля заключительного этапа дистанционного изучения дисциплины в классической форме, позволяющей преподавателю-экзаменатору оценить достигнутый студентом уровень усвоения материала посредством экзамена в письменной форме под контролем преподавателя с обязательным собеседованием.

Одной из значимых составляющих ДОТ является система тестирования в среде дистанционного обучения Moodle [5]. Она должна обеспечивать текущий контроль знаний, а на завершающей стадии дать объективную оценку знаний студента, на основании которой происходит выдача сертификатов, дипломов и пр. К сожалению, качество формы самих контрольно-измерительных тестовых материалов, технического обеспечения процесса проведения и оформления результатов тестирования оставляет желать лучшего, требует постоянного совершенствования, что ограничивает применение системы тестирования рамками текущего контроля знаний и, в лучшем случае, базового итогового контроля знаний (на уровне «зачтено – не зачтено»).

Немаловажным обстоятельством на стадии «Контроль и оценка» является оптимизация рейтинговой системы оценивания разных составляющих (вебинары, рубежный тестовый контроль, индивидуальные домашние задания) процесса дистанционного обучения.

В целом же, совершенствование ДОТ должно быть направлено на приближение дистанционное образование к апробированному столетиями традиционному очному, на использование Интернета и других систем передачи данных для обеспечения возможности непосредственного общения преподавателя со студентом, на совершенствование системы управления самостоятельной деятельностью студентов-заочников в семестре и модернизации методики проведения итогового контроля.

Реализация инновационных ДОТ должна решить ряд существенных проблем, связанных с разработкой, а также техническим и программным сопровождением принципиально новой методики преподавания, учитывающей особенности данного вида коммуникации и обеспечивающей проведение всех форм занятий для удаленной аудитории. К таким проблемам относятся, прежде всего, организация в режиме реального времени (on-line) видеоконференцсвязи при чтении лекций с возможностью текущего опроса, проведение интерактивных занятий в компьютерном классе удаленной аудитории, позволяющее в режиме реального времени управлять работой студентов на компьютерах, проведение различных форм контроля (в том числе и итогового) в режиме реального времени.

Результаты проведенного статистического анализа классической и сетевой дистанционной моделей организации заочного обучения могут быть учтены в рамках проходящей реформы высшего образования.

Выводы

1. В рамках дисперсионного анализа экзаменационных результатов студентов-заочников, обучавшихся по классической КТ и дистанционной сетевой ДОТ формам, выявлено сильно значимое различие (0,00005< р < 0,001) между ДОТ и КТ в экзаменационных результатах, усредненных по 2-му и 3-му семестрам, которое в ходе дальнейшей отрицательной динамики (сравнение экзаменационных результатов, усредненных по 2-му и 3-му семестрам, с 5-ым), высоко значимой для ДОТ и не значимой для КТ, привело к незначимому (на уровне значимости р > 0,10) различию между ДОТ и КТ в 5-ом семестре.

2. Предложены способы устранения значимых различий между ДОТ и КТ в рамках проходящей реформы высшего образования.

Работа выполнена в рамках государственного задания «Наука» № 1.604.2011 и поддержана ФЦП «Научные и научно-педагогические кадры инновационной России» по контрактам П691.

Рецензенты:

Трифонов Андрей Юрьевич, д-р физ.-мат. наук, профессор кафедры высшей математики и математической физики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.

Арефьев Константин Петрович, д-р физ.-мат. наук, профессор кафедры высшей математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.

Библиографическая ссылка