Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

ASSESSMENT OF THE FUTURE SPECIALISTS’ LEVEL OF PROFESSIONAL COMPETENCE FORMATION BY MEANS OF AN ADAPTIVE LEARNING SYSTEM

Zakharova M.A. 1 Dorokhova O.E. 2
1 FGBOU IN "Yelets State University I.A. Bunin"
2 Federal State Educational Institution «Moscow Suvorov Military School of the Ministry of Defense of the Russian Federation»
The article is devoted to the problem of complex assessment of the level of professional competences (PC) formation regulated by the Federal state educational standard of the corresponding course using the adaptive learning system that allows to simplify the procedure of development and making decision in the process of automated learning. Alongside with, knowledge models (which are the base of information systems using ontologies (Ontology-Driven Information Systems, ODIS)) are proposed as a basis for designing the structure of an adaptive learning system. Using the knowledge about the student, adaptive information competence-oriented environment allows to create an individual educational trajectory, represented as a subset of the training courses graph elements involved in the formation of professional competence related to intellectual assessment with the current level of the student’s PC formation, that can be decomposed to competence-oriented tasks of different complexity. In accordance with the multidimensional model of professional competence three criteria as indicators of professional competence formation are used: cognitive, hermeneutic and activity criteria, that are differentiated relative to unsatisfactory, low, medium and high levels of PC formation. The paper examines the procedure for assessing the students’ level of professional competencies formation in the process of mastering the discipline; also a fragment of decomposition of professional competence to competence-oriented tasks included in the test block ‘Understanding’ is given (the variations of the task complexity are determined by its form and certain amount of information necessary for its solution).
professional
competence
adaptive
learning
system
ontologies
competence-oriented
task

На сегодняшний день одним из приоритетных направлений модернизации высшего образования является его информатизация. Нами предполагается, что данный процесс позволит успешно обеспечить эффективное формирование профессиональных компетенций и их оценку с учетом индивидуальных особенностей обучающихся.

Цель исследования

Согласно Федеральному закону от 29.12.2012 № 273-ФЗ «Об образовании в Российской Федерации» и в соответствии с требованиями федеральных государственных образовательных стандартов высшего образования в учреждениях, осуществляющих образовательную деятельность, одним из компонентов образовательного процесса является функционирование электронной информационно-образовательной среды, представляющей собой совокупность телекоммуникационных, информационных технологий, технологических средств, которые в совокупности обеспечивают освоение обучающимися образовательных программ в удаленном режиме [1].

Целью данного исследования является анализ процедуры комплексной оценки профессиональных компетенций, регламентированных федеральным государственным образовательным стандартом соответствующего направления, с использованием средств адаптивной обучающей системы, рассматриваемой нами как составляющая электронной информационно-образовательной среды вуза, адаптированная под цели обучающихся, с учетом их способностей, предпочтений и уровня сформированности профессиональных компетенций.

Материал и методы исследования

Используя знания об обучающемся, анализируя ответы в тестовых работах, стратегиях и сфере обучения, АдапОС (адаптивная обучающая система) планирует последовательность учебного курса обучения и оказывает интерактивную поддержку в решении задач. На основании этого в структуру адаптивной обучающей системы должны быть включены средства, позволяющие получить консультации, ввести лексику по избранной предметной области, осуществить контроль знаний и сгенерировать комплексную оценку сформированности профессиональных компетенций будущих специалистов.

Основой онтологического проектирования структуры модели знаний адаптивной обучающей системы служат онтологические модели, являющиеся базой информационных систем, функционирующих на онтологиях (Ontology-Driven Information Systems, ODIS). ODIS имеют возможность: создать единый терминологический словарь предметной области; построить таксономию (иерархию) понятий, характеризующих данную предметную область; оптимизировать поиск и навигацию в электронных ресурсах; решать проблемы хранилищ данных и интеграции разнородных баз; обеспечивать интеграцию на основе общих используемых принципов и стандартов глобального информационного пространства и других информационных систем с данной информационной средой [2].

Адаптивная обучающая система способна создавать описание учебных дисциплин согласно различным образовательным стандартам, структурировать и хранить исходные и текущие данные, осуществлять их графическую интерпретацию, реализовывать комплексную оценку профессиональных компетенций. Например, онтологическая модель предметной области формализует знания о рабочей программе учебного курса: название, семестр изучения; цели и задачи; профессиональные компетенции, формируемые согласно образовательному стандарту; дисциплины, на изучении которых базируется данный курс; список субкомпетенций; объем формирования субкомпетенций; отношения профессиональных компетенций и субкомпетенций.

Как правило, любая компетенция формируется в результате изучения совокупности нескольких учебных курсов, изучаемых в вузе, с учетом индивидуальных особенностей самого обучающегося. Таким образом, первоначальный уровень сформированности ПК должен выбираться на основании параметра адаптивности, определенного посредством психолого-педагогического тестирования студента.

В дальнейшем адаптивная обучающая система определяет необходимый уровень прохождения модулей на основе успешного усвоения поэтапно предложенной учебной информации. Компетентностно-ориентированные задания генерируются системой самостоятельно путем сопоставления с данными из онтологии и их подстановки в шаблоны заданий. Критерии уровней сформированности профессиональной компетенции разрабатываются педагогом – проектировщиком информационной компетентностно-ориентированной среды.

По окончании изучения учебного курса, т.е. формирования определенного перечня компетенций или субкомпетенций, для каждого уровня сложности формируется база компетентностно-ориентированных задач, которые обучающийся должен решить в рамках заданной темы. Исключая задания, удовлетворяющие требованиям заданного уровня освоения ПК, с которыми обучающийся справился верно, адаптивная обучающая система выстраивает образовательную траекторию исходя из нерешенных компетентностно-ориентированных заданий.

Обучение в информационной компетентностно-ориентированной среде является процессом иерархическим, т.е. основанным на знаниях, понимании и навыках применения, полученных на предыдущих стадиях. Эта иерархия функционирует посредством вычислительного процесса направленного обучения. Обучающиеся при этом имеют возможность устанавливать свои собственные индивидуальные учебные цели. Студенты, потерпевшие неудачу, должны повторить тему, решить новый комплект сгенерированных системой задач, пока не продемонстрируют достаточный уровень сформированности соответствующей профессиональной компетенции в соответствии с ФГОС. После завершения изучения всех тем и модулей дисциплины обучающийся проходит заключительное тестирование.

Так как все учебные курсы представлены в виде графов, то построение индивидуальной образовательной траектории сводится к выделению подмножества объектов, связывающих заданную учебную цель с актуальными данными об обучающемся. Сформированная индивидуальная образовательная траектория сохраняется в профиле студента с целью ее дальнейшего использования.

В процессе тестирования формируются вопросы и задания различного уровня сложности с основой на результатах интеллектуальной оценки уровня сформированности ПК у обучающегося. Этот механизм дает возможность формирования адаптивных тестов без их последующей коррекции преподавателем.

Повышение уровня интеллектуальности системы, на наш взгляд, можно осуществить по следующим направлениям: расширение призванного оценить эффективность изучения учебного курса функционала педагогического модуля на основе учета структуры личности обучающегося; введение дополнительных характеристик (длительность изучения, сложность учебного материала и т.д.), которые позволят выстроить индивидуальную траекторию обучения без изменения логики функционирования, но в большей степени индивидуализировать процесс обучения [3].

Возможность специфицировать используемые учебные материалы и основные формы реализации учебных дисциплин (лекции, практики, лабораторные работы), а также обеспечить организацию эффективного распределенного доступа к учебным ресурсам путем создания базы знаний, сочетающей в своем содержании множество учебных дисциплин и независимой от интерпретации конкретного процесса обучения, предоставляет использование Web-онтологий [4, 5].

Немаловажной особенностью адаптивной обучающей системы является возможность построения тестирующих систем, генерирующих задачи, основанные на семантике онтологий различных учебных курсов. Такие системы построения контроля уровня сформированности ПК намного превосходят существующие на данный момент системы, ориентированные на тесты с выборкой одного из нескольких вариантов ответов [4, 6].

Рассмотрим процедуру оценки уровня сформированности профессиональных компетенций у обучающихся в процессе освоения дисциплины «Надежность технических систем и техногенный риск» (НТСиТР), которая в структуре основной образовательной программы (ООП) специалиста по направлению подготовки «Пожарная безопасность» относится к дисциплинам профессионального цикла.

Согласно ФГОС по направлению подготовки «Пожарная безопасность» в процессе освоения данной учебной дисциплины формируются составляющие профессиональной компетенции: «Способность оценить риск и определить меры по обеспечению безопасности разрабатываемой техники и проводимого эксперимента». Начальным уровнем ее формирования является результат обучения на предыдущих стадиях образования или результат изучения смежных предметов.

Предшествующими дисциплинами, участвующими в формировании данной профессиональной компетенции, являются «Физика», «Информационные технологии» и «Высшая математика». Для определения остаточных знаний по данным предметам использовались тесты, разработанные в соответствии с компетентностным подходом, в рамках проекта «Федеральный интернет-экзамен в сфере профессионального образования» по дисциплинам «Физика», «Информационные технологии» и «Высшая математика» в соответствии с шифром ООП.

В качестве показателей сформированности профессиональных компетенций использовались три критерия в соответствии с многомерной моделью профессиональной компетенции: когнитивный, герменевтический и деятельностный, позволивших дифференцировать обучающихся относительно неудовлетворительного, низкого, среднего и высокого уровней сформированности ПК.

Так как данные, определяющие показатели этих критериев, довольно сложно подлежат инструментальному измерению и определяются количественно, то они были подвержены опосредованной трактовке. Для этого была использована методика оценивания уровня сформированности ПК путем агрегирования набранных в процессе тестирования баллов за выполнение заданий в каждом блоке и интерпретированных оценкой по традиционной принятой шкале (2 – неудовлетворительно, 3 – удовлетворительно, 4 – хорошо, 5 – отлично).

По окончании изучения курса «Надежность технических систем и техногенный риск» использовался компетентностно-ориентированный тест, сформированный адаптивной обучающей системой согласно рассмотренному механизму. Он включал в себя компетентностно-ориентированные задания, распределенные по блокам: «Знание», «Понимание», «Применение» в соответствии с когнитивным, герменевтическим и деятельностным критериями сформированности ПК. Каждое из заданий включало в себя вариации трех уровней сложности, определяемых:

1) формой тестового задания (ОВ – одиночный выбор; ВП – восстановление последовательности, ВС – ввод строки, ВЧ – ввод числа, МВ – множественный выбор, УС – установление соответствия);

2) наличием объема необходимой для решения вспомогательной информации, а именно: в заданиях III уровня сложности – лишь минимальный объем информации, предоставляемой для получения результата; в заданиях II уровня сложности – некоторые указания, дающие возможность определить направление деятельности; в заданиях I уровня сложности – дополнение к информации во II уровне сложности в виде формул для расчета, алгоритмов и т.д.). Дистракторами являются правдоподобные варианты ответов.

В таблице 1 приведены оценочные баллы за правильное выполнение тестового задания каждого из блоков.

Таблица 1

Оценочные баллы за выполнение компетентностно-ориентированных заданий (КОЗ)

 Вид блока

с КОЗ

«Знание»

(количество заданий в тексте – 6)

«Понимание» (количество заданий в тесте – 3)

«Применение» (количество заданий в тесте – 2)

Уровни сложности КОЗ

I

II

III

I

II

III

I

II

III

Баллы за одно КОЗ

1

2

3

4

5

6

7

8

9

 

Фрагмент декомпозиции ПК «Способность оценить риск и определить меры по обеспечению безопасности разрабатываемой техники и проводимого эксперимента» до уровня дифференцированных по сложности компетентностно-ориентированных заданий, входящих в блок «Понимание», отображен в таблице 2 [3].

Таблица 2

Фрагмент декомпозиции профессиональной компетенции до уровня компетентностно-ориентированного задания в блоке «Понимание»

Составная компетенция ПК – 2.1: «Способность оценить риск при обеспечении безопасности разрабатываемой техники и проводимого эксперимента»

Раздел: Общие сведения по теории надежности

Тема: Показатели надежности

Простая компетенция ПК – 2.1.1: Расчет показателей надежности

Тип задания: Операционное компетентностно-ориентированное задание

Блок заданий: «Понимание»

Уровень сложности: I

Уровень сложности: II

Уровень сложности: III

Форма задания: одиночный выбор

Форма задания: ввод числа

Форма задания: ввод строки

КОЗ № 2.1.1.4

КОЗ № 2.1.1.5.

КОЗ № 2.1.1.6.

Если ТСЗЛ предназначено для спасания только одного человека (например, индивидуальное пожарное канатно-спускное устройство), Рн вычисляют по формуле: ,

где: , , .

Найти в Техническом регламенте (ФЗ № 123 от 22.07.2008 «Технический регламент о требованиях пожарной безопасности», статьи 79, 93), в каком случае соблюдаются требования.

Правильный ответ: .

Дистракторы:

Если ТСЗЛ предназначено для спасания только одного человека (например, индивидуальное пожарное канатно-спускное устройство), Рн вычисляют по формуле:

где: , , .

При каких значениях Рн согласно Техническому регламенту надежность ТСЗЛ намного превышает надежность, требуемую данной ситуацией.

Правильный ответ: Дистракторов нет.

Если ТСЗЛ предназначено для спасания только одного человека (например, индивидуальное пожарное канатно-спускное устройство), Рн вычисляют по формуле:

где: , , .

При каких значениях Рн данное ТСЗЛ нужно менять на ТСЗЛ другого типа – более надежного.

Правильный ответ:

.

Дистракторов нет.

 

Следует отметить, что проектирование онтологии содержания курса «НТСиТР», а также настройка автоматизированного синтеза компетентностно-ориентированных заданий в АдапОС осуществлялись с привлечением преподавателя-эксперта и инженера по знаниям. Функциями преподавателя-эксперта являлись: разметка учебного материала на основании многомерной модели ПК; корректировка сгенерированных шаблонов заданий; сохранение полученных компетентностно-ориентированных заданий в базу. В функции инженера по знаниям входило решение следующих задач: выбор существующей онтологии или создание новой; проверка соответствия элементов онтологии объектам и понятиям рассматриваемой учебной дисциплины; корректировка элементов онтологии с определением связи между имеющимися компонентами, а также добавление новых. Онтологическое проектирование содержания дисциплины «Надежность технических систем и техногенный риск» позволило создавать индивидуальную образовательную траекторию изучения курса для каждого обучающегося.

Результаты исследования и их обсуждение

Использование средств АдапОС в процессе формирования профессиональных компетенций наиболее эффективно, если основой функционирования адаптивной обучающей системы являются знания об обучающемся, его индивидуальных способностях и академических достижениях.

Кроме того, следует отметить, что положительным моментом является повышение уровня сформированности ПК у студентов по деятельностному критерию, что особенно актуально в контексте применяемого компетентностного подхода в обучении.

Модели профессиональных компетенций, основанные на онтологиях, могут быть реализованы на базе известных модулей и компонентов. Использование средств Jena позволяет выполнить все необходимые операции, а именно работать с онтологией на языке OWL, выполнять запросы на языке SPARQL к RDF нотации онтологии. Также создание и преобразование области онтологии возможно с помощью редактора онтологий Protégé в ручном режиме.

Выводы

Предложенный подход к анализу оценки уровня сформированности профессиональных компетенций упрощает процедуру выработки и принятия управленческого решения, за счет чего позволяет автоматизировать процесс контроля качества подготовки обучающихся.