Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,931

FORMATION AND EVALUATION EXPERT NETWORK FOR PREDICTION OF INNOVATIVE SCIENTIFIC AND TECHNOLOGICAL DIRECTION

Firstov Yu.P. 1 Khusniyarov M.R. 1
1 “National Research Nuclear University «MEPHI»”
Для осуществления модернизации учебного процесса и научной работы необходим приток новой научной информации, использование самых современных знаний. Для этого нужны экспертные сети, связанные с высшими учебными заведениями. Создание таких экспертных сетей ставит ряд фундаментальных проблем, вызванных особенностями нового поколения технологий. Высокая интеграция и быстрое развитие современных технологических систем создает ряд новых проблем для формирования и деятельности экспертных сетей. В частности: 1) трудно вычленить отдельные частные проблемы, комплекс должен анализироваться в единстве. Возрастает трудность экспертизы; 2) высокая скорость изменений приводит к дезориентации экспертов. Большие объемы новых знаний и обстоятельств не успевают должным образом осмысляться; 3) происходящая смена уклада требует перехода на новые экономические модели. Это меняет обстоятельства принятия множества решений. У экспертов не успел накопиться опыт мышления в моделях новой экономики. В статье показано, что в экспертной сети необходимо подбирать экспертов особым образом, согласуя их компетенции. Согласованность экспертной сети становится важнее ее численности. Предложен индикатор для оценки согласованности экспертной сети. Приведен пример его применения для формирования экспертной сети вуза в области энергетики.
New scientific information supply and the most modern knowledge usage are needed to carry out the modernization of the educational process and scientific work. This requires expert networks related to higher education institutions. Such expert networks creation poses a number of fundamental problems caused by the features of new technology generation. High integration and rapid development of modern technology systems creates a new set of challenges for the formation and activities of expert networks. In particular: 1) it is difficult to isolate some private problems, the complex has to be analyzed in unity. Difficulty of examination increases; 2) a high rate of changes leads to experts’ disorientation. There is not enough time for large amounts of new knowledge and circumstances to get properly conceptualized; 3) a lifestyle changing requires transition to a new economic model. This changes circumstances of the multiple solutions. The experts haven’t had time to accumulate the experience of thinking in new economy models.The article shows that experts for the network should be chosen in a special way, coordinating their competence. Consistency in this network is more important than its size. Indicator of experts’ network consistency was proposed. University experts’ network in the energy field was formed as an example of its application.
indicator
competence
economy
model
lifestyle
technology
expert networks

Современная экономика находится в процессе перестройки в новый технологический уклад, вызванным влиянием мощных массовых производственных и потребительских технологий. Это создает необходимость создания соответствующей системы энергоснабжения и энергопотребления, способной к быстрому развитию. Возникает ряд новых тенденций в организации производства, доставки, технологий потребления энергии (таблица 1).

Таблица 1

Тенденции в развитии энергетического комплекса

тенденция

Интерпретация

1

Распределенные системы производства энергии

Система производства энергии начинает формироваться из множества энергопроизводящих единиц разной мощности, типа, степени интеграции с потребительской системой.

2

Доставка энергии в удобной для потребителя форме.

Генерирующие единицы производят тепло, электричество, газ, механическую энергию и т.д. Поставки энергоносителя производятся в удобной для потребителя форме. Например, электронная промышленность получает и использует энергию в виде высокотемпературного тепла.

3

Перестройка потребительских систем на новые технологии

Развитие системы продуктов и технологий с низким потреблением, с оптимизацией режимов потребления, оптимизацией форм потребляемой энергии.

4

Создание электрической генерации в домохозяйствах, в кооперативных хозяйствах, региональных и др.

Создается множество типов генерирующих единиц, интегрированных в технологические системы домохозяйств (солнечная и ветроэнергетика), сельскохозяйственных объединений (торф, отходы ) и др. Это разгружает сетевое хозяйство и позволяет его оптимизировать.

5

Развитие технологий, оптимизирующих работу генерирующих единиц, которые считались не перспективными

Новые нанотехнологии позволяют ускорить и оптимизировать работу пиролизных станций.

6

Когенерация – совмещение производства электроэнергии и тепла.

(Тригенерация, плюс получение холода.)

Повышает КПД генерирующих станций.

7

Совмещение производства энергии с другими производственными процессами

Доход атомной энергетики ряда стран почти на половину определяется производством вторичных продуктов и продажей разработанных технологий.

Только 20 % торфа идет на производство энергии.

Для планирования и проектирования динамики (инновационной модернизации) энергетической инфраструктуры (которая определяется комплексом индустриальных, потребительских, организационных и др. средств) нужно выявить схемы взаимовлияния объектов на процессы совершенствования друг друга (модели динамики). Проведение таких исследований в современных условиях имеет целый ряд особенностей.

В частности, собранные статистики быстро устаревают. Реальность «убегает» из-под устаревших моделей. Все чаще статистические данные, собранные по давно утвержденным параметрам, оказываются не нужными для реального управления.

Применение широко известных экспертных методов начинает встречать существенные трудности.

1) Трудно вычленить отдельные частные проблемы, комплекс должен анализироваться в единстве. Возрастает трудность экспертизы.

2) Высокая скорость изменений приводит к дезориентации экспертов. Большие объемы новых знаний и обстоятельств не успевают должным образом осмысляться.

3) Происходящая смена уклада требует перехода на новые экономические модели. Это меняет обстоятельства принятия множества решений. У экспертов не успел накопиться опыт мышления в моделях новой экономики.

Возникает проблема обоснования применения известных методик экспертных исследований. Для этого нужно правильно подобрать состав экспертной сети, провести обучение экспертов методам анализа решений в экономике нового поколения [2].

При выборе сбалансированного состава экспертов, прежде всего, необходимо определить комплекс организаций, поддерживающих развитие научно-технического направления (или отрасли). Следует отметить, что привлечение экспертов с предприятий отрасли сопряжено с решением вопросов сохранения коммерческой тайны в ходе их участия в совместных исследованиях. Например, в Росатоме прогнозы являются объектом коммерческой тайны. Поэтому организация интегрированной экспертной сети предприятий требует участия государства как гаранта выполнения регламентов работы кооперации.

Для организации экспертной сети требуется решение широкого комплекса взаимосвязанных вопросов. Их трудно решить по отдельности. Поэтому необходимо создание ядра сети, где они решены совместно и согласованно. Высшие учебные заведения могут создать соответствующие условия. Поэтому следует рассмотреть пример формирования экспертного ядра на базе высшего учебного заведения.

При формировании экспертной сети нужно привлекать специалистов, компетенции которых были бы соответствующим образом согласованы (формирование экспертного кластера). Например, если компетенции экспертов слишком близки, то их мнение о процессах в системе будет «однобоким». Если компетенции слишком различаются, то оценки будут слабо интегрированы между собой. Эксперты должны сочетаться по компетенциям (составу рубрик, в которых они работают), по активности их работы в рубриках (по числу публикаций) и т.д.

Рассмотрим пример формирования экспертной сети по направлению «Обращение с радиоактивными отходами».

Опросом экспертной среды одного из ведущих центров Росатома в экспертизе по данному направлению определены доминирующие рубрики (таблица 2) по данному направлению. Собраны статистические сведения об объемах публикаций наиболее активных экспертов, связанных с экспертной и исследовательской средой НИЯУ МИФИ (представлены в таблице 2). Фамилии экспертов по понятным причинам не приводятся.

Таблица 2

Количества публикаций экспертов по рубрикам

Эксперты

Количество публикаций

1.

2

3

10

3

2

2

3

2.

6

10

1

3

5

2

2

3.

1

2

3

1

4

5

8

4.

3

1

2

11

5

5

3

5.

3

6

5

4

1

9

5

6.

11

7

2

4

4

3

4

7.

2

2

3

6

10

6

2

Рубрики

1. Разработка комплексов защитных камер, оборудования дистанционного управления при обращении с РАО

2. Конструирование и изготовление оборудования для ядерных установок, пунктов хранения ядерных материалов и радиоактивных веществ

3. Оценка воздействия объектов хранения и захоронения радиоактивных и токсичных отходов на окружающую среду

4. Газоочистка и сжигание РАО

5. Разработка и внедрение технологии битумирвоания РАО на АЭС

6. Химическая технология редких, рассеянных и радиоактивных элементов

7. Разработка Технологии разделения изотопов легких элементов физико-химическими методами

Данные таблицы 2 отображены на диаграмме активности экспертов в комплексе рубрик (рис.1).

Рис. 1. Диаграмма активности экспертов

Для того чтобы знания экспертов составляли единое целое, нужно, чтобы активность работы по рубрикам была в должной мере различна и в должной мере близка. Это позволит знаниям в экспертной сети быстро и согласованно меняться как целому, не накапливая противоречий.

Для выявления наличия в сети соответствующего свойства обработка данных производилась следующим образом. Прежде всего, важно выявить имеющиеся группы экспертов, компетенции которых очень близки. Наличие таких групп создаст условие для лоббирования интересов одного из научно-технических направлений. Получена таблица корреляций статистик публикаций пар экспертов (не приводится из-за большого объема). Она показывает, что в целом их компетенции достаточно различны. Поэтому нет необходимости вносить изменения в сеть.

Кроме того, нужно произвести выравнивание данных. Анализ таблиц показывает, что объемы публикаций, сделанных экспертами, различаются примерно на 30 процентов. Поскольку эксперты обладают одинаковой квалификацией, то для проведения статистической обработки нужно выровнять оценки активности их работы. Это означает следующее. Пусть наиболее продуктивный эксперт опубликовал 50 статей. Второй эксперт –45. Тогда числа статей, опубликованных вторым экспертом по рубрикам, нужно умножить на 1,1.

Кроме того, для упрощения обработки нужно исключить несущественные данные. Например, автором по некоторым рубрикам опубликовано по 10–15 статей. Однако есть рубрики, по которым им опубликовано по 1 статье. Скорее всего, это результат работы в соавторстве. Поэтому не будем учитывать результаты публикаций по рубрикам, которые меньше 1/7 от числа публикаций по доминирующей рубрике эксперта (эмпирическая пропорция). В таблице 3 представлены выравненные данные.

Таблица 3

Выравненные данные

Эксперты

Выравненное количество публикаций по каждой рубрике

1

3

4

13

4

3

3

4

2

7

11

0

4

6

3

0

3

0

3

5

0

6

7

10

4

3

0

3

13

6

5

3

5

3

6

5

4

0

10

6

6

11

7

0

4

4

3

4

7

0

0

4

7

11

7

0

итого

27

31

30

36

36

38

27

Рубрики

1. Разработка комплексов защитных камер, оборудования дистанционного управления при обращении с РАО

2. Конструирование и изготовление оборудования для ядерных установок, пунктов хранения ядерных материалов и радиоактивных веществ

3. Оценка воздействия объектов хранения и захоронения радиоактивных и токсичных отходов на окружающую среду

4. Газоочистка и сжигание РАО

5. Разработка и внедрение технологии битумирвоания РАО на АЭС

6. Химическая технология редких, рассеянных и радиоактивных элементов

7. Разработка Технологии разделения изотопов легких элементов физико-химическими методами

Теперь нужно установить, в какой мере реальное отношение качеств экспертов (представленные активностями публикаций) соответствует идеальному.

Для этого содержимое таблицы 3 нужно сравнить с идеальной таблицей активности публикаций, которая возникла бы, если бы эксперты сочетались идеально по своим компетенциям. Ее суть состоит в следующем. Уровни квалификации экспертов предполагаются одинаковыми. Поэтому можно ранжировать уровни компетентности экспертов в рубриках. Например, эксперт 1 имеет наивысший ранг квалификации в рубрике 1, затем в 3, затем в 4. Значение ранга определяется уровнем активности. По данным таблицы 3, произведено ранжирование компетенций экспертов по всему составу рубрик (таблица 4). В столбце рубрик для каждого эксперта указаны ранги (от 1 до 5). При этом если значение активностей публикаций по двум рубрикам различались менее чем на 1/7, то им присваивался одинаковый ранг (эмпирически найденная пропорция для данной сети).

Таблица 4

Ранги компетентности эксперта в рубрике

Эксперты

Ранги

1

3

4

5

4

3

3

4

2

4

5

0

2

3

1

0

3

0

1

2

0

3

4

5

4

2

0

2

5

4

3

2

5

1

4

3

2

0

5

4

6

5

4

0

3

3

2

3

7

0

0

3

4

5

4

0

Рубрики

1. Разработка комплексов защитных камер, оборудования дистанционного управления при обращении с РАО

2. Конструирование и изготовление оборудования для ядерных установок, пунктов хранения ядерных материалов и радиоактивных веществ

3. Оценка воздействия объектов хранения и захоронения радиоактивных и токсичных отходов на окружающую среду

4. Газоочистка и сжигание РАО

5. Разработка и внедрение технологии битумирвоания РАО на АЭС

6. Химическая технология редких, рассеянных и радиоактивных элементов

7. Разработка Технологии разделения изотопов легких элементов физико-химическими методами

Идеальное соотношение активностей (числа публикаций) во всей сети экспертов достигается, когда число публикаций, осуществленное разными экспертами по каждой рубрике, составляет ранговое распределение [3,4], т.е. соответствует, например, 2 в степени n-1 (например, как в таблице 5).

Таблица 5

Пример соотношения рангов и величин активности публикаций по одной рубрике

Рубрика

Эксперт 1

Эксперт 2

Эксперт 3

Эксперт 4

Эксперт 5

Разработка комплексов защитных камер

Ранг

4

Ранг

2

Ранг

1

Ранг

3

Ранг

1

Оценка активности

8

Оценка активности

2

Оценка активности

1

Оценка активности

4

Оценка активности

1

Поэтому в идеальном кластере соотношение активностей работы экспертов в рубрике должно соответствовать ранговому распределению.

Затем была сконструирована таблица, в которой представлено идеальное отношение активностей (таблица 6), соответствующее рангам компетентности экспертов в рубриках (представленным в таблице 5). Значению ранга N из таблицы 5 поставлено в соответствие число 2 в степени n-1. Матрица идеального соотношения активностей представляется как совокупность значений, связанных ранговым распределением (таблица 6).

Таблица 6

Модель идеального соотношения публикаций

Эксперты

Выравненное число публикаций, которое установилось бы в идеальной сети

1

8

16

32

16

8

8

16

2

16

32

1

4

8

2

1

3

1

2

4

1

8

16

32

4

4

1

4

32

16

8

4

5

2

16

8

4

1

32

16

6

32

16

1

8

8

4

8

7

1

1

8

16

32

16

1

итого

64

84

58

81

81

86

78

Рубрики

1. Разработка комплексов защитных камер, оборудования дистанционного управления при обращении с РАО

2. Конструирование и изготовление оборудования для ядерных установок, пунктов хранения ядерных материалов и радиоактивных веществ

3. Оценка воздействия объектов хранения и захоронения радиоактивных и токсичных отходов на окружающую среду

4. Газоочистка и сжигание РАО

5. Разработка и внедрение технологии битумирвоания РАО на АЭС

6. Химическая технология редких, рассеянных и радиоактивных элементов

7. Разработка Технологии разделения изотопов легких элементов физико-химическими методами

Теперь можно определить, насколько реальная экспертная сеть соответствует идеальной модели.

Проверим статистическую гипотезу о ранговом распределении.

Сравним эмпирические и теоретические частоты с помощью критерия Пирсона, приняв число степеней свободы k=s-3, где s-число интервалов, на которые разбита выборка.

Наблюдаемое значение критерия получаем

Далее находим по таблице критических точек распределения при уровне значимости и числе степеней свободы k=s-3=3

(0.05;3)=7.81

Так как , гипотезу о ранговом распределении отвергаем.

Нужно несколько изменить состав экспертов для повышения согласованности сети. Или уменьшить уровень требований к сети, увеличив уровень значимости до 0,1 или 0,3.

Для этой сети наблюдаемое значение критерия равно .

Очевидно, что теперь наблюдаемое значение критерия меньше критического и, следовательно, сеть имеет ранговое распределение публикаций по рубрикам.

Это означает, что сформированная сеть может использоваться как источник вполне достоверных сведений для выбора стратегий развития.

Рецензенты:

Тупчиенко Виталий Алексеевич, доктор экономических наук, профессор, профессор кафедры «Управление бизнес-проектами», Министерство образования и науки Российской Федерации, федеральное государственное автономное образовательное учреждение высшего профессионального образования «Национальный исследовательский ядерный университет «МИФИ», г. Москва.

Агеев Александр Иванович, доктор экономических наук, профессор, генеральный директор НП «Институт экономических стратегий», г. Москва.