Введение
Экспертиза как специфический вид деятельности объединяет три понятия: «эксперт», «критерии экспертизы», «процедура (или технология проведения) экспертизы». Экспертом выступает специалист в конкретной области науки, техники, искусства, права, исследующий какие-либо проблемы, решение которых требует специальных знаний и опыта, и имеющий полномочия на формулировку заключения по результатам экспертизы [3]. Эксперт должен обладать необходимыми знаниями и опытом в той области, к которой относится проект; быть способным анализировать обновленную информацию; дать оценку объекту экспертизы в пределах своей компетенции; владеть технологиями, которые используются в проекте; быть способным оценить возможность их применения в конкретной ситуации и дать соответствующие рекомендации и заключения; быть ответственным за заключения и рекомендации, сделанные им в процессе проведения экспертизы.
Критерии экспертизы являются показателем для оценки истинности суждения или факта, к которым предъявляются следующие требования: необходимость и достаточность; однозначность; независимость; общность для любого объекта; соответствие характера критерия характеру объекта.
Процедура экспертизы – это последовательность действий эксперта, которая должна обеспечивать получение достоверного заключения, характеризующегося компетентностью и объективностью. При проведении экспертизы обязательным условием является анализ максимального числа теоретических и прикладных подходов к ее содержанию, процедуре проведения и организации для того, чтобы определить необходимую систему критериев, позволяющих дать объективную оценку инновационному проекту, а также выявить тенденции развития этого проекта на долгосрочную перспективу.
В настоящее время используются следующие методы и подходы для экспертизы и ранжирования проектов: метод анализа иерархий [8], GAP-анализ [5], методические рекомендации по оценке эффективности инвестиционных проектов ВК 477 [7], SWOT-анализ [10], методика LIFT [5]. Также широко используются такие методы, как графический, индексный, метод сравнения показателей и ряд других. Каждый из этих методов, как правило, не применяется отдельно, а в комплексе с другими, причем в соответствии с теми целями, на которые направлена как оценка проекта в целом, так и отдельных его показателей.
Метод оценки инновационных проектов
Государственные научные фонды проводят достаточное число конкурсов, относящихся к инновационной сфере деятельности, однако их результаты можно трактовать и с положительной, и с отрицательной точки зрения. Положительным эффектом является прямая поддержка фундаментальных и прикладных исследований, к отрицательным моментам можно отнести следующие: создание информационного избытка, проблемы с использованием интеллектуальной собственности при бюджетном финансировании, принятие решения в условиях неполноты информации, ограниченный период контроля за развитием проекта и его формальность.
Рис. 1. Состав оценочных критериев для процедуры отбора инновационных проектов
Одним из методов оценки является составление перечня всех критериев, который формируется уже на стадии фильтрации идей. В связи с тем что оценка проектов является непрерывным процессом, то по мере преобразования этих идей в конкретные инновационные проекты эти критерии детализируются и уточняются.
При оценке проекта по методу отбора по критериям сначала разрабатывается перечень критериев, которые важны для конкретного инновационного проекта, затем проводится экспертиза каждого из критериев на соответствие минимальным требованиям. Данная процедура позволяет отследить достоинства и недостатки проекта по каждому из заявленных критериев и в дальнейшем принять меры по его корректировке. При разработке критериев в обязательном порядке необходимо учитывать особенности проекта, специфику отрасли, к которой он относится, причем актуализировать именно те критерии, которые отражают основные цели и задачи проводимого конкурса.
По результатам проведенного исследования [1, 4, 6], предлагается следующий состав оценочных критериев при проведении экспертизы инновационных проектов (рис. 1).
Методы и технологии сетевой экспертизы
В настоящее время все чаще для проведения экспертизы проекта, в том числе инновационного, используются методы и технологии сетевой экспертизы [2], которая основана на использовании современных информационно-коммуникационных технологий.
Совместить использование числовых и текстовых компонентов экспертных оценок можно с помощью лингвистических переменных.
При оценке «зазора» удобно каждому элементу экспертизы Ei установить лингвистическую числовую шкалу на предметном множестве [0,100] с терм-множеством вида Ti={ti1, ti2, ti3}={«не соответствует», «частично соответствует», «полностью соответствует»}.
Авторы полагают достаточность трех термов для оценки соответствия элемента Ei эталону (требованиям). Таким образом, мы получим лингвистическую переменную соответствия экземпляра и образца, назовем ее также Ei.
Непременными компонентами лингвистического описания являются функции принадлежности. Пример функций принадлежности для лингвистической переменной с тремя термами представлен на рис. 2.
Построение функций принадлежности можно возложить на экспертов или на инициатора экспертизы и разработчика методики экспертизы. Эксперту предлагается оценить степень соответствия на предлагаемой шкале.
Рис. 2. Функции принадлежности для лингвистической переменной с тремя термами
Редактор «Функции принадлежности» автоматически строит треугольные и трапециевидные функции принадлежности для каждого терма из терм-множества. Далее эксперт изменяет их форму и расположение на предметной шкале, используя активные точки представленных функций принадлежности (рис. 3).
Рис. 3. Редактор «Функции принадлежности»
Редактирование функций принадлежности производится после выбора терма. Выбирается активная точка функции, которая перемещается по горизонтали до придания функции требуемого экспертом вида. Изменения формы контролируется редактором по следующим критериям: требование к упорядоченности элементов; наличие типового элемента; разграничение понятий и полнота покрытия предметной шкалы; требования к виду крайних функций принадлежности; ограничение области определения.
Требование к упорядоченности термов означает, что максимальные значения областей определения функций принадлежности термов составляют возрастающую последовательность и соответствуют последовательности терминов, которые эксперт использует для описания возрастания величины, представленной на предметной шкале.
Наличие типового элемента означает, что для каждого терма должно существовать значение предметной шкалы, для которого значение функции принадлежности будет равно единице.
Разграничение понятий запрещает существование на предметной шкале значения, для которого функции принадлежности соседних термов равны единице.
Требование полноты покрытия предметной шкалы предусматривает для любого значения предметной шкалы наличие хотя бы одного терма с ненулевым значением функции принадлежности.
Требования к виду крайних функций принадлежности предусматривает единичные значения функций принадлежности для минимального и максимального значения предметной шкалы (для первого и последнего терма).
Ограничение области определения предусматривает использование допущения, что принятие решений осуществляется для атрибутов c конечной или ограниченной областью определения. Расширение области определения потребует либо увеличения числа термов, либо изменения вида существующих функций принадлежности.
Построение функций принадлежности предваряет процесс экспертизы, а для ввода конкретных результатов экспертизы необходимо разработать дружественный для экспертов интерфейс.
Предполагается, что обработка результатов экспертизы будет автоматизированной, т.е. эксперту будет предложено оценить соответствие либо просто на цифровой шкале, либо с помощью элементов визуализации.
В этом случае по «тональности» высказываний в поле комментариев руководитель экспертизы устанавливает числовые характеристики оценки.
В случае с «перевернутой пирамидой» эксперт выбирает одну из стрелок, длина которой, по его мнению, соответствует величине «зазора» между образцом и эталоном.
Пример. Предположим, что три эксперта каким-либо из предложенных способов оценили элемент Ei экземпляра в 45, 52 и 63 балла соответственно. Отложим на балльной шкале эти оценки. Получим следующие значения лингвистической переменной:
Ei(45)={<0,55/ti1>,<0,9/ti2>,<0/ti3>}={<0,55/«не соответствует»>, <0,9/«частично соответствует»>, <0/«полностью соответствует»>};
Ei(52)={<0/ti1>,<1/ti2>,<0/ti3>}={<0/«не соответствует»>, <1/«частично соответствует»>, <0/«полностью соответствует»>};
Ei(63)={<0/ti1>,<0,7/ti2>,<0,35/ti3>}={<0/«не соответствует»>,<0,7/«частично соответствует»>, <0,35/«полностью соответствует»>}.
Объединить полученные оценки можно разными способами, например, так:
Ei = Ei(45)&Ei(52)&Ei(63) = {<0,55/ti1>, <0,9/ti2>, <0/ti3>} & {<0/ti1>, <1/ti2>, <0/ti3>} & {<0/ti1>, <0,7/ti2>, <0,35/ti3>} = {(<0,55/ti1>&<0/ti1>&<0/ti1>), (<0,9/ti2>&<1/ti2>&<0,7/ti2>), (<0/ti3>&<0/ti3>&<0,35/ti3>} = {<min(0,55, 0, 0) /ti1>, <min(0,9, 1, 0,7)/ti2>, <min(0, 0, 0,35)/ti3>} = {<0/ti1>, <0,7/ti2>, <0/ti3>}.
Таким образом, мы получили результирующее заключение трех экспертов по элементу Ei=<0,7/«частично соответствует»>. Степень достоверности фразы «частично соответствует» равна 0,7.
«Зазор» между одноименными компонентами можно просто вычислить в баллах либо взять дополнение, либо вычесть полученное лингвистическое значение из значения <1/«полностью соответствует»>. Но лучше это сделать после оценки всех компонентов экземпляра экспертизы и получить затем интегральный «зазор» между экземпляром и образцом.
Заключение
В дальнейшем предполагается рассмотреть особенности применения традиционных методов организации и проведения экспертизы с использованием ИКТ, обосновать выбор методов опроса экспертов и методов обработки экспертной информации. Будут рассмотрены вопросы использования социосемантических технологий для организации совместной работы экспертов, а также подходы к визуализации результатов экспертизы в виде автоматического отчета экспертной группы с выводами и рекомендациями.
Рецензенты:
Карелин В.П., д.т.н., профессор, заведующий кафедрой прикладной математики и информационных технологий НОУ ВПО «Таганрогский институт управления и экономики», г. Таганрог.
Финаев В.И., д.т.н., профессор, заведующий кафедрой систем автоматизированного управления ФГАОУ ВПО «Южный федеральный университет», г. Ростов-на-Дону.