Как известно, при принятии решений на основе анализа ситуации , в том числе результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком—либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т. д.
Еще один вариант экспертного оценивания – мозговой штурм . Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение – нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, «заражаясь» друг от друга, высказывают все более экстравагантные соображения. Часа через два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма – анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5–6 дают возможность сформулировать прикладные проекта, а 2–3 оказываются в итоге приносящими полезный эффект – прибыль, повышение экологической безопасности и т. п. При этом интерпретация идей – творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: «Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс». После проработки эта идея привела к созданию устройств, создающих волны, сбивающиеся торпеду с курса.
3.4.2. Основные стадии экспертного опроса
Как показывает опыт проведения экспертных исследований, с точки зрения менеджера – организатора такого исследования целесообразно выделять следующие стадии проведения экспертного опроса.
1) Принятие решения о необходимости проведения экспертного опроса и формулировка Лицом, Принимающим Решения (ЛПР) его цели. Таким образом, инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем.
2) Подбор и назначение ЛПР основного состава Рабочей группы, сокращенно РГ (обычно – научного руководителя и секретаря). При этом научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому (вместе с ЛПР или его представителем). Дело секретаря – ведение документации, решение организационных задач.
3) Разработка РГ (точнее, ее основным составом, прежде всего научным руководителем и секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадия решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, в РГ выделяются различные группы специалистов – аналитическая, эконометрическая (специалисты по методам анализа данных), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень важно для успеха, чтобы все эти направления работ были утверждены ЛПР.
4) Разработка аналитической группой РГ подробного сценария (т. е. регламента ) проведения сбора и анализа экспертных мнений (оценок). Сценарий включает в себя прежде всего конкретный вид информации, которая будет получена от экспертов (например, тексты (слова), условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы). Так, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций. Сценарий должен содержать и конкретные методы анализа собранной информации. Например, вычисление медианы Кемени, статистический анализ люсианов, применение иных методов статистики объектов нечисловой природы и других разделов современной эконометрики. Эта работа ложится на эконометрическую и компьютерную группу РГ. Традиционная ошибка – сначала собрать информацию, а потом думать, что с ней делать. В результате, как показывает опыт, информация используется лишь на 1–2 %.
5) Подбор экспертов в соответствии с их компетентностью. На этой стадии РГ составляет список возможных экспертов.
6) Формирование экспертной комиссии . На этой стадии РГ проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии (сокращенно ЭК), возможно, часть намеченных РГ экспертов отказывается по тем или иным причинам. ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты.
7) Проведение сбора экспертной информации. Часто перед этим проводится набор и обучение интервьюеров – одной из групп, входящих в РГ.
8) Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует введение информации в компьютеры.
9) При применении согласно сценарию экспертной процедуры из нескольких туров – повторение двух предыдущих этапов.
10) Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР.
11) Официальное окончание деятельности РГ, в том числе утверждение ЛПР заключительного документа ЭК, подготовка и утверждение научного и финансового отчетов РГ о проведении исследования, оплата труда экспертов и сотрудников РГ, официальное прекращение деятельности (роспуск) ЭК и РГ.
Разберем подробнее отдельные стадии экспертного исследования.
3.4.3. Подбор экспертов
Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.
В проблеме подбора экспертов можно выделить две составляющие – составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.
Составление списка возможных экспертов облегчается тогда, когда рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства фигурного катания, из которого можно выбирать по различным критериям или с помощью датчика псевдослучайных чисел.
Как быть, если экспертиза проводится впервые, устоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае у каждого конкретного специалиста есть некоторое представление о том, что требуется от эксперта в подобной ситуации. Для формирования списка есть полезный метод «снежного кома», при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые – новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда новые фамилии практически перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Метод «снежного кома» имеет и недостатки. Число туров до остановки процесса наращивания кома нельзя заранее предсказать. Кроме того, ясно, что если на первом этапе все эксперты были из одного «клана», придерживались в чем—то близких взглядов или занимались сходной деятельностью, то и метод «снежного кома» даст, скорее всего, прежде всего лиц из этого «клана». Мнения и аргументы других «кланов» будут упущены.
Вопрос об оценке компетентности экспертов не менее сложен. Успешность участия в предыдущих экспертизах – хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т. е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций…), очевидно, в современных условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.
Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких – нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие «компетентность» строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям.
