Метод экспертной оценки

Содержание

Сущность и сфера применения метода. Требования к экспертной группе. Процедура экспертного оценивания

Сущность метода экспертных оценок заключается в про­ведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и фор­мальной обработкой результатов. Получаемое в резуль­тате обработки обобщенное мнение экспертов принима­ется как решение проблемы.

Характерными особенностями метода экспертных оце­нок как научного инструмента решения сложных нефор­мализуемых проблем являются:

· научно обо­снованная организация проведения всех этапов экспер­тизы, обеспечивающая наибольшую эффективность работы на каждом из этапов,

· применение ко­личественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов.

Особой разновидностью метода экспертной оценки является экспе?ртный опро?с — разновидность опроса, в ходе которого респондентами являются эксперты — высококвалифицированные специалисты в определенной области деятельности.

Эксперт – это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования.

Метод подразумевает компетентное участие специалистов в анализе и решении рассматриваемой проблемы.

В практике психологических и социологических исследований используется для:

· прогноза развития того или иного явления;

· оценки существующего состояния какого-либо явления;

· сбора предварительной информации о проблеме исследования (зондаж);

· оценки психолого-педагогических характеристик учащихся;

· оценки коллектива;

· аттестации персонала (в роли экспертов вступают руководители коллектива, общественных организаций или специальная аттестационная комиссия).

Достоинства метода экспертных оценок

Принимая решения о каком-либо диагнозе, мы обычно предполагаем, что информация, используемая для его обоснования, достоверна и надежна. Но для многих педагогических и психологических задач это предположение не удается доказать. Практика показывает, что основные трудности, возникающие при поиске и выборе решений, касающихся различных психологических ситуаций, обусловлены прежде всего недостаточно высоким качеством и неполнотой имеющейся статистической информации или невозможностью в принципе ее получения. Тогда и приходит на помощь метод экспертов который позволяет взглянуть на проблему широко и увидеть возможное решение.

Надёжность оценок и решений, принимаемых на основе суждений экспертов, достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений. Результаты опроса групп экспертов существенно отличаются от решений, формируемых в результате дискуссий на заседаниях комиссий, где может возобладать мнение авторитетных или всего лишь «напористых» участников. Это не означает, что индивидуальное мнение конкретного специалиста или решение такой комиссии не значимо. Однако надлежащим образом обработанная информация, полученная от группы экспертов, как правило, оказывается более достоверной и надежной.

Данный метод применить не удастся, когда:

· исходная статистическая информация недостаточно достоверна;

· некоторая часть информации имеет качественный характер и не поддается количественной оценке;

· в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств;

· существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать.

Требования к экспертной группе

Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характе­ристик экспертов.

Сложной проблемой является формирование системы характеристик эксперта, которые могут существенно повлиять на ход и результаты экспертизы. Эти характеристики должны описывать специфические свой­ства специалиста и возможные отношения между людь­ми, влияющие на экспертизу.

Отбор экспертов, формирование экспертных групп — достаточно сложная задача, результат которой в наибольшей степени определяет эффективность метода и правильность полученных решений. Подбор специалистов для участия в экспертном опросе, начинается с определения научных, технических и административных проблем, непосредственно связанных с решением поставленной задачи.

Составляется список компетентных в необходимых областях лиц, который служит основой для выбора экспертов. Эксперт в полном смысле этого слова – активный участник научного исследования. Попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревата потерей его доверия к организаторам исследования.

Формирование группы потенциальных экспертов начинается с метода «снежного кома». Оценив число возможных кандидатов в эксперты, решается вопрос о численности экспертной группы. Оптимальное количество вряд ли возможно определить точно, но очевидно, что в малой группе экспертов на итоговую оценку оказывает излишнее влияние оценка каждого из экспертов. Слишком большое число экспертов затрудняет формирование согласованного мнения. Кроме того, при увеличении числа участников уменьшается роль нестандартных мнений, отличающихся от мнения большинства, но не всегда оказывающихся неправильными. Привлечение большого числа экспертов позволяет хотя бы частично компенсировать недостаток информации, полнее использовать индивидуальный и коллективный опыт, учесть предположения специалистов о будущих состояниях объектов.

Принципиальное значение имеет возможность обеспечения «равноправия» учёных-специалистов различных направлений, различного уровня компетентности с учётом специфики исследуемой проблемы.

Тем не менее, можно установить некоторые общие требования, подразумевающие реестр качеств, которыми должен обладать «идеальный» эксперт, с которым предпочтительно работать:

· компетентность потенциального эксперта в исследуемой области,

· эрудированность в смежных областях,

· стаж научной или практической работы в определённой сфере,

· должностное положение,

· принципиальность,

· объективность,

· способность творчески мыслить,

· интуиция.

Для отбора специалистов в рабочую группу используют некоторые простые статистические способы и приемы, а также их комбинацию:

1) экспериментальный (с использованием тестирования, проверки эффективности их прежней экспертной деятельности);

2) документальный (на основе социально-демографических данных);

3) при помощи голосования (на основе аттестации потенциальных экспертов их коллегами);

4) при помощи самооценки (оценка степени компетентности изучаемой проблемы, которая дается самим потенциальным экспертом).

Кроме указанных способов возможен расчёт достоверности и точности экспертных оценок, представленных каким-либо из потенциальных экспертов в прошлом. Для этого рассчитывают степень надёжности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии подтвердившимся (то есть количество прогнозов, сделанных экспертом вообще, делится на количество сбывшихся прогнозов). Понятие надёжности и точности эксперта базируется на предположении о том, что существует класс задач, для решения которых эксперт либо подходит, либо не подходит.

Процедура экспертного оценивания

Работа человека, организующего экспертный опрос, включает в себя ещё и подготовку экспертов к работе, в частности обеспечение их максимально объективными данными по проблеме. Следует заботиться о достаточной информированности участников об источниках возникновения исследуемой проблемы и путях решения сходных проблем в прошлом.

В работу входит:

· составление специальных опросных листов для экспертов Основной инструментарий экспертного опроса – анкета или бланк-интервью, разработанные по специальной программе. В отличие от массового опроса, программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней, прежде всего, однозначно формулируется подлежащее рассмотрению явление, предусматривается в виде гипотез возможные варианты его исхода;

· выбор группы экспертов;

· постановка задачи и предъявление вопросов экспер­там;

· выбор способа экспертных оценок;

· собственно оценивание;

· анализ полученных данных.

Необходимо, чтобы условия проведения опроса способствовали получению наиболее достоверных оценок. С целью обеспечения независимости оценок следует по возможности устранять взаимовлияние экспертов и уменьшать воздействие посторонних факторов. Большое значение имеет правильная формулировка вопросов опросника, позволяющая выразить отношение эксперта относительно каждого вопроса в виде количественной оценки и дающая возможность согласования оценок, полученных от разных экспертов. Если форма опроса экспертов предполагает их очное взаимодействие, необходимо заботиться о том, чтобы мнения наиболее известных и авторитетных экспертов не задавали тон дискуссиям (для этого при выступлении сначала предоставляется слово «простым» участникам, а потом наиболее известным и авторитетным).

Может оказаться необходимой также:

· проверка входных данных, используемых для экспертных оценок;

· изменение состава экспертных групп;

· повторные замеры по тем же вопросам с последующим сопоставлением результатов с объективной информацией, полученной другими методами.

После проведения опроса группы экспертов осуществля­ется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений.

Целью обработки является получе­ние обобщенных данных и новой информации, содержа­щейся в скрытой форме в экспертных оценках. На осно­ве результатов обработки формируется решение проб­лемы. Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости при­менения качественных и количественных методов обра­ботки результатов группового экспертного оценивания.

Одним из наиболее ответственных этапов обработки собранной информации является согласование экспертных мнений, что может быть сделано на основе одного из следующих правил:

— правило большинства — выбирается та оценка явления или то решение задачи, которых придерживается большинство экспертов (однако, надо заметить, нередки ситуации, когда эксперты, дающие более достоверные оценки, оказываются в меньшинстве);

— правило авторитета — выбирается то решение, к которому склоняются самые авторитетные эксперты (в этом случае каждому эксперту должен быть приписан «вес», учитывающий его уровень компетентности);

— правило средней оценки — определяется либо простая, либо взвешенная средняя оценка мнений экспертов.

Качественный анализ причин группиров­ки мнений позволяет установить существование различ­ных взглядов, концепций, выявить научные школы, опре­делить характер профессиональной деятельности и т.п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Виды экспертного оценивания

Существующие виды экспертных оценок можно классифицировать по признакам:

1 По форме участия экспертов:

· очное,

· заочное.

Очный метод позволяет сосредоточить внимание эксперта на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле. Выбор вариантов работы с экспертами определяется спецификой проблемы и ситуацией. Очные варианты работы с экспертами позволяют собрать более качественную информацию, хотя есть сложности организационного порядка и взаимовлияния экспертов. Заочные же формы работы с экспертами дают возможность пренебрегать географическими рамками при опросе экспертов, исключает их взаимовлияния, однако делает работу экспертных групп не оперативной.

Разновидности очного опроса:

1. Свободное интервью экспертов. Имеет разведывательную цель и чаще используется, когда необходимо более точно представить проблему, уточнить некоторые нюансы, чётче интерпретировать употребляемые понятия и наметить основные направления исследования. Число интервьюируемых экспертов здесь невелико (10-15), но главное — чтобы подобранные эксперты были представителями разных в профессиональном и научном отношении точек зрения. Такое интервью проводится опытным социологом.

2. Анкетный опрос экспертов.

3. «Мозговой штурм», «мозговая атака» — прямой обмен мнениями, стимулирование наблюдения. Основная цель — нахождение решения или путей решения какой-либо научной или практической проблемы.

Разновидности заочного опроса:

1. Почтовый анкетный опрос экспертов

2. Дельфийская техника — заключается в выработке согласованных мнений путём многократного повторения опроса одних и тех же экспертов. После первого опроса и обобщения результатов его итоги сообщаются участникам экспертной группы. Затем проводится повторный опрос, в ходе которого эксперты либо подтверждают свою точку зрения, либо изменяют оценку в соответствии с мнением большинства. Такой цикл содержит в себе 3-4 прохода. В ходе подобной процедуры вырабатывается оценка, но при этом исследователь, конечно, не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей точке зрения.

Очевидно, что данный вид работы с экспертами весьма трудоемок и сложен, хотя использование дельфийской техники имеет и свои преимущества: обеспечивается анонимность опроса путем исключения взаимодействия экспертов; установление обратной связи в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса; исключения взаимовлияния экспертов. Метод Дельфы не имеет целью достичь полного единства мнений экспертов по существу вопроса, поэтому, несмотря на сближение точек зрения, различие во мнениях экспертов все равно будет существовать. Недостатком данного вида опроса экспертов является зависимость оценок, данных экспертами от формулировок вопросов и аргументации; влияние общественного мнения на экспертов.

2. По решаемым задачам:

· генерирующие решения;

· оценивающие варианты.

3. По типу ответа:

· идейные;

· ранжирующие;

· оценивающие объект в относительной или абсолютной (численной) шкале.

4. По способу обработки мнений экспертов:

· непосредственные;

· аналитические.

5. По количеству привлекаемых экспертов:

· без ограничения;

· ограниченные (обычно используется 5 – 12 человек экспертов).

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах.

Список литературы:

1. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. М.: Наука, 1973. 246 с.

2. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. 263 с.

3. Карданская Н. Принятие управленческого решения. М.: ЮНИТИ, 1999. 407 с.

Экспертная оценка проектов в рамках комплексной программы

Чаще зачеркивай написанное.

Гораций

Требования к экспертам

В качестве экспертов привлекаются ученые с большим опытом научной деятельности, привлекаемые временно для работы в экспертной комиссии программы.

В отдельных случаях предусматривается подготовка внешней рецензии или коллективное заключение группы экспертов. В спорных случаях допускается независимый сбор мнения двух-трех экспертов. Оценки экспертов сопоставляются между собой, после чего выносится окончательное мнение о проекте.

Состав привлекаемых экспертов утверждается дирекцией программы.

Процедура оценки проектов

Оценка выполняется в три этапа. На первом этапе отбираются проекты, соответствующие условиям программы. На втором этапе каждый проект проходит экспертную оценку на предмет получения количественной балльной оценки.

Проекты, не прошедшие отбор на первом этапе, на втором этапе не рассматриваются.

Оценка выполняется экспертом (экспертами) через сопоставление материалов заявки с приоритетными направлениями, определяемыми Правительством РФ, Академией наук РФ, дирекцией программы «Интеграция».

Оценка проекта выполняется на основе соответствия планируемых результатов проекта каждой из четырех классификационных групп научных направлений. Итоговая оценка вычисляется суммированием четырех частных оценок.

Заявки, набравшие большее число баллов, считаются более предпочтительными для включения в программу. К третьему этапу оценки допускаются проекты, набравшие 10 баллов и более.

Третьим этапом экспертизы является оценка разумности запрашиваемой суммы финансирования.

Научные направления, по которым оценивается соответствие результатов заявки 1.

Соответствует целям и задачам федеральной программы «Интеграция высшей школы и Академии наук» (полностью — 5, частично — от 1 до 4, не соответствует — 0): •

рост национального научного потенциала; •

объединение потенциала ведущих национальных научных и образовательных школ; •

привлечение молодых кадров в науку и образование; •

появление новых учебно-научных центров по актуальным направлениям науки; •

укрепление связей между ведущими вузами и институтами РАН; •

поддержка талантливой молодежи. 2.

Соответствует основным четырем национальным приоритетам (полностью — 5, частично — от 1 до 4, не соответствует — 0): •

национальные цели (национальная безопасность, конкурентоспособность экономики, развитие образования, развитие здравоохранения); •

наиболее острые научно-технические проблемы страны (энергосбережение, матери^осбережение, сохранение окружающей среды); •

реализация современных научных достижений (новые источники энергии, новые материалы, генная инженерия, сверхпроводимость); •

поддержка ведущих национальных научных школ. 3.

Относится к одному из приоритетных направлений развития науки, технологий и техники Российской Федерации (полностью — 3,

частично — от 1 до 2, не соответствует — 0): •

информационно-телекоммуникационные технологии и электроника; •

космические и авиационные технологии; •

новые материалы и химические технологии; •

новые транспортные технологии; •

перспективные вооружения, военная и специальная техника; •

производственные технологии; •

технологии живых систем; •

экология и рациональное природопользование; •

энергосберегающие технологии. 4.

Соответствует одному из направлений перечня критических технологий Российской Федерации (соответствует — 2, частично соответствует — 1, не соответствует — 0): •

энергетика: •

безопасность атомной энергетики; •

энергосбережение; •

производство электроэнергии и тепла на органическом топливе; •

нетрадиционные возобновляемые экологически чистые источники энергии и новые методы ее преобразования и аккумулирования; •

вычислительная техника и связь: •

высокопроизводительные вычислительные системы; •

информационная интеграция и системная поддержка жизненного цикла продукции (Cals, Cad, Cam, Сае-технологии); •

информационно-телекоммуникационные системы; •

искусственный интеллект; •

распознавание образов и анализ изображений; •

компьютерное моделирование; •

элементная база микроэлектроники, наноэлектроники и квантовых компьютеров; •

опто-, радио- и акустоэлектроника, оптическая и сверхвысокочастотная связь; •

материалы: •

синтетические сверхтвердые материалы; •

керамические и стекломатериалы; •

материалы для микро- и наноэлектроники; •

полимеры и композиты; •

технологии: •

оценка, комплексное освоение месторождений и глубокая переработка стратегически важного сырья; •

поиск, добыча и трубопроводный транспорт нефти и газа; •

прецизионные и нанометрические технологии обработки, сборки и контроля; •

добыча и переработка угля; •

технологические совмещаемые модули для металлургических мини-производств; •

технологии глубокой переработки отечественного сырья и материалов в легкой промышленности; •

базовые и критические военные и специальные технологии; •

лазерные и электронно-ионно-плазменные технологии; •

мехатронные технологии; •

технологии на основе сверхпроводимости; •

микросистемная техника; •

технологии биоинженерии; •

технологии иммунокоррекции; •

мембранные технологии; металлы и сплавы со специальными свойствами; •

каталитические системы и технологии; •

транспорт; •

авиационная и ракетно-космическая техника с использованием новых технических решений; •

транспортные и судостроительные технологии освоения пространств и ресурсов Мирового океана; •

экологически чистый и высокоскоростной наземный транспорт; •

безопасность движения, управление транспортом, интермодальные перевозки и логистические системы; •

технологии высокоточной навигации и управления движением; •

сельское хозяйство; •

производство и переработка сельскохозяйственного сырья; •

безопасность и контроль качества сельскохозяйственного сырья и пищевых продуктов; •

синтез лекарственных средств и пищевых добавок; •

окружающая среда: •

прогнозирование биологических и минеральных ресурсов; •

биологические средства защиты растений и животных; •

переработка и воспроизводство лесных ресурсов; •

мониторинг окружающей среды; •

сохранение и восстановление нарушенных земель, ландшафтов и биоразнообразия; •

природоохранные технологии, переработка и утилизация техногенных образований и отходов; •

обезвреживание техногенных сред; •

обращение с радиоактивными отходами и облученным топливом; •

снижение риска и уменьшение последствий природных и техногенных катастроф; •

условия жизни; •

системы жизнеобеспечения и защиты человека; •

быстрое возведение и трансформация жилья; •

генодиагностика и генотерапия.

5.

Прочие признаки.

Если проект набрал при оценке менее 10 баллов, эксперт может добавить от 1 до 3 баллов при обосновании актуальности и научно-образовательной ценности, которые не охвачены предшествующей научной классификацией (поддержка ранее начатого проекта, принадлежность блоку взаимосвязанных проектов, перспективность для конкретного вуза или института РАН, значительная экономическая эффективность результатов, получение новых знаний и т. д.).

Максимальное количество баллов, которое может получить проект, равняется 15. Оно вычисляется как сумма баллов по четырем составляющим оценки.

Содержание заключения эксперта

Вывод эксперта должен содержать следующие базовые элементы: •

соответствие целям программы «Интеграция»; •

набранное число баллов; •

вероятность достижения заявленных результатов; •

рекомендуемая сумма финансирования; •

прочие предложения.

Для сравнения приведем систему критериев оценки проектов, применяемую Национальным научным фондом США при выделении средств научным центрам, которая включает шесть основных показателей: 1.

Научная ценность и потенциальное воздействие на конкурентоспособность США — качество и новизна предлагаемых исследо-

ваний; ясность постановки целей и четкость планов; интегрально — системный и междисциплинарный характер исследовательских работ; преимущества, получаемые от концентрации предлагаемых исследований в рамках центра, по сравнению с организацией соответствующего набора индивидуальных исследовательских проектов; потенциальное влияние на научный и технологический потенциал страны, на ее конкурентоспособность. 2.

Значение для повышения качества образования — участие аспирантов и студентов в проведении исследовательских работ; создание условий для их междисциплинарной подготовки в области инженерных дисциплин; перспективы появления новых курсов и программ обучения, усовершенствования уже существующих программ; возможность использования центра для повышения квалификации инженеров-практиков. 3.

Участие промышленности и других потенциальных потребителей результатов исследовательских работ, вопросы передачи им знаний и технологии; формы и масштабы поддержки создающегося центра промышленностью. 4.

Компетентность руководства и персонала — квалификация и опыт предполагаемого директора центра, остальных сотрудников; профессиональный состав участников исследовательских работ, соответствие его междисциплинарному характеру исследований. При этом национальный научный фонд исходит из того, что директор центра является здесь главной, ключевой фигурой, обладает «всей полнотой власти и ответственности». 5.

Положение центра в университете и штате — отношение администрации вуза к идее создания центра, готовность ее помогать центру, в том числе материально; возможность интеграции центра в структуре университета, построенную по дисциплинарному принципу; уровень поддержки со стороны правительства штата и местных властей. 6.

Потенциальное воздействие центра на общий уровень и инфраструктуру инженерных исследований в стране — возможность выдвижения его в число лидеров в определенной технической области (коль скоро данный университет еще не стал таковым); перспективы сотрудничества с организациями и внешними исследовательскими группами аналогичного направления; вероятность того, что создание центра и его работа будут стимулировать развитие в стране в целом подобных или смежных исследовательских работ, полез-

ных с точки зрения конкурентоспособности США на мировой арене; географический фактор, т. е. целесообразность концентрации данных исследований в регионе, где будет располагаться центр.

Критерии отбора охватывают практически все аспекты деятельности центра, его внутренней структуры, внешних связей.

ЭКСПЕРТНАЯ ОЦЕНКА — количественная или качественная оценка управленческой ситуации, не подлежащей непосредственной оценке со стороны руководителя в виду ее нестандартности, основанная на заключении специалистов. Достоверность Э.о. зависит от индивидуальных качеств эксперта (профессиональных и практических знаний, стажа и опыта работы в конкретной сфере деятельности и др.). В практике управления широко используются методы индивидуальной и коллективной Э.о. Достоверность Э.о. повышается за счет правильной формализации исходной информации, корректного подбора экспертов, соблюдения принципов и процедур экспертного опроса.  
Подбор экспертов и формирование экспертных групп. Исходя из целей экспертизы, определяется структура группы, устанавливает-  
Метод экспертных оценок основан на интуиции и практических знаниях специально подобранных людей — экспертов. В ходе работы происходит опрос экспертов (могут применяться различные методы опроса) и на основе этого опроса строится прогноз инвестиционного проекта. При надлежащем подборе экспертов и оптимальной организации их работы это один из самых точных и надежных методов. Трудность заключается в механизме подбора экспертов и организации их работы — устранении конфликтных ситуаций между экспертами, определении рейтинга каждого эксперта, правильной постановке вопроса исследования и т.д.  
Чтобы обеспечить эти условия, эксперт должен быть не заинтересован в результате экспертизы, иметь психологическую независимость ji высокую квалификацию. Подбор эксперта оказывается ответственной проблемой, При этом учитывают связь профиля деятельности эксперта с анализируемой проблемой, совпадение рекомендаций и фактических результатов в ранее выполняемых экспертом работах, степень согласованности мнения эксперта с другими экспертами, опыт экспертной деятельности, квалификационный уровень эксперта, степень доступа эксперта к необходимой дополнительной информации.  
Подбор экспертов. Проблема подбора экспертов является одной из  
Необходимо подчеркнуть, что подбор экспертов в конечном счете —  
Анализируется проблема подбора экспертов, которая является одной из  
Составление анкет опроса —> — Подбор экспертов —> — Выбор метода экспертизы  
A. Подбор экспертов и формирование экспертных групп. Б. Формирование вопросов и составление анкет.  
К подбору экспертов следует относиться весьма серьезно, так как от их знаний, опыта, компетентности зависят результаты экспертизы. Для прогнозирования спроса этим методом лучшими экспертами могут быть квалифицированные работники торговли разных уровней управления или научные работники, хорошо знакомые с рынком данного товара. Для прогнозирования товарного предложения лучше пригласить руководителей и специалистов промышленности, а также бывших распределительных органов. При прогнозировании цен весьма полезными могут оказаться финансисты или работники бухгалтерского учета. Обычно для экспертизы приглашают не более 30 экспертов.  
Подбор экспертов в соответствии с их компетентностью. На этой стадии РГ составляет список возможных экспертов и оценивает степень их пригодности для планируемого исследования.  
Разберем подробнее отдельные стадии экспертного исследования. Начнем с подбора экспертов кадры решают все Каковы эксперты — таково и качество заключения экспертной комиссии.  
Необходимо подчеркнуть, что подбор экспертов — одна из основных функций рабочей группы, именно на ней лежит ответственность за компетентность экспертов. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них по собственным соображениям.  
Иногда заявляют, что в случае получения несколькими группами экспертов разных точек зрения (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так Цель достигнута — установлено, что единого мнения нет. Это весьма важно. И ЛПР при принятии решений должно это учитывать. Стремление обеспечить согласованность мнений экспертов любой ценой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее понравившейся рабочей группе (или даже подсказанной ЛПР).  
Естественно, что мнение экспертов о степени риска могут сильно расходиться по причине субъективизма, поэтому особое внимание следует уделять подбору экспертов, так как от правильности их оценок зависит не только выбор определенного варианта инвестиционного проекта, но и его реализация в целом.  
Подбор экспертов для участия в работе аттестационной комис-  
Планирование включает в себя подбор экспертов (или их групп), разработку программы экспериментов. При этом могут быть рассмотрены две возможные постановки задачи  
Подбор экспертов осуществляется с соблюдением сле—дующих требований. Группа экспертов  
Метод экспертных оценок реализуется путем обработки мнений опытных предпринимателей и специалистов, выступающих в качестве экспертов. Каждому работающему эксперту предоставляется перечень возможных рисков и предлагается оценить вероятность их наступления. Затем оценки экспертов подвергаются анализу на противоречивость они должны удовлетворять следующему правилу максимально допустимая разница между оценками двух экспертов по любому виду риска не должна превышать 50%, что позволяет устранить кардинальные различия в оценках вероятности наступления отдельного вида риска. В результате получают экспертные оценки вероятностей допустимого критического риска или наиболее вероятных потерь. При этом методе большое значение имеет правильный подбор экспертов.  
Пока еще критерии оценок личных качеств несовершенны. И тем не менее есть основания полагать, что они в целом позволяют квалифицированно судить о степени соответствия знаний и способностей претендентов требованиям, предъявляемым проектируемой должностью. Но для этого важно четкое определение набора качеств, по которым производится оценка, а также тщательная разработка процедуры самой оценки где, кем, с какой периодичностью и по какой программе она осуществляется, каков порядок практического использования результатов оценок. Пристальное внимание следует уделять подбору экспертов, компетентность и добропорядочность которых заметно сказывается на уровне объективности оценок.  
Склонность к безответственности. Экспертные оценки позволяют лицам, принимающим решения, уклоняться от ответственности за принимаемые решения. Причем подбор экспертов и процедур экспертизы позволяет добиться получения желательных экспертных оценок.  
Устраняются указанные недостатки путем использования соответствующих методов и, в первую очередь, посредством правильной организации экспертной процедуры — от подбора экспертов до обработки их мнений.  
Подбор экспертов и формирование экспертных групп. На этом этапе, исходя из целей экспертного опроса, решаются вопросы относительно структуры экспертной группы, количества экспертов и их индивидуальных качеств, т.е. определяются требования к специализации и квалификации экспертов, необходимое число экспертов каждой специализации и общее их количество в группе.  
При подборе экспертов должно быть учтено ограничение, касающееся соответствия целей экспертов целям экспертного опроса. То есть необходимо установить, имеется ли тенденция у отдельных экспертов оценивать необъективно рассматриваемые события. Для этого желательно выявить возможные потенциальные цели экспертов, противоречащие целям получения объективных результатов.  
Выбор группы экспертов производится с учетом их компетенции отдельно для каждого уровня. Именно в таком случае можно говорить и о достоверности экспертизы, и о минимальных затратах на ее проведение. Для подбора экспертов применяются следующие характеристики компетентность, креативность, отношение к экспертизе, конформизм, аналитичность и широта мышления, самокритичность.  
Поскольку при подборе экспертов используется определенное множество характеристик, имеющих различные значения и различную значимость, то возникает необходимость формирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной ее проблематикой.  
Качество экспертной оценки проектных рисков в большой степени зависит от качества подбора экспертов, чему необходимо уделять серьезное внимание.  
Требования к подбору экспертов излагаются в распоряжении руководителя кадровой службы (см. далее форму 2), которое направляется руководителям структурных подразделений вместе со списком работников, подлежащих исследованию (см. далее форму 3).  
С целью упрощения подбора экспертов прилагаются рекомендации, которые дают возможность правильно распределить экспертов по уровню занимаемых ими должностей по отношению к должности, занимаемой изучаемым работником (см. далее форму 4).  
Подбор экспертов проводится с учетом трех уровней должностей по отношению к должности опрашиваемого (вышестоящие, равностоящие, нижестоящие), из расчета 4—6 чел. от каждого уровня.  
Приложения 1. Список изучаемых работников и кандидатов в эксперты. 2. Рекомендации по подбору экспертов.  
Метод ПАТТЕРН имеет многочисленные модификации и аналоги ПРОФАЙЛ, КПЕ, КУЕСТ, ПРОПЛЕН, МАРСЕН, ЭЛЕКТРЕ, КАРИ и др. Однако и рассматриваемый метод не лишен недостатков недостаточная определенность в построении дерева решений , отсутствие барьеров в проявлении конформизма, нечеткость в подборе экспертов и др. Из-за своих недостатков этот метод не получает в нашей литературе полного признания (в частности, при оценке качества товаров).  
Подбор экспертов. Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. В качестве экспертов необходимо привлекать тех людей, чьи суждения в большей степени помогут принятию адекватного решения. Но как вьщелить, найти, подобрать таких людей Надо прямо сказать, что нет методов подбора экспертов, обеспечивающих успех экспертизы. В проблеме подбора экспертов можно выделить две составляющие  
При подборе экспертов большое внимание уделяется согласованности их мнений, которая характеризуется смещенной или несмещенной оценкой дисперсии отсчета. С этой целью на этапе формирования экспертной группы проводятся контрольные измерения с математической обработкой их результатов. Нередко при этом используется не один, а сразу нес- колько объектов измерений, которые в зависимости от их ценности или качества нужно расставить по шкале порядка, т. е. определить их ранг, ибо измерение по шкале порядка называется ранжированием. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкердации  
Поскольку при подборе экспертов используется определенное множество характиристик, имеющих различные значения и различную значимость, то возникает необходимость формирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной ее проблематикой. В качестве такой интегральной оценки, получаемой альтернативным путем, возможно применение значения достоверности суждений эксперта, определяемого как отношение числа случаев выданных экспертом рекомендаций, приемлемость которых подтверждена практикой, к общему числу случаев участия эксперта в выработке рекомендаций.  
Подбор экспертов Для реализации процедуры экспертной >ценки необходимо сформировать группу экспертов, состав ко-орой определяется индивидуально для каждого руководителя.  
Работу по подбору экспертов возлагают на группу управле-
После подбора экспертов начинается их опрос. Анкетирова- является наиболее эффективным и самым распространенным ом опроса. Анкетирование заключается в предъявлении экс-там опросных листов-анкет, на вопросы которых они должны ь ответы в письменной форме.  

Еще по теме Оценки экспертов должны удовлетворять следующему правилу:

  1. Вы должны строить бизнес по своим правилам
  2. Оценка имущества и обязательств в иностранной валюте по правилам пбу 3/2006.
  3. Будьте внимательны к потребностям которые вы удовлетворяете
  4. Настоящее правило успеха: не позволяйте перфекционизму тормозить развитие вашего бизнеса. Часто необходимо сказать «Стоп! Хватит. Этого качества достаточно. Переходим к следующему этапу».
  5. Самой передовой является та форма маркетинга, которая способна вознаградить клиента за то, что он потратил свои силы, время и умение, и ко­торая удовлетворяет потребности покупателя.
  6. Отвод эксперта и переводчика
  7. 8.3. Использование работы эксперта
  8. Использование работы эксперта
  9. Эксперт, назначенный арбитражем
  10. Использование работы эксперта
  11. 3.4. Подбор экспертов
  12. Представьте себе, что с наступлением эры гло­бального маркетинга маркетологи осознали, что их требованиям удовлетворяет единственное агентство, и предложили ему отказаться от предложений конкурентов.
  13. Статья 27. Эксперты
  14. Эксперты
  15. Использование работы эксперта и другого аудитора
  16. Права и обязанности экспертов, экспертные заключения
  17. Обратитесь к экспертам

— Аудит — Банкротство — Бухгалтерский учёт — Инвестиции — Карьера, кадры — Логистика — Маркетинг — Менеджмент — Налоги — Недвижимость — Реклама — Управление бизнесом — Управление персоналом — Финансы — Экономика — — Бизнес — Биржи — Интернет-бизнес —

Метод экспертных оценок

Методы исследования.

Лекция 8.

1. Понятие экспертного оценивания, классификация видов экспертных оценок.

2. Виды методов экспертного оценивания.

1. Экспертиза — это мнение, идея, решение или оценка, основанные на ре­ализации ценного опыта специалиста, глубоких знаниях предмета исследо­вания и технологиях качественного анализа.

Метод экспертных оценок — разновидность опроса, в ходе которого респондентами являются эксперты — высококвалифицированные специалисты в определенной области деятельности. Метод подразумевает компетентное участие специалистов в анализе и решении рассматриваемой проблемы.

В практике исследований используется:

для прогноза развития того или иного явления

для оценки степени достоверности массового опроса

для сбора предварительной информации о проблеме исследования (зондаж)

в ситуациях, когда массовый опрос простых респондентов не возможен или не эффективен.

Надёжность оценок и решений, принимаемых на основе суждений экспертов, достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений.

Перед началом экспертного исследования необходимо четко определить его цель, (проблему), и сформулировать соответствующий вопрос для экспертов. Сама процедура предполагает:

анализ исследуемой ситуации

выбор группы экспертов

выбор способа замера экспертных оценок

процедуру непосредственной оценки работы экспертов

анализ полученных данных

Может оказаться необходимой также:

проверка входных данных, используемых для экспертных оценок

изменение состава экспертных групп

повторные замеры по тем же вопросам с последующим сопоставлением результатов с объективной информацией, полученной другими методами.

Экспертное оценивание предполагает создание разума, обладающего большими способностями по сравнению с возможностями отдельного человека. Экспертный подход обладает большими возможностями по решению задач, не поддающихся решению обычным аналитическим способом: выбор лучшего варианта решения среди имеющихся, прогнозирование развития процесса, поиск возможного решения сложных задач.

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. Наиболее распространены методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

Также подбор экспертов может быть:

экспериментальным (с использованем тестирования, проверки эффективности их прежней экспертной деятельности);

документальным (на основе социально-демографических данных);

при помощи голосования (на основе аттестации потенциальных экспертов их коллегами);

при помощи самооценки (оценка степени компетентности изучаемой проблемы, которая дается самим потенциальным экспертом).

Кроме указанных способов возможен расчёт достоверности и точности экспертных оценок, представленных каким-либо из потенциальных экспертов в прошлом. В этом случае специалистов-экспертов можно рассматривать как «прибор», дающий информацию о вероятности каких-либо предстоящих событий или гипотез, объясняющих происходящие события. Рассматривая эксперта именно в таком ключе, определяют достоверность и точность его оценок по результатам прошлой деятельности. Для этого рассчитывают степень надёжности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии подтвердившимся (то есть количество прогнозов, сделанных экспертом вообще делится на количество сбывшихся прогнозов).

Принципиальное значение имеет возможность обеспечения «равноправия» учёных-специалистов различных направлений, различного уровня компетентности с учётом специфики исследуемой проблемы.

Отбор экспертов должен быть ориентирован на следующие общие требования:

компетентность потенциального эксперта в исследуемой области

эрудированность в смежных областях

учёная степень

звание

стаж научной или практической работы в определённой сфере

должностное положение

принципиальность

объективность

способность творчески мыслить

интуиция,

эвристичность (способность видеть или создавать неочевидные проблемы),

предикаторность (способность предсказывать, предчувствовать будущее со стояние исследуемого объекта),

независимость, то есть способность противопоставлять предубеждениям и массовому мнению свою точку зрения

Необходимо, чтобы условия проведения опроса способствовали получению наиболее достоверных оценок. С целью обеспечения независимости оценок, следует по возможности устранять взаимовлияние экспертов и уменьшать воздействие посторонних факторов. Большое значение имеет правильная формулировка вопросов опросника, позволяющая выразить отношение эксперта относительно каждого вопроса в виде количественной оценки и возможность согласования оценок, полученных от разных экспертов. Если форма опроса экспертов предполагает их очное взаимодействие, необходимо заботиться о том, чтобы мнения наиболее известных и авторитетных экспертов не задавали тон всех остальных дискуссий (для этого при выступлении сначала предоставляется слово «простым» участникам, а потом наиболее известным и авторитетным).

Необходимо помнить и продумывать: затраты на процедуру (оплата экспертов, аренда помещения, канцтовары, оплата специалиста по проведению и анализу результатов экспертизы); подготовку информационных материалов (бланки анкет, инвентарь); подготовку модератора процедуры.

При проведении процедуры экспертизы следует установить и соблюдать регламент (увеличение времени на принятие решения сверх оптимального не повышает точность ответа).

После получения ответов экспертов необходимо провести их оценку. Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты). Оценить ошибку исследования. Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы).

Результаты опроса групп экспертов существенно отличаются от решений, формируемых в результате дискуссий на заседаниях комиссий, где может возобладать мнение авторитетных или всего лишь «напористых» участников. Это не означает, что индивидуальное мнение конкретного специалиста или решение такой комиссии не значимо. Однако соответствующим образом обработанная информация, полученная от группы экспертов, как правило, оказывается более достоверной и надежной.

Существующие виды экспертных оценок можно классифицировать по признакам:

По форме участия экспертов:

очное,

заочное.

(Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле).

По количеству итераций (повторов процедуры для повышения точности):

одношаговые

итерациями.

По решаемым задачам:

генерирующие решения

оценивающие варианты.

По типу ответа:

идейные,

ранжирующие,

оценивающие объект в относительной или абсолютной (численной) шкале.

По способу обработки мнений экспертов:

непосредственные,

аналитические.

По количеству привлекаемых экспертов:

без ограничения,

ограниченные (обычно используется 5 – 12 человек экспертов),

индивидуальные

групповые.

2. Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах.

Свободное интервью экспертов. Имеет разведывательную цель и чаще используется, когда необходимо более точно представить проблему, уточнить некоторые нюансы, чётче интерпретировать употребляемые понятия и наметить основные направления исследования. Число интервьюируемых экспертов здесь невелико (10-15), но главное — чтобы подобранные эксперты были представителями разных в профессиональном и научном отношении точек зрения. Такое интервью проводится опытным социологом.

«Мозговой штурм», «Мозговая атака» — прямой обмен мнениями, стимулирование наблюдения. Основная цель — нахождение решения или путей решения какой-либо научной или практической проблемы.

Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение — нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, «заражаясь» друг от друга, высказывают все более экстравагантные соображения. Часа через два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма — анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект — прибыль, повышение экологической безопасности, оздоровление окружающей природной среды и т.п. При этом интерпретация идей — творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: «Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс». После проработки эта идея привела к созданию специальных устройств, создающих волны, сбивающиеся торпеду с курса.

Очный или почтовый анкетный опрос экспертов.

Дельфийская техника — многократный почтовый анкетный опрос одной и той же группы экспертов с применением шкалированных оценок. Цель данного вида опроса экспертов — сопоставление тщательно скорректированной программы последовательных индивидуальных опросов, направленной на уменьшение группового влияния, возникающего при совместной работе экспертов. Суть метода — в интерактивных циклах, обеспечивающих обратную связь: после первого опроса экспертов и обработки его результатов, итоги сообщаются участникам экспертной группы. Они должны либо подтвердить свою точку зрения, высказанную на предыдущем этапе, и если она значительно отличается от мнения большинства, развернуто ее мотивировать, либо изменить свою оценку в соответствии с мнением большинства участников. Затем снова производят обработку информации, результаты вновь рассылаются экспертам и так до тех пор, пока не прекратится «эффект интерактивных циклов», то есть пока новые туры опроса не перестанут давать статистически значимое увеличение согласованности оценок экспертов (обычно это достигается на 4-5 туре опроса). Очевидно, что данный вид работы с экспертами весьма трудоемок и сложен, хотя использование дельфийской техники имеет и свои преимущества: обеспечивается анонимность опроса путем исключения взаимодействия экспертов; установление обратной связи в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса; исключения взаимовлияния экспертов. Метод Дельфы не имеет целью достичь полное единство мнений экспертов по существу вопроса, поэтому, несмотря на сближение точек зрения, различие во мнениях экспертов все равно будет существовать. Недостатком данного вида опроса экспертов является зависимость оценок, данных экспертами от формулировок вопросов и аргументации; влияние общественного мнения на экспертов.

Метод был популярен в США в 1960-х годах. Но с точностью до месяца предсказали только дату высадки американцев на Луну, все остальные прогнозы не оправдались.

Особой разновидностью экспертного метода, пользующейся большой по­пулярностью, является оригинальный метод SWOT-анализа. Он получил та­кое название по первым буквам четырех английских слов, которые в рус­ском переводе означают: Сильные и Слабые стороны, Возможности и Угро­зы.

Эта методология может использоваться в качестве универсальной. Осо­бый эффект она имеет при исследовании процессов в социально-экономической системе, которой присуща динамичность, управляемость, за­висимость внутренних и внешних факторов функционирования, циклич­ность развития.

По методологии этого анализа проводится распределение факторов, ха­рактеризующих предмет исследования по этим четырем составляющим с учетом принадлежности этого фактора к классу внешних или внутренних факторов. В результате появляется картина соотношения сильных и слабых сторон, возможностей и опасностей, которая подсказывает, как следует изменить си­туацию, чтобы иметь успех развития.

Распределение факторов по этим квадрантам или секторам матриц не всегда является легким делом. Бывает, что один и тот же фактор одновре­менно характеризует и сильные, и слабые стороны предмета. Кроме того, факторы действуют ситуативно. В одной ситуации они выглядят достоинст­вом, в другой — недостатком. Иногда они бывают несоизмеримыми по своей значимости. Эти обстоятельства можно и необходимо учитывать.Один и тот же фактор можно размещать в нескольких квадрантах, если трудно однозначно определить его место. Это не скажется отрицательно на исследовании. Ведь суть метода заключается в том, чтобы идентифицировать факторы, разместить их таким образом, чтобы их концентрация подсказала пути решения проблемы, чтобы они стали управляемыми. Заполненная матрица показывает реальное положение дел, состояние проблемы и характер ситуации. Это первый этап SWOT-анализа.

На втором этапе необходимо провести сравнительный анализ сильных сторон и благоприятных возможностей, который должен показать, как использовать сильные стороны. Вместе с тем надо проанализировать и слабые стороны относительно существующих опасностей. Такой анализ покажет, насколько вероятен кризис.

Несколько в стороне от основного русла экспертных оценок лежит метод сценариев, применяемый прежде всего для экспертного прогнозирования. Сущность: если то, будет то-то и то-то, если же это, то события пойдут так-то и так-то.

Метод сценариев необходим не только в социально-экономической или экологической области. Например, при разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог сценариев аварий, связанных с утечками токсических химических веществ. Каждый из таких сценариев описывает аварию своего типа, со своим индивидуальным происхождением, развитием, последствиями, возможностями предупреждения.

Набор сценариев должен быть обозрим. Исключаются различные маловероятные события — прилет инопланетян, падение астероида, массовые эпидемии ранее неизвестных болезней, и т.д. Само по себе создание набора сценариев — предмет экспертного исследования. Кроме того, эксперты могут оценить вероятности реализации того или иного сценария.

КОМБИНАЦИЯ РАЗЛИЧНЫХ ВИДОВ ЭКСПЕРТИЗЫ. Реальные экспертизы часто представляют собой комбинации различных описанных выше типов экспертиз. В качестве примера рассмотрим защиту студентом дипломного проекта. Сначала идет многотуровая очная экспертиза, проводимая научным руководителем и консультантами, в результате студент подготавливает проект к защите. Затем два эксперта работают заочно — это автор отзыва сторонней организации и заведующий кафедрой, допускающий работу к защите. Обратите внимание на различие задач этих экспертов и объемов выполняемой ими работы — один пишет подробный отзыв, второй росписью на титульном листе проекта разрешает его защиту. Наконец — очная экспертиза без ограничений (для членов ГАК — государственной аттестационной комиссии). Дипломный проект оценивается коллегиально, по большинству голосов, при этом один из экспертов (научный руководитель) знает работу подробно, а остальные — в основном лишь по докладу. Отметим, что мнения экспертов учитываются с весами, а именно, мнения членов ГАК — с весом 1, мнения всех остальных — с весом 0 (совещательный голос). Таким образом, имеем сочетание многотуровой и однотуровой, заочных и очных экспертиз. Подобные сочетания характерны для многих реально проводящихся экспертиз.

Методы экспертной оценки

В большинстве рассмотренных видов исследовании предметом изучения является точка зрения потребителей (частных или корпоративных). Однако существуют также исследования, которые проводятся с учетом всех факторов, оказывающих влияние на тот или иной рынок, — это конкуренция, аффилированность, общие тенденции, изменения в законодательстве, текущие и запланированные проекты игроков, отраслевое регулирование, риски и т. д. И ни в публикации, ни в отраслевую статистику эти исследования не попадают. Здесь как элемент могут применяться и кабинетное исследование, и потребительские опросы, но основной инструмент в данном случае экспертные интервью с игроками рынка, независимыми аналитиками, руководителями ассоциаций, журналистами, людьми, занимающимися конкурентной разведкой, и т. д.

Метод экспертной оценки — это разновидность исследования, в котором респондентами являются эксперты — специалисты в определенной области деятельности.

Основное назначение метода экспертной оценки — выявление сложных аспектов исследуемой проблемы, повышение надежности информации, выводов.

Отличительная особенность метода состоит в том, что он предполагает компетентное участие экспертов (экспертизу) в анализе и решении проблем исследования.

Экспертиза — процедура получения информации от экспертов. Экспертные оценки — это суждения экспертов о различных сферах человеческой деятельности, предполагающие процедуру сравнения объектов и их свойств по выделенным критериям.

Специфика опроса экспертов состоит в следующем.

Нет необходимости применять в анкете косвенные или контрольные вопросы.

Программа опроса экспертов не детализирована и носит концептуальный характер.

В анкете предпочтительней использовать открытые вопросы с полной свободой выбора формы ответа.

Основные нормативные требования к проведению экспертной оценки:

тщательность подбора экспертов;

оценка надежности представленной экспертами информации;

создание условий для продуктивного использования экспертов в ходе исследования;

учет факторов, влияющих на суждения экспертов;

сохранение информации экспертов без искажения на всех этапах исследования.

Качество и надежность экспертных оценок снижает неупорядоченный подбор экспертов.

Критерии подбора экспертов таковы:

  • степень компетентности, показателями которой могут служить наличие у эксперта ученой степени, ученого звания, стаж работы по специальности, служебное положение, число опубликованных работ и т. д.;

  • способность ориентироваться в последних достижениях современной науки в тех областях, которые являются предметом экспертизы;

  • сочетание узкой специализации и общего кругозора эксперта;

  • способность к анализу и синтезу изучаемых проблем,

  • умение перерабатывать и усваивать качественно новую информацию;

  • высокие моральные качества;

  • сочетание психологически приемлемых друг для друга в группе экспертов различного возраста, различных научных школ и т. д.

Экспертная группа не может быть многочисленной. Методы отбора экспертов выделим объективный — использование специальных методик отбора — и субъективный — привлечение к процедуре отбора самих потенциальных экспертов.

Объективный подход имеет два варианта:

а) документальный метод — подбор экспертов на основе социально­демографических данных.

б) экспериментальный метод — отбор на основе тестирования кандидата.

Субъективный подход также имеет несколько вариаций;

а) аттестация — подбор экспертов осуществляется с помощью открытого или тайного голосования потенциальных членов будущей экспертной группы (может проводиться в несколько туров);

б) метод взаимной оценки в баллах или ранжированием;

в) метод самооценки компетентности.

Экспертный опрос может иметь разные формы:

  • разовый индивидуальный опрос (анкетирование или интервью);

  • однократный коллективный опрос (совещания, мозговой штурм);

  • индивидуальный опрос в несколько туров (дельфийская техника);

  • коллективный опрос в несколько туров (дискуссия, совещание, мно­гоступенчатый отбор).

Еще одна форма экспертного опроса — традиционная дискуссия — метод беседы с небольшой группой экспертов на тему исследования. Целью дискуссии является выработка группового коллективного мнения. Предпосылкой успешной групповой дискуссии является четкая формулировка предмета дискуссии и знакомство с ней подавляющего большинства участников.

В значительной мере успех дискуссии зависит от культуры, подготовки, проведения и оформления коллективного мнения экспертов.

Метод «отнесенной оценки» — повторение нескольких циклов дискуссии с выявлением сущности наметившихся разногласий и постепенной выработкой единого мнения всех или большинства участников экспертизы, при этом за несогласными остается право на частное заключение.

Методы экспертизы при коллективной работе ее участников имеют много явных преимуществ, но одновременно обладают и рядом недостатков. Главный недостаток связан с воздействием экспертов друг на друга. Этот недостаток преодолевается с помощью индивидуального опроса в несколько туров. Заочный вариант метода «отнесенной оценки» приобрел название метода Дельфи, или дельфийской техники (от названия древнегреческого города, получившего известность как центр предсказаний оракулов).

Дельфийская техника гарантирует соблюдение анонимности респондентов: эксперты друге другом не встречаются, они заполняют анонимные анкеты или подключаются непосредственно к работе с компьютером.

После первого тура эксперты знакомятся с итоговыми характеристиками позиции группы в целом. Во втором туре они получают возможность либо сблизить свое мнение с позицией большинства, либо изучить причину отклонения. В третьем туре новая информация открывает возможность еще раз пересмотреть свою точку зрения.

Упрощенные вариации дельфийской техники («мини дельфи») позволяют

собрать экспертные оценки по 2-3 турам за несколько часов или дней.

К недостатки метода Дельфи относятся:

сложность подготовки, проведения и обработки результатов,

сравнительно большие затраты времени и средств.

Несмотря на недостатки, дельфийская техника получила значительное распространение; По масштабам применения во многих странах она оказалась в первой пятерке наиболее популярных методов социального прогнозирования.

Экспертный опрос в современном виде часто строится на совместном использовании различных методов, форм и процедур. Так, на основе использования дельфийской техники построена одна из американских систем прогнозирования — «Паттерн», которая позволяет создать систему информационных моделей в виде дерева целей. Работа по созданию системы начинается с создания сценария, т. е. описания состояния и направления развития исследуемого объекта. На следующем этапе строится дерево целей, для всякой цели разрабатываются необходимые и достаточные подцели, являющиеся условием достижения общей цели. На третьем этапе определяются коэффициенты относительной важности критериев и целей на всех уровнях. Далее определяются конкретные виды необходимых работ, ресурсы и сроки их осуществления. Самая длинная цепочка есть время исполнения всего комплекса работ.

Развитие структуры малого и среднего бизнеса неуклонно повлияло на востребованность такой услуги, как оценка бизнеса. Каждый руководитель понимает, что подобный анализ – тонкий инструмент для построения правильной политики управления деятельностью и планирования. Использование метода оценки стоимости бизнеса приводит не только к повышению эффективности использования имеющихся ресурсов, но и обеспечивает более высокий уровень контроля и безопасности.

Как правило, оценка стоимости бизнеса проводится независимыми экспертами, то есть специализирующимися оценочными компаниями. Многих же бизнесменов волнует вопрос – почему нужно обращаться к специалистам? Разве нельзя провести анализ своими силами? Ответ – можно. Но есть некоторые нюансы, которые следует учитывать при выборе метода проведения анализа, опираясь на причины, по которым данную оценку требуется организовать.

Если вам необходима оценка для составления бизнес-плана предприятия, оптимизации налогообложения, выяснения и устранения причин неконкурентоспособности, повышения эффективности деятельности и уменьшения расходов, то вполне возможно проведение анализа своими силами. Но проводить оценку стоит только профессионалам своего дела, то есть людям, не понаслышке знакомыми с методами оценки, а также имеющими как высшее, так и дополнительное образование по экономическим, юридическим направлениям. С недавнего времени развивающимися компаниями была введена практика отправки своих сотрудников на специальные курсы по теории оценки. Вкупе со специалистами проведение анализа такими сотрудниками вполне возможно и самостоятельно. Не следует совершать ошибку, которую делают многие начинающие бизнесмены: углубляться в учебную литературу и пытаться провести анализ самому. Дело в том, что точных формул не существует, они составляются с учетом множества индивидуальных факторов.

Большой плюс привлечения оценочных компаний – составление отчетности, которая является официальным документам и может использоваться для предоставления в государственные и судебно-исполнительные органы. Тем более пользоваться услугами таких фирм обязательно в случае, когда оценка стоимости бизнеса имеет обязательный характер, то есть при: изъятии или выкупе имущества, реорганизации или ликвидации предприятия, возникновении судебных споров и других случаях. Полный перечень причин, из которых следует, что требуется оценка бизнеса, приведен в ФЗ «Об оценочной деятельности в РФ». И это не учитывая того, что оценка, проведенная профессионалами, обладает более правдивой и точной информацией. В итоге вы примите более правильные решения по оптимизации управленческой и финансовой деятельности.

Как провести оценку бизнеса

  • Информация о сфере деятельности компании, о том, сколько лет существует на рынке, краткая предыстория развития и т.д.
  • Документация на право осуществления подобной деятельности.
  • Финансовые отчеты и баланс предприятия.
  • Сведения об имуществе, которое принадлежит вашей организации, об имуществе, земельном участке и т.д.
  • Финансовое состояние на момент проведения оценки бизнеса, каковы продажи.
  • Отсутствие или наличие задолженности по кредиту или выплате заработной платы сотрудникам.
  • Результаты аудиторской проверки.
  • Бизнес-план, которого вы придерживаетесь в развитии своей организации.

В некоторых случаях список документации может быть больше, если оценщик посчитает, что этого недостаточно. Ведь только собрав все предоставленные данные и произведя расчеты, специалисты смогут назвать настоящую стоимость вашего предприятия. От ее результатов будут зависеть ваши дальнейшие действия. Главное, что именно при таком подходе вы сможете избежать краха и больших финансовых потерь.

Также набор документов зависит от того, по какому методу будет производиться оценка бизнеса.

Существует три типа: доходный, затратный и сравнительный. Выбор метода осуществляется по желанию клиента, если ему необходимо узнать ответ на какой-либо конкретный вопрос по ведению своего бизнеса, или же исходя из доступной информации по объекту.

В любом случае, только оценка бизнеса поможет довести организацию до совершенства.

>Экспертное оценивание

Экспе́ртное оце́нивание — процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

Виды экспертных оценок

Существует две группы экспертных оценок:

  • Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
  • Коллективные оценки основаны на использовании коллективного мнения экспертов.

Совместное мнение обладает большей точностью, чем индивидуальное мнение каждого из специалистов. Данный метод применяют для получения количественных оценок качественных характеристик и свойств. Например, оценка нескольких технических проектов по их степени соответствия заданному критерию, во время соревнования оценка судьями выступления фигуриста.

Известны следующие методы экспертных оценок:

  • Метод ассоциаций. Основан на изучении схожего по свойствам объекта с другим объектом.
  • Метод парных (бинарных) сравнений. Основан на сопоставлении экспертом альтернативных вариантов, из которых надо выбрать наиболее предпочтительные.
  • Метод векторов предпочтений. Эксперт анализирует весь набор альтернативных вариантов и выбирает наиболее предпочтительные.
  • Метод фокальных объектов. Основан на перенесении признаков случайно отобранных аналогов на исследуемый объект.
  • Индивидуальный экспертный опрос. Опрос в форме интервью или в виде анализа экспертных оценок. Означает беседу заказчика с экспертом, в ходе которой заказчик ставит перед экспертом вопросы, ответы на которые значимы для достижения программных целей. Анализ экспертных оценок предполагает индивидуальное заполнение экспертом разработанного заказчиком формуляра, по результатам которого производится всесторонний анализ проблемной ситуации и выявляются возможные пути её решения. Свои соображения эксперт выносит в виде отдельного документа.
  • Метод средней точки. Формулируются два альтернативных варианта решения, один из которых менее предпочтителен. После этого эксперту необходимо подобрать третий альтернативный вариант, оценка которого расположена между значений первой и второй альтернативы.

Этапы экспертного оценивания

  1. Постановка цели исследования.
  2. Выбор формы исследования, определение бюджета проекта.
  3. Подготовка информационных материалов, бланков анкет, модератора процедуры.
  4. Подбор экспертов.
  5. Проведение экспертизы.
  6. Анализ результатов (обработка экспертных оценок).
  7. Подготовка отчета с результатами экспертного оценивания.

Постановка цели исследования

Проверить информацию. Необходимо проверить точность фактов и достоверность сведений, изложенных в этой статье.
На странице обсуждения должны быть пояснения.

Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:

  • Выбор лучшего варианта решения среди имеющихся.
  • Прогнозирование развития процесса.
  • Поиска возможного решения сложных задач.

Перед началом экспертного исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил;

  • Четкое определение условий, времени, внешних и внутренних ограничений проблемы. * Возможность ответа на вопрос с доступной человеческому опыту точностью.
  • Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций.
  • Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

Выбор формы исследования, определение бюджета проекта

Существующие виды экспертных оценок можно классифицировать по признакам:

  • По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.
  • По количеству итераций (повторов процедуры для повышения точности) — одношаговые и итерационные.
  • По решаемым задачам: генерирующие решения и оценивающие варианты.
  • По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.
  • По способу обработки мнений экспертов: непосредственные и аналитические.
  • По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5 — 12 человек экспертов.

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах. После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренду помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.

Подготовка информационных материалов

Эксперты перед вынесением суждения должны разносторонне рассмотреть представленную проблему. Для проведения этой процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждения, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает своё мнение.

Подбор экспертов

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

Проведение экспертизы

Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

  • Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).
  • Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

Анализ результатов (обработка экспертных оценок)

Основные этапы обработки экспертных оценок:

  • определение компетенции экспертов;
  • определение обобщенной оценки;
  • построение обобщенной ранжировки объектов в случае нескольких оцениваемых объектов или альтернатив);
  • определение зависимостей между ранжировками;
  • оценка согласованности мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты);
  • оценка ошибки исследования;
  • построение модели свойств объекта (объектов) на основе ответов экспертов (для аналитической экспертизы);
  • подготовка отчёта (с указанием цели исследования, состав экспертов, полученная оценка и анализа результатов).

> См. также

  • Метод Дельфи
  • Метод анализа иерархий
  • Мозговой штурм
  • Экспертный опрос

Методы экспертных оценок

Основная идея прогнозирования на основе экспертных оценок заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки получаемых результатов.

Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте.

Индивидуальные экспертные оценки — основаны на использовании мнений экспертов-специалистов соответствующего профиля.

1. Метод «интервью» предполагает беседу прогнозиста с экспертом по схеме «вопрос-ответ», в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по самым различным вопросам.

2. Метод анкетного опроса заключается в том, что эксперту предлагается для заполнения анкета (опросный лист), содержащая перечень вопросов, каждый из которых логически связан с задачей исследования.

В анкете могут использоваться следующие типы вопросов:

  • открытые – ответы на данные вопросы могут быть сформулированы в любой форме;

  • закрытого типа – предлагаются варианты ответов, один из которых должен выбрать эксперт.

Использование в анкете вопросов закрытого типа предпочтительней, так как упрощает статистическую обработку результатов ответа и облегчает работу эксперта при заполнении анкеты. С другой стороны, перечень ответов на вопрос может и не содержать мнение эксперта. Поэтому при формировании перечня вариантов ответов на некоторые вопросы следует предусматривать возможность выдвижения экспертом своего варианта ответа или уклонение от ответа

3. Аналитический метод (аналитических записок) предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода — возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

Основное преимущество методов индивидуальных экспертных оценок состоит в возможности максимального использования индивидуальных способностей экспертов. Однако данные методы мало пригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного эксперта о развитии смежных областей науки и практики.

Примером использования экспертных оценок при планировании развития социально-экономических систем может служить многокритериальная задача выбора варианта решения, которая на сегодняшний день актуальна во многих сферах деятельности человека.

Процедура многокритериального выбора включает в себя следующие этапы:

  1. Выявление наиболее существенных показателей (критериев), характеризующих исследуемый объект;

  2. Определение способа количественной оценки показателей;

  3. Определение допустимых границ изменения показателей;

  4. Выбор метода поиска наилучшего варианта;

  5. Решение задачи и анализ результатов.

В качестве целевой функции для оценки вариантов решений чаще всего используется аддитивная свертка критериев:

или , (2.18)

где — весовые коэффициенты, характеризующие значимость критерия. Численные значенияопределяются экспертами, при этом, желательно соблюдение следующего условия:

. (2.19)

Если критерии имеют различные единицы измерения, то их необходимо привести к единому безразмерному масштабу так, чтобы выполнялись следующие неравенства:

(2.20)

(2.21)

Пример. По мнению экспертов, основными показателями экономического и социального развития региона являются:

  • валовый внутренний (региональный) продукт;

  • уровень занятости населения;

  • среднемесячная заработная плата.

Экспертная оценка значимости критериев по десятибалльной шкале представлена в табл. 2.2.

Руководству региона предложено четыре целевые программы развития региона, направленные на первоочередное финансирование:

  1. Агропромышленного комплекса;

  2. Предприятий пищевой промышленности;

  3. Отраслей социально-культурной сферы;

  4. Жилищного строительства.

Ожидаемые значения основных показателей, получаемые при реализации рассматриваемых целевых программ, приведены в табл. 2.3.

Таблица 2.2

Результаты экспертной оценки

Эксперт

Показатель

Валовый продукт

Уровень занятости

Среднемесячная заработная плата

Средняя арифметическая оценка

Таблица 2.3

Ожидаемые значения основных социально-экономических

показателей развития региона

Целевая программа

Значение показателей

Валовый продукт,

млн.руб

Уровень занятости,

%

Среднемесячная заработная плата,

руб

Необходимо определить наиболее целесообразную программу развития региона.

Решение:

Определим значения весовых коэффициентов:

; ;.

Таким образом, в результате обработки экспертных оценок целевая функция имеет следующий вид:

Учитывая, что целевая программа №3 заведомо неэффективна по сравнению с программой №2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:

Так как значения показателей имеют различную размерность, то их необходимо привести к единому безразмерному масштабу. Это достигается делением элементов каждого столбца на максимальную величину в столбце:

На заключительном этапе определим значение целевой функции для предложенных программ:

Максимальное значение целевой функции соответствует программе №1. Следовательно, реализация данной программы наиболее целесообразна.

Наиболее достоверными являются коллективные экспертные оценки — предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами.

Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта.

1. Суть метода коллективной генерации идей (мозговой атаки) состоит в использовании творческого потенциала специалистов при мозговой атаке проблемной ситуации, реализующей вначале генерацию идей, а затем их структурирование, анализ и критику с выдвижением контридей и выработкой согласованной точки зрения.

Метод коллективной генерации идей предполагает реализацию следующих этапов:

1. формирование группы участников «мозговой атаки» по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10—15 человек.

2. Группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации.

3. Этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, освобождая участников от скованности. Продолжительность «мозговой атаки» — не менее 20 мин и не более 1 ч в зависимости от активности участников.

4. Систематизация идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам.

5. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов в составе 20-25 человек.

6. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей.

Метод «635» — одна из разновидностей «мозговой атаки». Цифры б, 3, 5 обозначают 6 участников, каждый из которых должен записать 3 идеи в течение 5 мин. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе — 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

2. Метод «Дельфи». Цель метода — разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта.

Особенности метода «Дельфи»:

а) анонимность экспертов — взаимодействие членов группы при заполнении анкет полностью исключается;

б) возможность использования результатов предыдущего тура опроса;

в) статистическая характеристика группового мнения.

3. Метод «комиссий» — основан на работе специальных комиссий. Группы экспертов за «круглым столом» обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

Метод экспертных комиссий может быть организован в одной из следующих форм:

  • обсуждение и открытое голосование;

  • обсуждение и закрытое голосование;

  • высказывание мнений и обсуждение без голосования.

Как показала практика, метод «комиссий» имеет существенные недостатки:

  • большое влияние такого психологического фактора как мнение авторитетных экспертов, к которому присоединяются остальные эксперты, не высказывая своей точки зрения;

  • нежелание экспертов публично отказываться от ранее высказанных ими мнений;

  • при работе комиссий чаще всего происходит спор двух или трех наиболее авторитетных экспертов, в результате чего другие эксперты в дискуссии участие или не принимают или не учитываются высказанные ими мнения.

4. Метод суда – основан на организации работы коллектива экспертов в форме ведения судебного процесса. Использование этого метода целесообразно при наличии нескольких групп экспертов, каждая из которых отстаивает свою точку зрения. В данном случае в качестве «подсудимого» выступает объект прогнозирования. Лидеры групп, высказывающих альтернативные точки зрения, выступают в качестве обвинения и защиты (прокурор, адвокат). Отдельные эксперты играют роль свидетелей, предоставляя суду необходимую для принятия решения информацию. Роль судьи играет заинтересованное лицо (группа лиц). Так, например, в телевизионной передаче «Процесс», основанной на использовании метода суда для анализа и прогнозирования развития различных социально-экономических процессов, роль судьи играли зрители, голосуя в процессе передачи телефонными звонками за ту точку зрения, которую они поддерживали.

Метод морфологического анализа предполагает выбор наиболее приемлемого решения проблемы из числа возможных. Его целесообразно использовать при прогнозировании фундаментальных исследований. Метод включает ряд приемов, предполагающих систематизированное рассмотрение характеристик объекта. Исследование проводится по методу «морфологического ящика», который строится в виде дерева целей или матрицы, в клетки которой вписаны соответствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Общее количество возможных решений равно произведению числа всех параметров, представленных в «ящике», взятых по строкам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов.

Метод написания сценария — основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней «дерева целей», приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.

Прогнозный граф — это фигура, состоящая из точек-вершин, соединенных отрезками-ребрами. «Дерево целей» — это граф-дерево, выражающее отношение между вершинами-этапами или проблемами достижения цели. Каждая вершина представляет собой цель для всех исходящих из нее ветвей. «Дерево целей» предполагает выделение нескольких структурных или иерархических уровней.

Построение «дерева целей» требует решения многих задач: прогноза развития объекта в целом; формулирования сценария прогнозируемой цели, определение уровней и вершин «дерева», критериев и их весов в ранжировании вершин. Эти задачи могут решаться при необходимости методами экспертных оценок. Следует отметить, что данной цели как объекту прогноза может соответствовать множество разнообразных сценариев.

Сценарий обычно носит многовариантный характер и освещает три линии поведения: оптимистическую — развитие системы в наиболее благоприятной ситуации; пессимистическую — развитие системы в наименее благоприятной ситуации; рабочую — развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно. В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.

Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.

МЕТОДЫ ТОВАРНОЙ ЭКСПЕРТИЗЫ

4.1. КЛАССИФИКАЦИЯ МЕТОДОВ ТОВАРНОЙ ЭКСПЕРТИЗЫ.

Метод товарной экспертизы – способ достижения конечных результатов конечной оценки товаров. В зависимости от применяемых средств измерения все методы делятся на группы, подгруппы и виды. При проведении ТЭ пользуются разными методами оценки товаров.

Методы делятся на две группы: объективные и эвристические.

Объективные – методы, основанные на определённых характеристиках товаров путём измерений или регистрации каких либо несоответствий, отказов, отклонений от установленных требований. Их разделяют на измерительные и регистрационные.

Эвристические – методы, основанные на совокупности логических приёмов и методических правил теоретических исследований для достижения конечных результатов. Общим для всех эвристических методов является субъективный подход к оценкам, основанных на предположении отдельных лиц. Методы каждой подгруппы не заменяют, а дополняют друг друга или имеют самостоятельное применение. Различие заключается в их назначении и используемых средствах.

Эвристические методы подразделяются на:

органолептические– для определения органолептических свойств товара;

экспертные – для оценки свойств товара в условиях риска;

социологические – для установления потребительской оценки товара путём опросов потребителей.

4.2. ИЗМЕРИТЕЛЬНЫЕ МЕТОДЫ.

Измерительный метод – метод определения действительных значений, показателей качества с помощью технических устройств. Предназначены для определения физико-химических или микробиологических показателей качества. Показатели многочисленны и требуют разнообразных методов для их определения.

Достоинство этих методов – точность, объективность оценки, сопоставимость, объективность оценки.

Недостаток — высокие затраты на проведение испытаний, высококвалифицированный персонал.

Измерительные методы подразделяются на подгруппы, виды и разновидности по ряду признаков.

Измерительные методы подразделяются по времени получения результатаиспытаний на экспресс методы и долгосрочные.

В настоящее время мировая тенденция – это разработка экспресс методов – предназначенных для быстрого определения показателей качества. Преимущество – быстрота, недостаток – сказывается на точности.

Измерительные методы подразделяются по принципам на: физические (определение физической величины товаров — температура, плотность), химические(определение химического состава или других показателей с помощью каких либо химических веществ), физико–химический, биохимический, микробиологический, биологический.

Физико–химический метод – с использованием комплексно физических и химических примеров.

Биологический метод – подопытное кормление животных, воздействие на клетки (простейшие организмы).

Микробиологический метод – определение количественного и качественного состава микрофлоры.

Биохимический метод – как воздействуют в организме или продуктах те или другие химические элементы (активности ферментах) Н-р: процесс распада мяса.

Измерительные методы подразделяются по хронологическому признаку на классические и современные.

Классические – разработанные в 17-20вв и не утратившие значимости на современном этапе. Н-р: метод высушивания до постоянной массы для определения влажности товара. Особенность классических методов – преобладание разрушительных операций, длительная подготовка образца к определению конечного результата, невысокая точность измерений, но малые затраты средств и времени.

Современные методы отличаются от классических более высокой чувствительностью и точностью, используются усовершенствованные средства измерений, высококвалифицированный персонал и хорошо оснащённые лаборатории, что увеличивает затраты.

Современные методы: хроматографический, спектральный анализ, микроскопирование.

4.3. РЕГИСТРАЦИОННЫЙ МЕТОД.

Регистрационный метод – основан на наблюдениях и подсчётах числа объектов выбранных по определённому признаку.

В качестве классификационного признака могут быть выбраны конкретные виды дефектов или градации товаров, а также наименования, виды.

РМ определяют приёмочные и браковочные числа при приемке товара, количество дефектных товаров. При необходимости устанавливается количественное соотношение отдельных видов дефектов. Сортировка товара по градации качества осуществляется тоже с помощью этого метода (устранимый и неустранимый брак, отходы ликвидные и неликвидные, брак).

Если в задачу экспертизы входит экспертная оценка эффективности ассортиментной политики торговой организации, то с помощью регистрационных методов определяются показатели ассортимента (широта, полнота, новизна, ассортиментный минимум). Результат определений заданных объектов выражаются в абсолютных и относительных величинах.

Регистрационный метод один из самых распространенных методов используется также при приёмке и хранении товаров. При оценке качества услуг розничной торговли эксперты могут использовать этот метод для проверки качества торгового обслуживания путём регистрации количества жалоб от покупателей, количества обслуживаемых покупателей за определённый отрезок времени.

Регистрационный метод применяется, как правило, в комплексе с другими методами.

4.4. ЭВРИСТИЧЕСКИЙ МЕТОД.

Эвристический метод – метод, основанный на совокупности логичных приёмов и методических правил для достижения конечных результатов.

Преимущество – быстрота, простота, отсутствие дорогостоящих испытаний.

Недостаток – субъективный подход, объективность зависит от личных качеств эксперта.

Эвристический метод делится на: органолептический, экспертный и социологический.

Органолептический метод – метод определения значений показателей качества с помощью органов чувств, иногда простейших приспособлений. Делится на группы: обонятельный (запах, парфюмерия и косметология), вкусовой (качество пищевых продуктов), аудиометод (оценка отдельных групп непродовольственных товаров), осязательный (с помощью органов осязания – пальцы, рот), визуальный ( внешний осмотр).

Экспертные методы – методы оценки, проводимые группой экспертов в условиях неопределенности и риска, предназначены в тех случаях, когда другие методы неприменимы. Экспертный метод делится на три подгруппы:

1. метод группового опроса – основан на проведении опроса группой экспертов с последующим анализом и обработкой полученных результатов;

2. математико-статический – обработка экспертной оценки, предназначен для повышения достоверности результатов оценки качества товаров;

3. метод экспертной оценки показателей качества – определение действительных единичных и комплексных показателей качества.

Социологический метод – основан на опросе потребителей и выявлении значений показателей качества.

4.5. ЭКСПЕРТНЫЕ МЕТОДЫ.

Экспертные методы – методы оценки, проводимые группой экспертов в условиях неопределенности и риска, предназначены в тех случаях, когда другие методы неприменимы и неэкономичны. В торговой практике часто складывается ситуация, когда для принятия решения имеющейся информации о конкретном товаре недостаточно, а откладывать решения нельзя, тогда применяют экспертный метод.

Экспертный метод основывается на принятии эвристических решений, базой для которых служат знания и опыт, накопленные экспертами в конкретной области в прошлом.

Достоинство этого метода в том, что он позволяет принимать решения, когда более объективные методы неприемлемы; их воспроизводимость; сфера – не только оценка качества, но и исследование технологического цикла, принятие управленческих решений, прогнозирование.

Недостатки – субъективизм, ограниченность применения, высокие затраты на их проведение — трудоёмки.

Экспертный метод делится на три подгруппы:

1. метод группового опроса – основан на проведении опроса группой экспертов с последующим анализом и обработкой полученных результатов;

Цель этого метода получение групповой экспертной оценки для принятия решения. Преимущества в разностороннем анализе количественных и качественных аспектах а недостатки получение неодинаковых ответов на один и тот же вопрос, возможность конфронтации.

2. математико-статический – обработка экспертной оценки, предназначен для повышения достоверности результатов оценки качества товаров;

3. метод экспертной оценки показателей качества – определение действительных значений единичных и комплексных показателей качества.

Комбинированный метод основан на сочетании индивидуальных и коллективных оценках. Он проводится в несколько этапов:

1. подготовительный – формирование рабочей экспериментальной группы, классификация продукции потребителей, построение структурной схемы показателей качества.

2. получение индивидуальных экспертных оценок. Включает выбор процедуры назначения оценок, подготовки документов необходимых для оценки и опрос экспертов.

3. этап получения групп оценок, обобщение индивидуальных экспертных оценок, определение их согласованности и определение объективности их экспертных оценок. Экспертная оценка — совокупность операций по выбору.

Экспертные системы

Экспертные системы — это сложные программные комплексы, ак­ку­­му­ли­­рующие знания специалистов в конкретных предметных областях и ти­ра­жирующие этот эмпирический опыт для консультаций менее квали­фи­ци­­рован­ных пользователей.

Области применения систем, основанных на знаниях, весьма раз­но­об­разны: бизнес, производство, военные приложения, медицина, со­ци­о­ло­гия, геология, космос, сельское хозяйство, управление, юриспру­ден­ция и др.

Системы, основанные на знаниях (СОЗ) — это системы программ­ного обес­печения, основными структурными элементами которых яв­ляются база знаний и механизм логических выводов. Среди СОЗ можно вы­де­лить:

  • интеллектуальные информационно-поисковые системы;
  • экспертные системы (ЭС).

Интеллектуальные информационно-поисковые системы отличаются от предыдущего поколения информационно-поисковых систем не только гораздо более обширным справочно-информационным фондом, но и важнейшей способностью формировать адекватные ответы на запросы пользователя даже тогда, когда запросы не носят прямого характера.

Наиболее известным практическим примером СОЗ могут служить экспертные сис­темы, способные диагностировать заболевания, оценивать по­тен­ци­аль­ные месторождения полезных ископаемых, осуществлять обработку естественного языка, распознавание речи и изображений и т.д. Экспертные сис­те­мы являются первым шагом в практической реализации исследований в об­ласти искусственного интеллекта

Базовая структура экспертной системы приведена на рисунке ниже.

Структурные элементы, составляющие экспертную систему, выполняют следующие функции.

База знаний реализует функции представления знаний в конкретной предметной области и управление ими.

Механизм логических выводов выполняет логические выводы на основании знаний, имеющихся в базе знаний.

Пользовательский интерфейс необходим для правильной передачи отве­тов пользователю, иначе пользоваться системой крайне неудобно.

Модуль приобретения знаний необходим для получения знаний от экспер­та, поддержки базы знаний и дополнения ее при необходимости.

Модуль ответов и объяснений формирует заключение экспертной систе­мы и представляет различные комментарии, прилагаемые к заключению, а так­же объясняет мотивы заключения.

Структура экспертной системы.

Перечисленные структурные элементы являются наиболее характерными, хотя в реальных экспертных системах их функции могут быть соответствующим образом усилены или расширены.

Знания в базе знаний представлены в конкретной форме и ор­га­ни­за­ция ба­зы знаний позволяет их легко определять, модифицировать и по­пол­нять. Реше­ние задач с помощью логического вывода на основе знаний хра­ня­щихся в базе зна­ний, реализуется автономным механизмом логического вы­вода. Хотя оба эти ком­понента системы с точки зрения ее структуры яв­ля­ются неза­висимыми, они на­­ходятся в тесной связи между собой и оп­ре­де­ление модели представления знаний накладывает ограничения на выбор соответствующего механизма логи­чес­ких выводов.

Преимущества экспертных систем:

  • Постоянство. Экспертные системы ничего не забывают в отличие от человека-эксперта.
  • Воспроизводимость. Можно сделать любое количество копий экспертной системы, а обучение новых экспертов отнимает много времени и средств.
  • Эффективность. Может увеличить производительность и уменьшать затраты персонала.
  • Постоянство. С использованием экспертных системам подобные транзакции обрабатываются одним и тем же способом. Система будет делать сопоставимые рекомендации для похожих ситуаций.
  • Влияние на людей. Новый эффект (самая современная ин­фор­ма­ция, имеющая влияние на здравый смысл). Главный эффект (ранняя информация доминирует над здравым смыслом).
  • Документация. Экспертная система может документировать процесс решения.
  • Законченность. Экспертная система может выполнять обзор всех транзакций, a человек-эксперт сможет сделать обзор только отдельной выборки.
  • Своевременность. Погрешности в конструкциях и-или могут быть своевременно найдены.
  • Широта. Могут быть объединены знания многих экспертов, что дает системе больше широты, чем с вероятно может достичь один человек.
  • Снижение риска ведения дела благодаря последовательности принятия решения документированности и компетентности.

Методология разработки экспертных систем

Разработка интеллектуальных информационных систем отличается от создания обыч­ного программного продукта. Опыт разработки ранних экспертных систем по­казал, что использование традиционной технологии програм­мирования ли­бо чрезмерно затягивает процесс разработки, либо во­обще приводит к от­рицательному результату. Это связано главным об­разом с не­об­хо­ди­мостью модифицировать принципы и способы построения по мере того, как увеличивается знание разработчиков о проблемной области.

Известно, что большая часть знаний в конкретной предметной области ос­тается личной собственностью эксперта. Наибольшую проблему при раз­ра­бот­ке экспертной системы представляет процедура получения знаний у эксперта и занесения их в базу знаний, называемая извлечением знаний. Это происходит не по­тому, что он не хочет разглашать своих секретов, а потому, что не в состоянии сде­лать это — ведь эксперт знает гораздо больше, чем сам осознает. Для выявления знаний эксперта и их формализации на протяжении всего периода разработки с ним взаимодействует инженер по знаниям.

Чтобы избежать дорогостоящих и безуспешных попыток, был разра­бо­тан набор рекомендаций для того, чтобы определить, является ли проб­ле­ма подходящей для решения с помощью экспертной системы:

  • Потребность в решении должна соответствовать затратам на ее раз­работку. Суммы затрат и полученная выгода должны быть ре­а­листическими.
  • Невозможно использовать знания человека-эксперта там, где это необходимо. Если «экспертные» знания широко распростра­не­ны, то маловероятно, что стоит разрабатывать экспертную сис­тему. Однако в таких областях как разведка нефти и медицина мо­гут быть редкие специализированные знания, которыми можно недорого снабдить экспертную систему, и не использовать очень высоко оплачиваемого эксперта.
  • Проблема может быть решена с использованием символических методов рассуждения.
  • Проблема хорошо структурирована и не требует применения зна­ний, основанных на здравом смысле. Знания, основанные на здра­вом смысле, хорошо известны, поэтому их незачем фиксировать и представлять.
  • Проблема не может быть легко решена с использованием более тра­диционных вычислительных методов. Если имеется хорошее ал­горитмическое решение проблемы, не следует использовать экспертную систему.
  • Существуют эксперты в данной проблемной области. Поскольку экспертная система проектируется для успешной работы, весьма существенно, чтобы эксперты желали помогать при ее проек­ти­ро­ва­нии, а не считали, что их работе угрожают. Кроме того не­об­хо­дима поддержка администрации и потенциальных пользователей.
  • Проблема имеет подходящий размер и область применения. Как правило, проблема требует применения знаний высоко спе­ци­а­ли­зи­рованных экспертов, но человек-эксперт должен тратить на ее ре­ше­ние короткое время, максимум час.

В настоящее время сложилась последовательность действий при разработке экспертных систем. Она включает следующие этапы: идентификация, получение знаний, концептуализация, формализация, выполнение, тестирование и опытная эксплуатация.

Рис. 10.2. Технология разработки экспертных систем

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *