Реферат: Отрывок из учебника по теории систем и системному анализу

Достоинство ранжирования как метода экспертного изме­рения - простота осуществления процедур, не требующая трудо­емкого обучения экспертов. Недостатком ранжирования явля­ется практическая невозможность упорядочения большого чис­ла объектов. Как показывает опыт, при числе объектов, большем 10-15, эксперты затрудняются в построении ранжировки. Это объясняется тем, что в процессе ранжирования эксперт должен установить взаимосвязь между всеми объектами, рассматривая их как единую совокупность. При увеличении числа объектов количество связей между ними растет пропорционально квадра­ту числа объектов. Сохранение в памяти и анализ большой сово­купности взаимосвязей между объектами ограничиваются пси­хологическими возможностями человека. Психология утвержда-

ет, что оперативная память человека позволяет оперировать в среднем не более чем 7 ± 2 объектами одновременно. Поэтому при ранжировании большого числа объектов эксперты могут допускать существенные ошибки.

Парное сравнение. Этот метод представляет собой процедуру установления предпочтения объектов при сравнении всех возмож­ных пар. В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, парное сравнение объектов являет­ся более простой задачей. При сравнении пары объектов возмож­но либо отношение строгого порядка, либо отношение эквива­лентности. Отсюда следует, что парное сравнение так же, как и ранжирование, есть измерение в порядковой шкале.

В результате сравнения пары объектов а;, а/ эксперт упоря­дочивает ее, высказывая либо я, >- а-, либо а, > at, либо at ~ а . Выбор числового представления ф(й(.) можно произвести так: если ai X а» то ф (а(.) > ф (о ); если предпочтение в паре обратное, то знак неравенства заменяется на обратный, т.е. ф (а,) < ф (а,). Если объекты эквивалентны, то можно считать, что ф (я,-) = ф (а ).

В практике парного сравнения используются следующие чис­ловые представления:

I, если а/ >- dj или at ~ Oj\ О, если а, ч о/, i,j = l,N;

2, если а,- >- ау-; 1, если а,- ~ uji О, если а; ч а .•, /, J = 1, N.

Результаты сравнения всех пар объектов удобно представлять в виде матрицы. Пусть, например, имеются пять объектов а,, а2, а3, а4, а5 и проведено парное сравнение этих объектов по пред­почтительности. Результаты сравнения представлены в виде

Используя числовое представление (2.1), составим матрицу измерения результатов парных сравнений (табл. 2.6).

120

Глава 2

Основы оценки сложных систем

121

Таблица 2.6

Матрица парных сравнений

В табл. 2.6 на диагонали всегда будут расположены единицы, поскольку объект эквивалентен себе. Представление (2.2) харак­терно для отображения результатов спортивных состязаний. За выигрыш даются два очка, за ничью одно и за проигрыш ноль очков (футбол, хоккей и т.п.). Предпочтительность одного объек­та перед другим трактуется в данном случае как выигрыш одно­го участника турнира у другого. Таблица результатов измерения при использовании числового представления не отличается от таблиц результатов спортивных турниров за исключением диа­гональных элементов (обычно в турнирных таблицах диагональ­ные элементы заштрихованы). В качестве примера в табл. 2.7 при­ведены результаты измерения пяти объектов с использованием представления (2.2), соответствующие табл. 2.6.

Вместо представления (2.2) часто используют эквивалентное ему представление

+ 1,  если  cn>aj', О,   если  ai~dj', -1, если  ai^aj-, i,j = l,N,

которое получается из (2.2) заменой 2 на +1, 1 на 0 и 0 на   1.

Если сравнение пар объектов производится отдельно по раз­личным показателям или сравнение осуществляет группа экспер­тов, то по каждому показателю или эксперту составляется своя таблица результатов парных сравнений. Сравнение во всех воз-

можных парах не дает полного упорядочения объектов, поэтому возникает задача ранжирования объектов по результатам их пар­ного сравнения.

Однако, как показывает опыт, эксперт далеко не всегда пос­ледователен в своих предпочтениях. В результате использования метода парных сравнений эксперт может указать, что объект а, предпочтительнее объекта а2, а2 предпочтительнее объекта а3 и в то же время а3 предпочтительнее объекта а,.

В случае разбиения объекта на классы эксперт может к одно­му классу отнести пары al и а2, а2 и а3, но в то же время объекты а, и а3 отнести к различным классам. Такая непоследовательность эксперта может объясняться различными причинами: сложнос­тью задачи, неочевидностью предпочтительности объектов или разбиения их на классы (в противном случае, когда все очевид­но, проведение экспертизы необязательно), недостаточной ком­петентностью эксперта, недостаточно четкой постановкой зада­чи, многокритериальностью рассматриваемых объектов и т.д.

Непоследовательность эксперта приводит к тому, что в ре­зультате парных сравнений при определении сравнительной пред­почтительности объектов мы не получаем ранжирования и даже отношений частичного порядка не выполнено свойство транзи­тивности.

Если целью экспертизы при определении сравнительной пред­почтительности объектов является получение ранжирования или частичного упорядочения, необходима их дополнительная иден­тификация. В этих случаях имеет смысл в качестве результирую­щего отношения выбирать отношение заданного типа, ближай­шее к полученному в эксперименте.

Множественные сравнения. Они отличаются от парных тем, что экспертам последовательно предъявляются не пары, а трой­ки, четверки,..., n-ки («<ЛО объектов. Эксперт их упорядочивает по важности или разбивает на классы в зависимости от целей эк­спертизы. Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированием. С одной стороны, они позволяют использовать больший, чем при парных сравнениях, объем информации для определения экспер­тного суждения в результате одновременного соотнесения объек­та не с одним, а с большим числом объектов. С другой стороны, при ранжировании объектов их может оказаться слишком мно-

122

Глава 2

Основы оценки сложных систем

123

го, что затрудняет работу эксперта и сказывается на качестве ре­зультатов экспертизы. В этом случае множественные сравнения позволяют уменьшить до разумных пределов объем поступаю­щей к эксперту информации.

Непосредственная оценка. Метод заключается в присваивании объектам числовых значений в шкале интервалов. Эксперту не­обходимо поставить в соответствие каждому объекту точку на определенном отрезке числовой оси. При этом необходимо, что­бы эквивалентным объектам приписывались одинаковые числа. На рис. 2.6 в качестве примера приведено такое представление для пяти объектов на отрезок числовой оси [0,1].

Поскольку за начало отсчета выбрана нулевая точка, то в дан­ном примере измерение производится в шкале отношений. Экс­перт соединяет каждый объект линией с точкой числовой оси и получает следующие числовые представления объектов (см. рис. 2.6):

Ф (а,) = 0,28; <р (а2) = <р (а5) = 0,75; ф (а3) = 0,2; ф (aj = 0,5.

Измерения в шкале интервалов могут быть достаточно точ­ными при полной информированности экспертов о свойствах объектов. Эти условия на практике встречаются редко, поэтому для измерения применяют балльную оценку. При этом вместо

непрерывного отрезка числовой оси рассматривают участки, ко­торым приписываются баллы.

Эксперт, приписывая объекту балл, тем самым измеряет его с точностью до определенного отрезка числовой оси. Применя­ются 5-, 10- и 100-балльные шкалы.

Метод Черчмена Акоффа (последовательное сравнение). Этот метод относится к числу наиболее популярных при оценке аль­тернатив. В нем предполагается последовательная корректиров­ка оценок, указанных экспертами. Основные предположения, на которых основан метод, состоят в следующем:

•   каждой альтернативе at(i = \,N) ставится в соответствие
действительное неотрицательное число ф (аг );

•   если альтернатива ai предпочтительнее альтернативы а, ,
то ф (а,.) > ф (а.), если же альтернативы яг и я   равноценны,
тоф(о(.) = ф(а/);

•   если ф (я,.) и ф (а .)  оценки альтернатив а/ и а •, то ф (а(.) + ф (а)
соответствует совместному осуществлению альтернатив а/ и а..
Наиболее сильным является последнее предположение об адди­
тивности оценок альтернатив.

Согласно методу Черчмена-Акоффа альтернативы at, a2, ... , aN ранжируются по предпочтительности. Пусть для удобства из­ложения альтернатива al наиболее предпочтительна, за ней сле­дует а2 и т.д. Эксперт указывает предварительные численные оцен­ки ф (flj) для каждой из альтернатив. Иногда наиболее предпоч­тительной альтернативе приписывается оценка 1, остальные оценки располагаются между 0 и 1 в соответствии с их предпоч­тительностью. Затем эксперт производит сравнение альтернати­вы al и суммы альтернатив а2, ••• > ан- Если а\ предпочтительнее, то эксперт корректирует оценки так, чтобы

N

В противном случае должно выполняться неравенство

Если альтернатива а; оказывается менее предпочтительной, то для уточнения оценок она сравнивается по предпочтению с суммой альтернатив а2,а3, ... , aN_, и т.д. После того как альтер-

124

Глава 2

натива al оказывается предпочтительнее суммы альтернатив а2,..., ak (к > 2), она исключается из рассмотрения, а вместо оцен­ки альтернативы а, рассматривается и корректируется оценка аль­тернативы я2- Процесс продолжается до тех пор, пока откоррек­тированными не окажутся оценки всех альтернатив.

При достаточно большом N применение метода Черчмена-Акоффа становится слишком трудоемким. В этом случае целесо­образно разбить альтернативы на группы, а одну из альтерна­тив, например максимальную, включить во все группы. Это по­зволяет получить численные оценки всех альтернатив с помощью оценивания внутри каждой группы.

Метод Черчмена-Акоффа является одним самых эффектив­ных. Его можно успешно использовать при измерениях в шкале отношений. В этом случае определяется наиболее предпочтитель­ная альтернатива я(1. Ей присваивается максимальная оценка. Для всех остальных альтернатив эксперт указывает, во сколько раз они менее предпочтительны, чем а(1. Для корректировки числен­ных оценок альтернатив можно использовать как стандартную процедуру метода Черчмена-Акоффа, так и попарное сравнение предпочтительности альтернатив. Если численные оценки аль­тернатив не совпадают с представлением эксперта об их пред­почтительности, производится корректировка.

Метод фон Неймана—Моргенштерна. Он заключается в по­лучении численных оценок альтернатив с помощью так называ­емых вероятностных смесей. В основе метода лежит предполо­жение, согласно которому эксперт для любой альтернативы а-, менее предпочтительной, чем а(, но более предпочтительной, чем at, может указать число а (0 <р < \) такое, что альтернатива а, эквивалентна смешанной альтернативе (вероятностной сме­си) [pat, (l-р) а/]. Смешанная альтернатива состоит в том, что альтернатива af выбирается с вероятностью Р, а альтернатива а{ с вероятностью \-Р. Очевидно, что если Р достаточно близко к 1, то альтернатива Oj менее предпочтительна, чем смешанная аль­тернатива [pat, (\-p)at]. В литературе помимо упомянутого выше предположения рассматривается система предположений (акси­ом) о свойствах смешанных и несмешанных альтернатив. К чис­лу таких предположений относятся предположение о связности и транзитивности отношения предпочтительности альтернатив, предположение о том, что смешанная альтернатива

х2р2 + ... + xNpN > Xj/j + х2р'2 + ... +xn p'N .

Таким образом, устанавливается существование функции по­лезности

xlPl+...+xNpN,

значение которой характеризует степень предпочтительности

любой смешанной альтернативы, в частности и несмешанной.

Более предпочтительна та смешанная альтернатива, для которой

значение функции полезности больше.

Рассмотренные выше методы экспертных оценок обладают

различными качествами, но приводят в общем случае к близким результатам. Практика применения этих методов показала, что наиболее эффективно комплексное применение различных мето­дов для решения одной и той же задачи. Сравнительный анализ результатов повышает обоснованность делаемых выводов. При этом следует учитывать, что методом, требующим минимальных затрат, является ранжирование, а наиболее трудоемким   метод последовательного сравнения (Черчмена   Акоффа). Метод пар­ного сравнения без дополнительной обработки не дает полного упорядочения объектов.

2.4.4. МЕТОДЫ ТИПА ДЕЛЬФИ

Название методов экспертной оценки типа Дельфи связано с древнегреческим городом Дельфи, где при храме Аполлона с IX в. до н.э. до IV в. н.э. по преданиям находился Дельфийский оракул.

126

Глава 2

Основы оценки сложных систем

127

3 отличие от традиционных методов экспертной оценки метод Дельфи предполагает полный отказ от коллективных обсуждений. Это делается для того, чтобы уменьшить влияние таких психоло­гических факторов, как присоединение к мнению наиболее авто­ритетного специалиста, нежелание отказаться от публично выра­женного мнения, следование за мнением большинства. В методе Дельфи прямые дебаты заменены программой последовательных индивидуальных опросов, проводимых в форме анкетирования. Ответы обобщаются и вместе с новой дополнительной информа­цией поступают в распоряжение экспертов, после чего они уточ­няют свои первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой сходимости совокупно­сти высказанных мнений. Результаты эксперимента показали при­емлемую сходимость оценок экспертов после пяти туров опроса.

Метод Дельфи первоначально был предложен О. Хелмером как итеративная процедура «мозговой атаки», которая должна помочь снизить влияние психологических факторов и повысить объективность результатов. Однако почти одновременно Дель-фи-процедуры стали основным средством повышения объектив­ности экспертных опросов с использованием количественных оценок при оценке деревьев цели и при разработке сценариев за счет использования обратной связи, ознакомления экспертов с результатами предшествующего тура опроса и учета этих резуль­татов при оценке значимости мнений экспертов.

Процедура Дельфи-метода заключается в следующем:

1) организуется последовательность циклов «мозговой атаки»;

2)   разрабатывается программа последовательных индивиду­
альных опросов с помощью вопросников, исключающая контак­
ты между экспертами, но предусматривающая ознакомление их с
мнениями друг друга между турами; вопросники от тура к туру
могут уточняться;

3)   в наиболее развитых методиках экспертам присваиваются
весовые коэффициенты значимости их мнений, вычисляемые на
основе предшествующих опросов, уточняемые от тура к туру и
учитываемые при получении обобщенных результатов оценок.

Первое практическое применение метода Дельфи к решению некоторых задач министерства обороны США, осуществленное RAND Corporation во второй половине 40-х гг., показало его эффективность и целесообразность распространения на широкий класс задач, связанный с оценкой будущих событий.

Недостатки   метода Дельфи:

•   значительный расход времени на проведение экспертизы,
связанный с большим количеством последовательных повторе­
ний оценок;

•   необходимость неоднократного пересмотра экспертом сво­
их ответов, вызывающая у него отрицательную реакцию, что ска­
зывается на результатах экспертизы.

В 60-е гг. область практического применения метода Дельфи значительно расширилась, однако присущие ему ограничения привели к возникновению других методов, использующих экспер­тные оценки. Среди них особого внимания заслуживают методы QUEST, SEER, PATTERN.

Метод QUEST (Qualitative Utility Estimates for Science and Technology - количественные оценки полезности науки и техни­ки) был разработан для целей повышения эффективности реше­ний по распределению ресурсов, выделяемых на исследования и разработки. В основу метода положена идея распределения ре­сурсов на основе учета возможного вклада (определяемого мето­да экспертной оценки) различных отраслей и научных направле­ний в решение какого-либо круга задач.

Метод SEER (System for Event Evaluation and Review систе­ма оценок и обзора событий) предусматривает всего два тура оценки. В каждом туре привлекается различный состав экспер­тов. Эксперты первого тура - специалисты промышленности, эк­сперты второго тура - наиболее квалифицированные специалис­ты из органов, принимающих решения, и специалисты в области естественных и технических наук. Эксперт каждого тура не воз­вращается к рассмотрению своих ответов за исключением тех случаев, когда его ответ выпадает из некоторого интервала, в котором находится большинство оценок (например, интервала, в котором находится 90 % всех оценок).

2.4.5. МЕТОДЫ ТИПА ДЕРЕВА ЦЕЛЕЙ

Страницы: 1, 2, 3, 4, 5, 6, 7