Современный етап розвитку теорії експертні оцінки

Современный етап розвитку теорії експертних оценок

А.И.Орлов На основі ніж двадцятирічного досвіду комісії «Експертні оцінки «Наукового ради АН СРСР з комплексної проблемі «Кібернетика «і двадцяти років її наукового семінару «Математичні методи аналізу експертні оцінки «у «справжній главі звіту розглядаються основні проблеми теорії та практики експертні оцінки. Сучасні математичні методи експертні оцінки — це загалом методи статистики об'єктів нечисловой природи. Обговорюються догми у сфері експертні оцінки i сучасні рекомендації, застосування статистики об'єктів нечисловой природи в експертних оцінках, питання інтегральних показників якості, ефективності і ін., тобто. рейтингів, і навіть перспективи створення застосування гами сучасних методик експертні оцінки з урахуванням підходів і результатів зазначеного наукового колективу. У цілому нині глава дає наукове обгрунтування розробці автоматизованого робочого місця МАТЭК (МАТематические методжы в ЭКспертных оценках).

Бесспорно цілком, що з прийняття обгрунтованих рішень необхідно спиратися на досвід, знання і набутий інтуїцію фахівців. Після Другої світової війни у рамках теорії управління (менеджменту) почала розвиватися самостійна дисципліна — експертні оценки.

Методы експертні оцінки — це методи щодо організації роботи з спеціалістами-експертами і обробки думок експертів, виражених у кількісної і/або якісної формі з підготовки інформації прийняття рішень ЛПР — особами, приймають решения.

Для проведення роботи з методу експертні оцінки створюють Робочу групу (скорочено РГ), що й організує за дорученням ЛПР діяльність експертів, об'єднаних (формально чи з суті) в експертну комісію (ЭК).

Существует маса методів отримання експертні оцінки. У мають однакові з кожним експертом працюють окремо, він не знає, хтось ще є експертом, тому висловлює свою думку незалежно від авторитетів. За інших експертів збирають разом для підготовки матеріалів для ЛПР, у своїй експерти обговорюють проблему друг з іншому, навчаються друг в одного, та зрадливі думки відкидаються. У одних методах число експертів фіксоване і таке, щоб статистичні методи перевірки узгодженості думок і далі їх усереднення дозволяли приймати обгрунтовані рішення. За інших — число експертів зростає у процесі проведення експертизи, наприклад, під час використання методу «снігової кулі «(див., наприклад, [1]).

В час немає науково-обгрунтованою класифікації методів експертні оцінки і більше — однозначних рекомендацій з їхньої застосуванню. Цілком природно, спочатку нашій країні з’явилися публікації про найпростіших методах експертні оцінки (див., наприклад, [2−3]). Як завжди буває, тривіальні міркування набули поширення, увійшли до масову свідомість інженерів і сучасних керівників (менеджерів) і вони гальмом по дорозі впровадження сучасних успіхів у області експертні оцінки, описаних, наприклад, в роботах [4−8]. На думку, найбільш просунуті результати в аналізованої області одержані результаті сумлінної роботи комісії «Експертні оцінки «Наукового ради АН СРСР з комплексної проблемі «Кібернетика «в 70−90-ті роки (см. 9−30] та інших. публикации).

В рамках справжньої глави звіту не можна докладно розповісти з різноманітними методами експертні оцінки (та й немає у этьом необхідності, оскільки існують численні публікації). Проте, виділимо проблеми в аналізованої області, які можна розглядати, як експертний аналіз стану справ науково-практичної дисципліни «Експертні оцінки » .

Основные проблеми експертні оцінки

Что має подати експертна комісія внаслідок своейработы — інформацію ухвалення рішення ЛПР чи проект рішення? Від відповіді цей методологічний питання залежить організація роботи експертної комиссии.

Цель — збирати інформацію для ЛПР.

Тогда Робоча група повинна зібрати можливо, більше що належить до справі інформації, аргументів «за «і «проти «певних варіантів рішень. Корисний метод поступового збільшення кількості експертів, описаний в [1]. Спочатку перший експерт наводить свої міркування щодо оскільки він розглядався питання. Складений їм матеріал передається другому експерту, який додає свої аргументи. Нагромаджений матеріал надходить ось до чого — третьому — експерту… Процедура закінчується, коли вичерпується потік нових соображений.

Отметим, що експерти в аналізованому методі лише поставляють інформацію, аргументи «за «і «проти », але з виробляють узгодженого проекту рішення. Немає жодної необхідності прагне, щоб експертні думки було узгоджено між собою. Понад те, найбільшу користь приносять експерти з мисленням, отклоняющимся від масового, оскільки саме з них можна очікувати найоригінальніших аргументов.

Цель — як готувався проект рішення ЛПР Математические методи в експертних оцінок застосовуються зазвичай саме з вирішення завдань підготовки проекту рішення. У цьому найчастіше некритично приймають догми узгодженості і одномірності. Ці догми «кочують «з однієї публікації у іншу, тому доцільно їх обсудить.

Догма узгодженості.

Считается, що ухвалено рішення може з’явитися тільки основі узгоджених думок експертів. Тому виключають із експертної групи тих, чия думка відрізняється від думки більшості. У цьому відсіваються як некваліфіковані особи, хто у склад експертної комісії з непорозуміння чи з міркувань, які мають ставлення до їхніх фаховим рівнем, і найбільш оригінальні мислителі, глибше проникли в проблему, ніж абсолютна більшість. Варто було б з’ясувати їх аргументи, надати можливість для обгрунтування їх точок зору. Замість цього їхні думкою нехтують. Трапляється, що експерти діляться на два чи більш груп, мають єдині групові погляду. Так було в [1] наведено приклад розподілу фахівців в оцінці результатів науково-дослідницьких робіт на дві групи: «теоретиків », явно котрі НДР, у яких отримані теоретичні результати, і «практиків », вибирають ті НДР, які дають змогу одержувати безпосередні прикладні результати (йдеться конкурс НДР сьогодні в Інституті проблем управління (автоматики і телемеханики)).

Иногда заявляють, у разі виявлення двох або кількох груп експертів (замість однієї узгодженої у думках) опитування не досяг мети. Не так! Мета досягнуто — встановлено, що жодного думки немає. І ЛПР має це враховувати. Прагнення забезпечити узгодженість думок експертів будь-який цілої може спричинить свідомому односторонньому добору експертів, ігнорування всіх точок зору, крім однієї, найбільш любому робочій групі (і навіть «підказаної «ЛПР).

Поскольку число експертів звичайно перевищує 20−30, то формальна статистична узгодженість думок експертів може поєднуватися з реально які є поділом на групи, що робить подальші розрахунки які мають ставлення до дійсності. Якщо ж звернутися до конкретних методам розрахунків, наприклад, з допомогою коефіцієнтів конкордации з урахуванням коефіцієнтів ранговій кореляції Кендалла чи Спирмена [31], необхідно пам’ятати, що у насправді позитивного результату перевірки узгодженості у такий спосіб означає ні більше, не менше, як відхилення гіпотези про незалежність і рівномірної распределенности думок експертів на безлічі всіх ранжировок. Іншими словами, ми падаємо жертвою помилок, що випливають із своєрідного тлумачення слів: перевірка узгодженості у зазначеному статистичному сенсі зовсім не від є перевіркою узгодженості себто практики експертні оцінки. (Саме ущербність аналізованих математико-статистичних методів аналізу ранжировок привела нас до розробки нового математичного апарату для перевірки узгодженості - непараметрических методів, заснованих на виключно люсианах [32].).

С метою штучно домогтися узгодженості намагаються зменшити вплив думок экспертов-диссидентов. Жорсткий спосіб боротьби з дисидентами полягає у їх виключення зі складу експертної комісії. Вибракування експертів, як і вибракування різко що виділяються результатів спостережень, призводить до процедурам, у яких погані чи невідомі статистичні властивості. Так було в [33] показано крайня нестійкість класичних методів відбракування викидів стосовно отклонениям від передумов модели.

Мягкий спосіб боротьби з дисидентами полягає у застосуванні робастных (стійких) статистичних процедур. Найпростіший приклад: якщо відповідь експерта — дійсне число, то різко яке вирізняється думка дисидента тяжко впливає середнє арифметичне відповідей експертів і впливає їх медіану. Тому розумно як узгодженого думки розглядати медіану. Однак цьому ігноруються (не досягають ЛПР) аргументи диссидентов.

В будь-якому з цих двох способів боротьби з дисидентами ЛПР позбавляється інформації, яка від дисидентів, тому може взяти необгрунтоване рішення, яке призведе до негативних наслідків. З іншого боку, уявлення ЛПР всього набору думок знімає частку провини і праці з підготування остаточного рішення з комісії експертів та ініціативною робочою групи з проведення експертного опитування і перекладає в плечі ЛПР.

Догма одномерности.

Распространен досить примітивний підхід так званої «кваліметрії «(см., например, [34]), за яким об'єкт завжди можна оцінити одним числом. Оцінювати людини одним числом спадало на думку тільки невільничих ринках. Навряд чи навіть найзавзятіші квалиметристы розглядають книжку або картину як еквівалент її «ринкової вартості «.

Каждый об'єкт можна розцінювати за багатьма показниками якості. Наприклад, легковий автомобіль можна розцінювати із таких показателям:

расход бензину на 100 км шляху (загалом);

надежность (середня вартість ремонту протягом року);

быстрота набору швидкості 100 км/год від початку руху;

максимальная яка швидкість;

длительность збереження в салоні позитивної температури при зовнішньої температурі (- 50 градусів) із вимкненим двигуні;

вес, тощо.

Можно звести оцінки за цих показників разом? Визначальною є конкретна ситуація, на яку вибирається автомашина. Максимально яка швидкість важлива гонщика, але, як здається, немає великого практичного значення для водія рядовий приватної машини. Для такого водія важливіше витрата бензину, і надійність. Для машин різних служб управління надійність важливіше, ніж для приватника, а витрата бензину — навпаки. Для районів Крайньої Півночі важлива теплоізоляцію салону, а південних районів країни — нет.

Таким чином, важлива конкретна (вузька) завдання перед експертами. Але така постановки часто немає. А тоді «гри «для розробки узагальненого показника якості немає об'єктивного характеру. У недавно вони використовувалися до створення враження про високий рівень вітчизняної продукції. Адже західних машин не морозостійкі, правда? Отже, підбираючи за потрібне чином коефіцієнти в лінійної функції з показників якості, саме, занижуючи ті, якими західних машин краще (вага і ін.) і завищуючи ті, якими краще вітчизняні (морозоустойчивость), можна домогтися поставленої мети. Чомусь ринкові відносини некоректні з цими висновками. (З цією, щоправда, можна боротися, обираючи інші коефіцієнти — ті, що випливають із реального порівняння виробів по конкурентоспособности).

Альтернативой єдиному узагальненому показнику є математичний апарат типу многокритериальной оптимізації - безлічі Парето тощо. (див., например,[35]).

В окремих випадках усе ж можна глобально порівняти об'єкти — наприклад, з допомогою тієї ж експертів отримати впорядкування аналізованих об'єктів — виробів чи проектів. Тоді можна ПІДІБРАТИ коефіцієнти при окремих показниках те щоб впорядкування з допомогою лінійної функції можливо точніше відповідало глобальному упорядкування (див., наприклад, [36]). Навпаки, в цьому випадку НЕ СЛІД оцінювати зазначені коефіцієнти з допомогою експертів. Ця проста ідея досі стала очевидною окремих укладачів методик з проведення експертних опитувань та аналізу їх результатів. Вони завзято намагаються змусити експертів робити те, що вони виконати над стані - вказувати ваги, із якими окремі показники якості повинні укладати підсумковий узагальнений показник. Експерти зазвичай можуть порівняти об'єкти чи проекти — у цілому, але з можуть вичленувати внесок окремих чинників. Якщо організатори опитування запитують, експерти відповідають, але це відповіді не несуть в собі надійної інформації про реальности…

Основные стадії експертного опитування

Выделяют такі стадії проведення експертного опитування:

1) формулювання Обличчям, Які Вживають Рішення, мети експертного опитування;

2) добір ЛПР основного складу Робочої групи;

3) розробка РГ і запровадження у ЛПР технічного завдання для проведення експертного опитування;

4) розробка РГ докладного сценарію проведення збирання й аналізу експертних думок (оцінок), включаючи як вид експертної інформації (слова, умовні градації, числа, ранжировки, розбивки чи інші види об'єктів нечисловой природи) і виробити конкретні методи аналізу цієї інформації (обчислення медіани Кемени, статистичний аналіз люсианов й інші методи статистики об'єктів нечисловой природи й інших розділів прикладної статистики);

5) добір експертів відповідно до їх компетентністю;

6) формування експертної комісії (доцільно укладати договори з експертами про умови їхнього роботи та її оплати, твердження ЛПР складу експертної комиссии);

7) проведення збору експертної інформації;

8) аналіз експертної інформації;

9) за наявності кількох турів — повторення попередніх етапів;

10) інтерпретація отриманих результатів і підготовка укладання для ЛПР;

11) офіційне закінчення діяльності РГ.

Подбор експертів

Проблема добору експертів є одним із найскладніших. Вочевидь, як експертів необхідно використовувати тих осіб, чиї судження найбільш допоможуть прийняттю адекватного рішення. Але як виділити, знайти, підібрати таких людей? Треба чесно кажучи, що немає методів добору експертів, напевно які забезпечують успіх експертизи. Сьогодні ми думати повертатися до обговорення проблеми існування різних «партій «по-різному (див. вище) і звернімо увагу до різні інші боку добору экспертов.

Часто пропонують використовувати методи взаємооцінювання і самооцінки компетентності експертів. З одного боку, хто ж краще може знати можливості експерта, що вона сам? З іншого боку, при самооцінці компетентності скоріш оцінюється ступінь самовпевненості експерта, ніж її реальне компетентність. Тим паче, що саме поняття «компетентність «суворо не визначено. Можна його уточнювати, виділяючи складові, та заодно ускладнюється попередня частина діяльності експертної комиссии.

При використанні методу взаємооцінювання, крім можливості прояви особистісних і групових симпатій і антипатій, ж виконує функцію непоінформованість експертів про можливостях одне одного. За сучасних умов досить хороше ознайомлення з роботи будівельників і можливостями одне одного може лише у фахівців, багато років повертається працюючих спільно. Проте залучення таких пар фахівців була дуже доцільно, оскільки вони схожі один на друга.

Использование формальних показників (посаду, вчені ступінь і звання, стаж, число публікацій…), очевидно, може мати допоміжний характер. Успішність участі у попередніх експертизи — хороший критерій для діяльності дегустатора, лікаря, судді у спортивних змаганнях, тобто. таких експертів, які беруть участь у довгих серіях однотипних експертиз. Проте, на жаль, найбільш цікаві важливі унікальні експертизи великих проектів, які мають аналогов.

В разі, якщо процедуру експертного опитування передбачає спільну роботу експертів, велике значення мають їхні особистісні характеристики. Один «балакун «може паралізувати діяльність всій комісії стало. У таких випадках важливо дотримання регламенту роботи, розробленого РГ.

Есть корисний метод «снігової кулі «[1], у якому від кожної фахівця, залучуваного експертом, отримують кілька прізвищ тих, хто то, можливо експертом по аналізованої тематиці. Вочевидь, що з цих прізвищ зустрічалися до цього часу діяльності РГ, і деякі - нові. Процес розширення списку зупиняється, коли нові прізвища перестають зустрічатися. У результаті виходить досить великий список можливих експертів. Зрозуміло, що якби першому етапі все експерти були вже з «клану », те й метод «снігової кулі «дасть, швидше за все, осіб із цього «клану », думки і аргументи інших «кланів «будуть упущены.

Необходимо підкреслити, що добір експертів зрештою — функція Робочої групи, і ніякі методики добору не знімають із неї відповідальності. Інакше кажучи, саме у робочій групі лежить відповідальність за компетентність експертів, за їх принципову здатність вирішити поставлену задачу.

Математические моделей поведінки экспертов

Теория і практика експертні оцінки дуже математизированы.

Можно виділити дві взаємозалежні галузі - математичні моделей поведінки експертів і математико-статистичні методи аналізу експертних оценок.

Модели поведінки експертів зазвичай засновані на припущенні, що експерти оцінюють цікавий для ЛПР параметр (наприклад, ранжирування зразків виробів по конкурентоспроможності) з декотрими помилками, тобто. експерта розглядають як особливий прилад з властивою йому метрологическими характеристиками. Оцінки групи експертів розглядають як сукупність незалежних однаково розподілених випадкових величин зі значеннями у відповідній просторі об'єктів числової чи нечисловой природи. Зазвичай передбачається, що експерт частіше вибирає правильне рішення (тобто. адекватне реальності), ніж неправильне. У математичних моделях висловлюється у цьому, що щільність розподілу випадкової величини — відповіді експерта монотонно убуває з збільшенням відстані від центру розподілу — істинного значення параметра. Різні варіанти моделей поведінки експертів описані і вивчені в [9,12,18, 26,27,37,38] та інших публикациях.

На математичних моделях поведінки експертів засновані методи планування експертного опитування, збирання й аналізу відповідей експертів. Вочевидь, що більше припущень закладено у модель, то більше вписувалося висновків можна зробити з урахуванням експертні оцінки, аналізованих як статистичні дані - і тих менш обгрунтованими є ці висновки, якщо ні підстав щодо прийняття використовуваної моделі. Розглянемо тріаду моделей поведінки экспертов:

Параметрическая модель — непараметрическая модель — модель аналізу данных.

Параметрическим моделям відповідають найсильніші припущення, перевірити які зазвичай вдасться. Так, слід звернути увагу, які зазвичай неможливо обгрунтувати нормальність розподілу відповідей експертів. Причини відсутності нормальності у реальних даних, приватним випадком яких є експертні оцінки, докладно розглянуті в [39]. Додатковим чинником є обмеженість числа експертів — звичайно понад десять — 30, що робить неможливим надійну перевірку нормальності з допомогою такого ефективного стосовно зазвичай зустрічається альтернативам критерію, як критерій Шапиро-Уилка.

В початку 70-х років було проведено великий експеримент (з кінця з психофизиологией) з вивчення поведінки експертів. Кожен з них пред’явлено п’ять зразків. Експерти розглядалися як «прилади », які порівнювали зразки на вагу. Виявилося, що відповіді експертів однаково добре відповідають як моделі Терстоуна, і моделі Бредли-Терри-Льюса [9]. Адже ці моделі принципово різні, висновки з їхньої основі істотно отличаются!

На думку, сказаного досить, щоб ставитися з сумнівом до обгрунтованості застосування параметричних моделей експертних оценок.

Непараметрические моделі експертні оцінки спираються тільки припущення загального характеру про можливості вероятностно-статистического описи поведінки експертів з допомогою безперервних функцій распрекделения чи люсианов, параметрами котрим служать нечіткі безлічі - вектор ймовірностей відповідей «так ». Тож у багатьох ситуаціях такі видаються адекватными.

Под моделями аналізу даних розуміємо тут моделі, не використовують імовірнісні міркування. Вочевидь, вони найбільш адекватними є і захищені від критики, оскільки не претендують для виходу на межі наявних даних, вони передбачають побудови і обгрунтування будь-якої вероятностно-статистической моделі реального явища чи процесу. Проте якщо з їх допомогою, очевидно, не можна зробити ніяких висновків про майбутніх аналогічних ситуаціях. Адже експертні опитування проводяться заради обгрунтування поведінки у майбутньому! Інакше кажучи, методи лікування й моделі аналізу даних — найбільш обгрунтовані і найбільш бесполезные.

Итак, без ймовірнісних моделей замало. Оскільки параметричні моделі зазвичай неможливо обгрунтувати, залишається використовувати непараметрические.

Математические методи аналізу експертних оценок

При аналізі думок експертів можна використовувати найрізноманітніші статистичні методи, описувати їх — отже описувати всю прикладну статистику (з нашої оцінці, до прикладної статистиці належить щонайменше 1 000 000 статей та книжок, а їх щонайменше 100 000 є актуальними нині). У цьому вся затвердженні нічого немає нового: оскільки одна з наукових напрямів хоче розглядати експерта як прилад, які вимірюють цікавий для ЛПР параметр — номер кращого на конкурентоспроможність вироби, ранжирування проектів тощо. — те й в експертних оцінках воно зіставляє з результатами вимірів — традиційним виглядом даних, оброблюваних з допомогою методів прикладної статистики.

Тем щонайменше можна назвати основні широко використовувані нині методи математичного опрацювання експертні оцінки — це перевірка узгодженості думок експертів (чи класифікація експертів, якщо ні узгодженості) і усереднення думок експертів всередині узгодженої группы.

Поскольку відповіді експертів у багатьох процедурах експертного опитування — не числа, а такі об'єкти нечисловой природи, як градації якісних ознак, ранжировки, розбивки, результати парних порівнянь, нечіткі переваги й т.д., то тут для їх аналізу корисні методи статистики об'єктів нечисловой природи (див., наприклад, [18,22,23,38,40−42]).

Почему відповіді експертів носять нечисловой характер? Найбільш загальну відповідь у тому, що не мислять числами. У мисленні людини використовуються образи, слова, але не числа. Тому вимагати від експерта відповіді у вигляді числа — отже гвалтувати її розум. Навіть у економіці підприємці, приймаючи рішення, лише частково спираються на чисельні розрахунки. Це з умовного (т.е.определяемого довільно прийнятими угодами) характеру балансовою прибутку, амортизаційних відрахувань та інших економічних показників [43]. Тому фраза типу «фірма прагне максимізації прибутку «неспроможна мати чітко визначеного сенсу. Досить запитати: «Максимізація прибутку — який період? «.

Эксперт може порівняти два об'єкта, обрати оцінки типу «хороший », «прийнятний », «поганий », впорядкувати кілька об'єктів по привабливості, але може сказати, скільки один чи наскільки об'єкта кращий за інший. Інакше кажучи, відповіді експерта зазвичай обмірювані в порядковой шкалою, є ранжировками, результатами парних порівнянь і іншими об'єктами нечисловой природи, але з числами. Поширене оману у тому, що відповіді експертів намагаються розглядати, як числа, займаються «оцифровкой «їх думок, приписуючи полярним думкам чисельні значення — бали, які потім обробляють з допомогою методів прикладної статистики як результати звичайних фізичних вимірів. Що стосується довільності оцифровки висновки, отримані внаслідок обробки даних, можуть бути причетним до реальності. У [22,38] це твердження продемонстровано з прикладу неадекватного даним усереднення відносини школярів до професій: десяти градаціям були довільно приписані бали 1,2,3,…, 10. Так само природно було б послуговуватись бали 1,4,9,…, 100 чи (-50); INSERT INTO `ref` (`id_predmet`, `name_predmet`, `id_ref`, `name_ref`, `text_ref`) VALUES (-30); INSERT INTO `ref` (`id_predmet`, `name_predmet`, `id_ref`, `name_ref`, `text_ref`) VALUES (-5),…, 17, тобто. довільні десять числових значень, розташованих гаразд зростання. З позицій репрезентативною теорії вимірів [22,23] треба використовувати алгоритми аналізу даних, результати своєї роботи яких немає змінюються при допустимому перетворення шкалы.

Настоящая глава розділу звіту відповідає інший парадигмі проти багатьма публікаціями з питань статистики об'єктів нечисловой природи, наприклад, статтями [40−42]. Тут ми розглядаємо конкретну науково-практичну дисципліну, у якій постійно використовуються методи статистичного аналізу нечисловых даних, тоді як роботи [40−42] присвячені одного з розділів прикладної математичної статистики. Інакше кажучи, справжня глава розділу звіту написана з позицій фахівця з експертних оцінок, а статті [40−42] - з позицій специалста по статистичним методам.

Сначала ми розвивали тематику експертні оцінки, вивчаючи зокрема можливість використання в цій галузі методів репрезентативною теорії вимірів [44,45], нечітких множин [46,47], аксіоматичного запровадження метрик [22,48] тощо. Розроблені підходи, методи, результати розглядалися як частину математичної теорії експертного оцінювання. Відповідні статті [49−55] публікувалися в збірниках по експертних оцінок і було написані мовою експертні оцінки. І лише потім, після десятирічної роботи, було осмислене, що розроблена нова область прикладної математичної статистики, яка може застосовуватися не лише у експертних оцінок, а й у технічних науках, медицині, соціально-економічних дослідженнях, практично переважають у всіх напрвлениях наукових і практичних досліджень. З іншого боку, для роботи у сфері експертні оцінки, можливо, більш корисні практичні рекомендації [1], ніж згадані математичні результати і містять їх публікації. Але тепер що час повернутися до колишнього парадигмі, розроблений математичний апарат статистики об'єктів нечисловой природи використовуватиме рішення конкретних завдань практики експертних исследований.

Тесная зв’язок між експертними оцінками і статистикою об'єктів нечисловой природи дозволяє опустити тут опис математичного апарату експертні оцінки, відіславши читача до оглядам [40−42]. У даний главі розділу звіту ми обмежуємося обговоренням питань використання цього апарату (див. також попередню главу).

Проверка узгодженості і класифікація експертів

Статистические методи перевірки узгодженості залежить від математичної природи відповідей експертів. Відповідні статистичні теорії дуже важкі, коли ці відповіді - ранжировки чи розбивки, і прості, якщо відповіді - результати парних порівнянь. Звідси випливає рекомендація з організації експертного опитування: не намагайтеся одержати окрайчик від експерта ранжирування чи розбивка, важко це, та й наявні математичні методи неможливо далеко просунутися. Експерту набагато легше щокроку порівнювати лише 2 об'єкта. Нехай навіть він займається парними порівняннями. Непараметрическая теорія парних порівнянь (теорія люсианов) (основні результати теорії люсианов описані на роботах [32,53]) дозволяє вирішувати складніші завдання, ніж статистика ранжировок чи разбиений. Зокрема, замість гіпотези рівномірного розподілу так можна трактувати гіпотезу однорідності, тобто. замість збіги всіх розподілів з однією фіксованим (рівномірним) можна перевіряти лише збіг розподілів думок експертів між собою, що цілком природно трактувати як узгодженість їх думок. Отже, вдається позбутися неприродного припущення равномерности.

При відсутності узгодженості експертів природно розбити їх у групи подібних на думку. Це можна зробити методами кластер-анализа, попередньо запровадивши метрики у просторі думок експертів. Ідея Кемени [37] про аксіоматичному запровадження метрик знайшла у СРСР численних продовжувачів [18,22,48]. Проте методи кластер-анализа звичайно є эвристическими, зокрема, неможливо з позицій статистичної теорії обгрунтувати «законність «об'єднання двох кластерів до одного [56]. Є важливе виняток — для незалежних парних порівнянь (люсианов) розроблено методи, дозволяють перевіряти можливість об'єднання кластерів як статистичну гіпотезу [32,53]. Це — іще одна аргумент через те, щоб розглядати теорію люсианов як ядро математичних методів експертних оценок.

Нахождение підсумкового думки комісії експертів

Пусть думки комісії експертів, чи якийсь її частки визнані узгодженими. Яке ж итоговое (среднее, загальне) думка комісії? Відповідно до ідеї Кемени, описаної в монографії [37], треба знайти середнє думка як вирішення оптимизационной завдання — мінімізувати сумарне відстань від кандидати середні до думок експертів. У [26] так знайдене середнє думка названо «медианой Кемени » .

Математическая складність у тому, що думки експертів лежать у деякому просторі об'єктів нечисловой природи. Загальна теорія подібного усереднення побудовано роботах [22,40,54], зокрема, показано, що внаслідок сформульованого і доведеного А. И. Орловым узагальнення закону великих чисел середнє думка при збільшенні кількості експертів (чиї думки незалежні і однаково розподілені) наближається до певного межі, який природно назвати математичним очікуванням (випадкового елемента, має те розподіл, як і відповіді экспертов).

В конкретних просторах нечисловых думок експертів обчислення медіани Кемени може бути досить складно [21]. Крім властивостей простору, велика роль конкретних метрик. Так було в просторі ранжировок під час використання метрики [37], що з коефіцієнтом ранговій кореляції Кендалла, необхідно здійснювати досить складні розрахунки [21], тоді як застосування метрики з урахуванням коефіцієнта ранговій кореляції Спирмена призводить до упорядкування по середнім рангам, тобто. обчислюється елементарно [28].

Интервальные в експертних оцінках

С початку 80-х активно розвивається интервальная математика [57], як найбільш практично важливу складову її - интервальная статистика (огляд дано, наприклад, в [58]). У разрабатываемом нами підході основну увагу приділяється розрахунках якомога більшої відхилення значення аналізованої статистики, викликаного похибками у вихідних даних (т.н.нотны), і «раціонального обсягу вибірки », перевищення якого можуть призвести до значного підвищенню точності оцінювання. Основні ідеї, й результати статистики интервальных даних було опубліковано у статтях [59−63].

Перспективным є використання интервальных експертні оцінки: експерт називає не число, а інтервал як оцінки аналізованого параметра. Такі процедури вдало поєднують у собі кількісний і якісний підходи до експертних оцінках. Як приклад може бути процедуру регресійного аналізу, застосовується в экспертно-статистическом методі щоб одержати коефіцієнтів вагомості ознак, дозволяють найточніше відновити глобальне висновок об'єкт за результатами оцінок окремих параметров[36]. Теорія регресійного аналізу интервальных даних розвинена у [63]. Интервальность необхідно враховувати, якщо результати оцінок параметрів експертами, як і глобальні оцінки, задаються інтервалами, а чи не числами. Интервальные експертні оцінки — нове перспективний напрям у сфері експертні оцінки, яке лише починає развиваться.

При використанні методу интервальных експертні оцінки замість оцінювання показника чи характеристики об'єкта числом експерт вказує інтервал, в якій він (або він) міститься. В багатьох випадках оцінювання інтервалом більш природно для експерта, ніж оцінювання числом. Наприклад, капітану рибальського сейнера природніше вказати квадрат морської поверхні (тобто. інтервал з кожної координаті), у якому ймовірність хорошого улову, з його думці, максимальна, ніж вказати точні координати точки максимального улову. Интервальные в експертних оцінках успішно використовувалися з метою підвищення улову сельди-иваси в Охотськім морі та атлантичної оселедця у Баренцовому море, соответствуюшая система підтримки прийняття рішень була розроблена Інституті автоматики Далекосхідного відділення АН СРСР [64].

Другой приклад пов’язані з оцінюванням якості продукції. Оцінку показника, та й глобальну оцінку експерту природніше не як дійсного числа, а як значення якісного ознаки — «відмінно », «добре », «задовільно «тощо. При формалізації кожна така відповідь доцільно описувати інтервалом. Наприклад, оцінка «відмінно «описується інтервалом (0,8; 1,0), оцінка «задовільно «- інтервалом (0,4; 0,6) тощо. Такий підхід можна порівняти з використанням нечітких чисел як відповідей експертів, оскільки інтервали — окремі випадки нечітких множин [22, 23].

Выводы

В даний час ширшого застосування набували різні методи експертні оцінки. Вони незамінні під час вирішення складних завдань оцінювання і вибору технічних об'єктів, зокрема спеціального призначення, під час аналізу і прогнозуванні ситуацій з великою кількістю значимих чинників — скрізь, коли необхідно залучення знань, інтуїції і надзвичайно досвіду багатьох висококваліфікованих специалистов-экспертов.

Проведение експертних досліджень грунтується на використанні сучасних методів прикладної математичної статистики, передусім статистики об'єктів нечисловой природи, та сучасного комп’ютерна техніка. Найбільш просунуті результати у сфері експертні оцінки одержані СРСР 70−90-ті роки у межах комісії «Експертні оцінки й нечисловая статистика «Наукового Ради АН СРСР з комплексної проблемі «Кібернетика ». У сфері комп’ютерної техніки найперспективнішими видаються розробки фірми «Apple » .

Поэтому доцільно розробити готовий до підтримки проведення експертних досліджень АРМ «МАТЭК «(«Математика експертизи ») на базі РС фірми «Apple «із сучасних набутків у області теорії та практики експертні оцінки, у сфері прикладної математичної статистики, передусім статистики об'єктів нечисловой природы.

Список литературы

1. Орлов А.І. Допустимі середні у деяких завданнях експертні оцінки і агрегирования показників якості. — У рб. «Багатомірний статистичний аналіз в соціально-економічних дослідженнях », М.: Наука, 1974, с.388−393.

2. Орлов А.І. Стійкість в соціально-економічних моделях. — М.: Наука, 1979, 296 с.

3. Орлов А.І. Статистика об'єктів нгечисловой природи в експертних оцінок. — Тези доповідей III Всесоюзній наукової школи «Прогнозування науково-технічного прогресу », ч.1. — Мінськ, 1979, с.160−161.

4. Орлов А.І. Статистика об'єктів нечисловой природи й в експертних оцінках. — У рб. «Експертні оцінки. Питання кібернетики, вып.58 ». — М.: Науковий Рада АН СРСР з комплексної проблемі «Кібернетика » ., 1979, с.17−33.

5. Аналіз нечисловой інформацією соціологічних дослідженнях (під ред. В. Г. Андреенкова, А. И. Орлова, Ю.Н.Толстовой).- - М.: Наука, 1985, 220 с.

6. Орлов А.І. Статистика об'єктів нечисловой природи. Огляд/ Заводська лабораторія, 1990, т.56, No.3, с.76−83.

7. Orlov A.I. On the Development of the Statistics of Nonnumerical Objects. — In: DESIGN OF EXPERIMENTS AND DATA ANALYSIS: NEW TRENDS AND RESULTS. Ed. by prof.E.K.Letzky. Moscow: ANTAL, 1993. P.52−90;

8. Орлов А. И. Нечисловая статистика/ Наука й технологія у Росії, 1994, No.3 (5), з. 5−6.

9. Орлов А.І. Об'єкти нечисловой природи/ Заводська лабораторія. 1995. Т.61. No.3, с.41−52.

10. Орлов А.І. Імовірнісні моделі об'єктів нечисловой природи/ Заводська лабораторія. 1995. Т.61. No.5, с.41−51.

11. Орлов А.І. Зв’язок між середніми величинами і припустимими перетвореннями шкалы/Математические нотатки, 1981, т.30, No.4, с.361−368.

12. Орлов А.І. Асимптотика рішень екстремальних статистичних завдань. — У рб. «Аналіз нечисловых даних в системних дослідженнях. Праці ВНИИСИ, 1982, вып.10. «- М.: ВНИИСИ, 1982, с.4−12.

13. Орлов А.І. Непараметричні оцінки щільності в топологічних просторах. — У рб.: Прикладна статистика. — М.: Наука, 1983, с.12−40.

14. Орлов А.І. Класифікація об'єктів нечисловой природи з урахуванням непараметрических оцінок щільності. — У рб. «Проблеми комп’ютерного аналізу даних, і моделювання: Сб.науч.ст. «- Мінськ: Білоруський державний університет, 1991, с.141−148.

15. Орлов А.І. Деякі некласичні постановки в регрессионном аналізі та класифікації. — У рб. «Программно-алгоритмическое забезпечення аналізу даних в медико-біологічних дослідженнях ». — М.: Наука, 1987, с.27−40.

16. Орлов А.І. Нотатки з теорії класифікації/ Соціологія: методологія, методи, математичні моделі. 1992. No.2. С.28−50;

17. Орлов А.І. Асимптотическое поведінка статистик інтегрального типу/ Доповіді АН СРСР, 1974, т.219, No.4, с.808−811.

18. Орлов А.І. Асимптотическое поведінка статистик інтегрального типу. — У рб. «Імовірнісні процеси та їх докладання ». — М.: МИЭМ, 1989, с.118−123.

19. Орлов А.І. Завдання оптимізації і нечіткі перемінні. — М.: Знання, 1980, 64 с.

20. Орлов А.І. Математика нечіткості/ Наука життя й, 1982, No.7, с.60−67.

21. Orlov A.I. The connection between fuzzy and random sets. — In: Moscow International conference «Fuzzy sets in Informatics «(Moscow, September 20−23, 1988). Abstracts. — М.: ПЦ АН СРСР, 1988, с.51−52.

22. Орлов А.І. Випадкові безлічі: закони великих чисел, перевірка статистичних гипотез/Теория ймовірностей і його застосування, 1978, т.23, вып.2, с.462−464.

23. Орлов А.І. Випадкові безлічі з незалежними елементами (люсианы) та його застосування. — У рб. «Алгоритмічне і забезпечення прикладного статистичного аналізу ». — М.: Наука, 1980, з. 287−308.

24. Орлов А.І. Нечіткі і випадкові безлічі. — У рб.: Прикладний багатомірний статистичний аналіз. — М.: Наука, 1978, с.262−280.

25. Орлов А.І. Теорія нечіткості і випадкові безлічі. — У рб. «Математичне моделювання в психології. Питання кібернетики, вып.50 ». — М.: Науковий Рада АН СРСР з комплексної проблемі «Кібернетика », 1979, с.35−43.

26. Орлов А.І. Перевірка узгодженості думок експертів в моделі незалежних парних порівнянь. — У рб.: Експертні оцінки на системному аналізі. Праці ВНИИСИ, 1979, вып.4. «- М.: ВНИИСИ, 1979, с.37−46.

27. Орлов А.І. Парні порівняння в асимптотике Колмогорова. — У рб. «Експертні оцінки на завданнях управління ». — М.: ИПУ, 1982, с.58−66.

28. Орлов А.І., Рыданова Г. В. Про патентування деяких результатах статистики об'єктів нечисловой природи. — У рб. «МАтериалы I Всесоюзній школи-семінару. Программно-алгоритмическое забезпечення аналізу даних в медико-біологічних дослідженнях (3−6 червня 1985 р., Пущино). «- Пущино: Біологічний центр АН СРСР, 1986, с.61−71.

29. Орлов А.І., Раушенбах Г. В. Метрика подоби: аксіоматичне запровадження, асимптотическая нормальність. — У рб. «Статистичні методи оцінювання і перевірки гіпотез. Міжвузівський збірник наукової праці. «- Перм: Пермський державний університет, 1986, с.148−157.

30. Тюрин Ю. Н., Литвак Б. Г., Орлов А.І., Сатаров Г. А., Шмерлинг Д. С. Аналіз нечисловой інформації. — М.: Науковий Рада АН СРСР з комплексної проблемі «Кібернетика », 1981, 80 с.

31. Орлов А.І. Деякі імовірнісні питання теорії класифікації.- У рб.: Прикладна статистика. — М.: Наука, 1983, с.166−179.

32. Орлов А.І. Математичні методи класифікації, статистика об'єктів нечисловой природи й медико-біологічні дослідження. — У рб. «Доповіді Московського Товариства Випробувачів Природи 1984 р. Загальна біологія. Цитогенетический і математичний підходи до вивчення біосистем ». — М.: Наука, 1986, с.145−150.

33. Орлов А.І. Кордони застосовності ймовірнісних моделей в завданнях класифікації. — У рб. «Доповіді Московського Товариства Випробувачів Природи 1984 р. Загальна біологія. Цитогенетический і математичний підходи до вивчення біосистем ». — М.: Наука, 1986, с.179−182.

34. Орлов А.І. Класифікація об'єктів нечисловой природи. — У рб. «Теорія і практика класифікації і систематики в народному господарстві «. Тези доповідей Всесоюзного науково-технічного симпоизиума міжнародною участю (Пущино, 17−19 грудня 1990 р.). — М.: ВІНІТІ, 1990, с.93−94.

35. Орлов А.І. Про порівнянні алгоритмів класифікації за результатами обробки реальних даних. — У рб. «Доповіді Московського Товариства Випробувачів Природи 1985 р. Загальна біологія. Нові дані досліджень структури та функцій біологічних систем ». — М.: Наука, 1987, с.53−56.

36. Орлов А.І. Деякі імовірнісні питання кластер-анализа. — У рб. «Доповіді Московського Товариства Випробувачів Природи 1985 р. Загальна біологія. Нові дані досліджень структури та функцій біологічних систем ». — М.: Наука, 1987, с.79−82.

37. Орлов А.І. Розподіл показника Мєшалкіна якості алгоритму класифікація і метод перевірки застосовності. — У рб. «IV Всесоюзна науково-технічна конференція «Застосування багатовимірного статистичного аналізу, у економіки та оцінці якості продукції «. Тези доповідей. I частина. — Тарту, Тартуський державний університет, 1989, с.133−134.

38. Орлов А.І. Організаційні методи управління наукою і статистика об'єктів нечисловой природи. — Тези доповідей Всесоюзного симпозіуму «Медичне наукознавство і автоматизація інформаційних процесів ». — М., 1984, с.215−216.