Метод експертних оцінок

Зміст

• Вступ
• 1. Методи експертних оцінок
• 1.1 Ранжування
• 1.2 Конкордація
• 1.3 Ранжування з рангами, що співпали
• 2. Практична частина
• Додаток 1 Вихідні дані
• Додаток 2 Нормовані дані
• Додаток 3 Коефіцієнт конкордації за всіма дисциплінами
• Додаток 4 Коефіцієнт конкордації за гуманітарними дисциплінами
• Додаток 5 Коефіцієнт конкордації за математичними дисциплінами
• Висновок
• Перелік використаної літератури

Вступ

Сучасна економіка пред’являє нові, вищі вимоги до управління. Питання вдосконалення методів управління мають зараз дуже важливе значення, оскільки саме в цій сфері є ще більші резерви зростання ефективності народного господарства.

Істотним чинником підвищення наукового рівня управління є застосування при підготовці рішень математичних методів і моделей.

Проте, повна математична формалізація техніко-економічних задач часто нездійсненна внаслідок їх якісної новизни і складності. У зв’язку з цим все ширше використовуються експертні методи, під якими розуміють комплекс логічних і математико-статистичних методів і процедур, направлених на отримання від фахівців інформації, необхідної для підготовки і вибору раціональних рішень.

Експертні методи застосовують зараз в ситуаціях, коли вибір, обґрунтування і оцінка наслідків рішень не можуть бути виконані на основі точних розрахунків. Такі ситуації нерідко виникають при розробці сучасних проблем управління суспільним виробництвом і, особливо, при прогнозуванні і довгостроковому плануванні. В наші дні експертні оцінки знаходять широке застосування в соціально-політичному і науково-технічному прогнозуванні, в плануванні народного господарства, галузей, об'єднань, в розробці крупних науково-технічних, економічних і соціальних програм, в рішенні окремих проблем управління.

В ході розвитку суспільного виробництва зростають не тільки складність управління, але і вимоги до якості схвалюваних рішень. Для того, щоб підвищити обґрунтованість рішень і врахувати численні чинники, що роблять вплив на їх результати, необхідний різносторонній аналіз, заснований як на розрахунках, так і на аргументованих думках керівників і фахівців, знайомих із станом справ і перспективами розвитку в різних областях практичної діяльності. Застосування експертних методів забезпечує активну і цілеспрямовану участь фахівців на всіх етапах ухвалення рішень, що дозволяє істотно підвищити їх якість і ефективність.

При рішенні економічних і виробничих задач часто доводиться стикатися з необхідністю формалізації систем, що характеризуються великою кількістю факторів. При цьому у безлічі факторів можуть бути виділені такі, які не можуть бути виміряні і виражені в яких-небудь одиницях. До них можна віднести відповідальність постачальника, престиж фірми, надійність партнера, переваги покупця у виборі товару, думку населення про методи роботи органів місцевої влади і т.д. У той же час існує клас параметризованих факторів, які можна виміряти в тих або інших одиницях, але іноді вимірювання цих факторів вимагає довгого часу і великих витрат на дослідження системи. У таких випадках доцільно удатися до думки експертів — фахівців, чий досвід в досліджуваній наочній області може істотно поповнити об'єм наявних відомостей про об'єкт.

Методи обліку факторів, що непараметризуються при дослідженні систем, або параметризуються, але важко вимірюються, називають методами експертних оцінок. Ці методи дозволяють об'єктивно обробляти якісні дані, одержані в результаті досліду фахівців, анкетування, тестування і іншими способами.

Метою роботи є вивчення методу експертних оцінок — одного з найважливіших етапів прийняття грамотних управлінських рішень.

1. Методи експертних оцінок

Суть методу експертних оцінок полягає в проведенні експертами інтуїтивно-логічного аналізу проблеми з кількісною оцінкою думок і формальною обробкою результатів. Комплексне використовування інтуїції, логічного мислення і кількісних оцінок з їх формальною обробкою дозволяє одержати ефективне рішення проблеми.

При виконанні своєї ролі експерти виконують дві основні функції: формують об'єкти і виконують вимірювання їх характеристик .

Формування об'єктів здійснюється експертами на основі логічного мислення і інтуїції. При цьому велику роль виконують знання і досвід експерта.

Вимірювання характеристик об'єктів вимагає від експертів знання теорії вимірювань.

Сьогодні в нашій країні і за рубежем метод експертних оцінок широко застосовується для вирішення важливих проблем різного характеру. У різних галузях, об'єднаннях і на підприємствах діють постійні або тимчасові експертні комісії, що формують рішення по різних складних проблемах, що не формалізуються.

Проблеми, що погано формалізуються, умовно можна розділити на два класи. До першого класу відносяться проблеми, відносно яких є достатній інформаційний потенціал, що дозволяє успішно вирішувати ці проблеми. Основні труднощі в рішенні проблем першого класу при експертній оцінці полягають в реалізації існуючого інформаційного потенціалу, шляхом підбору експертів, побудови раціональних процедур досліду і застосування оптимальних методів обробки його результатів. При цьому методи досліду і обробки ґрунтуються на використовуванні принципу «хорошого» вимірника. Даний принцип означає, що виконуються наступні гіпотези:

1. експерт є зберігачем великого об'єму раціонально обробленої інформації, і тому він може розглядатися як якісне джерело інформації;

2. групова думка експертів близька до істинного рішення проблеми.

Якщо ці гіпотези вірні, то для побудови процедур досліду і алгоритмів обробки можна використовувати результати теорії вимірювань і математичної статистики.

До другого класу відносяться проблеми, відносно яких інформаційний потенціал знань недостатній для упевненості в справедливості вказаних гіпотез. При рішенні проблем з цього класу експертів вже не можна розглядати як «хороших вимірників». Тому необхідно дуже обережно проводити обробку результатів експертизи. Застосування методів усереднювання, справедливих для «хороших вимірників», в даному випадку може привести до великих помилок. Наприклад, думка одного експерта, сильно відмінна від думок решти експертів, може виявитися правильною. У зв’язку з цим для проблем другого класу в основному повинна застосовуватися якісна обробка.

Область застосування методу експертних оцінок вельми широка. Типові задачі, вирішувані методом експертних оцінок наступні:

1) визначення най вірогідніших інтервалів часу здійснення сукупності подій;

2) альтернативні варіанти ухвалення рішень в певній ситуації з оцінкою їх переваги.

3) складання переліку можливих подій в різних областях за певний проміжок часу;

4) визначення альтернативних варіантів рішення задачі з оцінкою їх переваги;

Для вирішення перерахованих типових задач в даний час застосовуються різні різновиди методу експертних оцінок. До основних видів відносяться:

ь опитування та інтерв'ювання

ь мозковий штурм

ь дискусія

ь нарада?

ь оперативна гра

ь сценарій?

Кожний з цих видів експертного оцінювання володіє своїми перевагами і недоліками, що визначають раціональну область застосування. У багатьох випадках найбільший ефект дає комплексне застосування декількох видів експертизи.

Анкетування і сценарій передбачає індивідуальну роботу експерта.

Інтерв'ювання може здійснюватися як індивідуально, так і з групою експертів. Решта видів експертизи передбачає колективну участь експертів, в роботі. Незалежно від індивідуальної або групової участі експертів в роботі доцільно одержувати інформацію від безлічі експертів. Це дозволяє одержати, на основі обробки даних, достовірніші результати, а також нову інформацію про залежність явищ, подій, фактів, думок експертів, що не міститься в явному вигляді у висловах експертів.

1.1 Ранжування

Ранжування є процедурою встановлення відносної значущості досліджуваних об'єктів на основі їх переваги один перед одним. При ранжуванні кожному з об'єктів ставиться у відповідність ранг.

Ранг — це показник, що характеризує порядкове місце оцінюваного об'єкту або явища в групі інших таких же об'єктів або явищ. Найпереважнішому об'єкту звичайно привласнюється перший ранг, а якнайменш переважному — останній. Перевага одного об'єкту перед іншим може бути різною по різних ознаках. Так одне підприємство в порівнянні з іншим може випускати якіснішу продукцію, але поступатися за шкалою «консервативність — прогресивність» технології. Тому, ранжуючи об'єкти, звичайно обумовлюють ознаку, по якому ці об'єкти порівнюються. У світлі цього під ранжуванням розуміється розташування n об'єктів у порядку убування або зростання якої-небудь ознаки X. Ознака X, як правило якісний, характеризує деякі властивості, властиві всім порівнюваним об'єктам.

Хай n об'єктів проранжовані по деякій ознаці X:

Таблиця 1.1

Ранг Хi вказує те місце, яке займає i-й об'єкт серед всіх п об'єктів, ранжованих відповідно до ознаки X. Величина рангу Хi є числом натурального ряду: 1, 2, 3, 4 і т.д. Точність і надійність ранжування залежать від кількості об'єктів — чим їх менше, тим вища різниця і тим надійніше можна встановити ранг.

Ранжування п об'єктів m експертами по одній ознаці X приводить до появи наступної таблиці:

Таблиця 1.2

Природньо, що думки фахівців далеко не завжди повністю співпадають. Тому для остаточного визначення місця, займаного об'єктом порівняно з іншими об'єктами, підраховується сума рангів для кожного об'єкту. Об'єкту, що одержав мінімальну суму, привласнюється перший ранг, об'єкту з максимальною сумою — останній ранг. Решта об'єктів одержує проміжні ранги.

Розглянемо приклад, коли п’ять експертів визначають смакові якості хліба, що випікається на шести різних підприємствах:

Таблиця 1.3

Як видно з приведеної таблиці, третє підприємство може бути визнане найкращим, а п’яте — найгіршим в частині смакових характеристик хліба, що випускається ними.

Слід зазначити, що підсумковий ранг визначає лише місце, займане кожним об'єктом серед інших об'єктів. Для більшого числа досліджень цього досить, але іноді важливо визначити — як далеко відстають один від одного досліджувані об'єкти. У цих випадках метод ранжування застосовується в поєднанні з методом безпосередньої оцінки. Для цього розробляється шкала інтервалів — міра оцінки якісної ознаки. Кожній градації шкали інтервалів привласнюється певний бал. Потім на шкалі виділяються рівні інтервали. Задачею експертів є розміщення всіх досліджуваних об'єктів в певний оцінний інтервал. Внаслідок цього кожний з об'єктів одержує певний бал. По сумі балів об'єкти одержують місця в підсумковій ранжировці, а кількісною мірою випередження або відставання об'єктів по досліджуваній ознаці служитиме різниця у відповідних середніх балах.

Хай в розглянутому вище прикладі експертам належало б дати безпосередню оцінку смакових якостей хліба за 100-балльной шкалою. Результати експертних оцінок зведені в наступній таблиці:

Таблиця 1.4

За підсумками розрахунків видно, що хоча розподіл місць серед підприємств зберігся, розрив між підприємствами, що зайняли перше і друге місце, в сім разів менше, ніж розрив між підприємствами, яким експерти відвели друге і третє місця.

1.2 Конкордація

При обробці матеріалів колективної експертної оцінки використовуються методи теорії рангової кореляції. Для кількісної оцінки ступеня узгодженості думок експертів застосовується коефіцієнт конкордації W, який дозволяє оцінити, наскільки узгоджені між собою ряди переваги, побудовані кожним експертом. Його значення знаходиться в межах 0 < W < 1, де W = 0 означає повну протилежність, а W = 1 — повний збіг ранжировок. Практично достовірність вважається хорошою, якщо W = 0,7−0,8.

Невелике значення коефіцієнта конкордації, що свідчить про слабку узгодженість думок експертів, є наслідком того, що в даній сукупності експертів дійсно відсутня спільність думок або усередині даної сукупності експертів існують групи з високою узгодженістю думок, проте узагальнені думки таких груп протилежні.

Після того, як об'єкти відповідно до деякої ознаки розставлені по місцях важливе місце займає питання про надійність одержаних оцінок. Мірою надійності одержаних рангових оцінок є ступінь згоди експертів або, іншими словами, ступінь узгодженості оцінок, проставлених кожним з експертів. Такий ступінь узгодженості характеризується коефіцієнтом конкордації (згоди):

де S (d²) — сума квадратів відхилень сумарних рангів, виставлених кожному об'єкту всіма експертами від середнього сумарного рангу :

Або

Де

.

Величина S (d²) характеризує максимально можливе значення S (d²). Очевидно, що чим вища згода між експертами, тим більший буде розкид виставлених сум кожному об'єкту рангів щодо їх середнього значення і тим вище значення S (d²). При повному збігу думок експертів, коли всі вони дадуть однакові оцінки по кожному об'єкту, значення S (d²) прийме значення S_max(d²), а коефіцієнт конкордації прийме значення, рівне одиниці. У свою чергу за відсутності якої б не було згоди між експертами всі сумарні ранги будуть симетрично розподілені навколо свого середнього значення, унаслідок чого величина S (d²) і коефіцієнт конкордації рівні нулю.

Для визначення значення S_max (d²) вважатимемо, що всі експерти привласнили однакові ранги всім об'єктам від значення 1 до значення п у вигляді чисел натурального ряду. Тоді значення S, — утворюють ряд:

m, 2m, 3m,…nm,

у порядку, не обов’язково відповідному нумерації об'єктів. При цьому середнє значення S буде дорівнювати:

.

Віднімаючи від кожного елементу приведеного ряду значення S одержимо наступний ряд значень

Далі неважко знайти суму квадратів цього ряду :

Відповідно до одержаного результату коефіцієнт конкордації можна записати в наступному вигляді :

Розрахуємо коефіцієнт конкордації для розглянутого вище прикладу по таблиці 1.3

Близьке до одиниці значення коефіцієнта конкордації свідчить про наявність згоди між експертами.

експертна оцінка ранжування конкордація

1.3 Ранжування з рангами, що співпали

Іноді при ранжуванні об'єктів окремі експерти не можуть розділити переваги серед двох або більшої кількості об'єктів. При цьому вони ставлять таким об'єктам однакові ранги. Такий вид ранжування називається ранжуванням з рангами, що співпали. Приклад ранжування з рангами, що співпали, приведений в таблиці 1.5.

Таблиця 1.5.

Особливістю такого ранжування є змінний діапазон зміни рангів, що проставляються кожним експертом. Це в свою чергу веде до нерівноважності думок експертів. Так по приведеній таблиці видно, що думки першого експерта оцінюються рангами від одного до трьох, а думки другого — від одного до шести. Звичний аналіз привів би до того, що думка другого експерта виявилася б «важче» за думку першого експерта без підстав.

Щоб усунути таку нерівноважність думок при ранжуванні з рангами, що співпали, застосовують принцип нормування ранжировок. Ранжировка вважається нормованою, якщо сума рангів в ній однакова для кожного експерта і рівна сумі, яка була б одержана за відсутності повторення рангів, тобто

де

п — кількість ранжованих об'єктів.

Для того, щоб ранжировку привести до нормальної необхідно перевести її у вигляд, в якому об'єктам, що мають однакові ранги, приписується ранг, рівний середньому значенню місць, які ці об'єкти поділили між собою. Результат нормування приведених даних представлений в таблиці 1.6.

Процедура нормування здійснює вирівнювання ранжировок і наближення до об'єктивності в розміщенні об'єктів. Легко переконатися, що розміщення об'єктів до і після нормування (таб.1.5 і таб.1.6) відрізняються один від одного.

Розрахунок коефіцієнта конкордації у випадку з рангами, що співпали, здійснюється за наступною формулою:

Де

t_j —_{_} кількість повторень кожного рангу j-м експертом. Зробимо розрахунок коефіцієнта конкордації за даними таблиці

Згода експертів незначна, оскільки W~0.6

експертна оцінка ранжування конкордація

2. Практична частина

Перевіримо теоретичні знання на прикладі дослідження успішності студентів першого курсу. Для виконання дослідження застосуємо метод ранжування з рангами, що співпали. За вихідними даними додатку 1.

Приведемо ранжировку до нормального виду. Для цього необхідно перевести її у вигляд, в якому об'єктам, що мають однакові ранги, приписується ранг, рівний середньому значенню місць, які ці об'єкти поділили між собою. Результат нормування приведених даних представлений в додатку 2

Згідно з формулою, (де п — кількість ранжованих об'єктів), сума всіх рангів по кожному експерту повинна бути однакова, в даному випадку вона дорівнює 465.

Під експертами маємо на увазі предмети, з яких були виставлені оцінки викладачами інституту (m=7).

Тоді студентів, яких оцінили експерти (викладачі) будемо вважати за об'єкти ранжування (n=30).

Для розрахунку коефіцієнта конкордації використаємо наступні формули:

Розрахунки за даними формулами наведені в додатку 3

За даними додатку 3 видно, що узгодженість експертів за всіма предметами — є низькою, оскільки коефіцієнт конкордації близький до нуля W=0,10.

Визначимо коефіцієнт конкордації для гуманітарних дисциплін, розрахунки відображені в додатку 4

Таким чином за даними додатку 4 можна зробити висновок про відсутність згоди між експертами, оскільки коефіцієнт конкордації W=0,22 близький до нуля.

Тепер визначимо коефіцієнт конкордації для математичних дисциплін, розрахунки відображені в додатку 5.

З додатку 5 можна зробити висновок, що узгодженість експертів з математичних дисциплін — також є не значною, оскільки коефіцієнт конкордації W=0,24.

Додаток 1

Вихідні дані

Додаток 2 Нормовані дані

Додаток 3 Коефіцієнт конкордації за всіма дисциплінами

Додаток 4 Коефіцієнт конкордації за гуманітарними дисциплінами

Додаток 5 Коефіцієнт конкордації за математичними дисциплінами

Висновок

Завданням моєї курсової роботи було дослідити успішність студентів першого курсу.

Для виконання своєї мети я використовував метод ранжування з рангами, що співпали. Який полягає в тому, що при ранжуванні об'єктів окремі експерти не можуть розділити переваги серед двох або більшої кількості об'єктів. При цьому вони ставлять таким об'єктам однакові ранги. Щоб усунути нерівноважність думок при ранжуванні з рангами, що співпали, застосовують принцип нормування ранжировок. Ранжировка вважається нормованою, якщо сума рангів в ній однакова для кожного експерта і рівна сумі, яка була б одержана за відсутності повторення рангів.

Після того, як об'єкти відповідно до деякої ознаки розставлені по місцях важливе місце займає питання про надійність одержаних оцінок. Мірою надійності одержаних рангових оцінок є ступінь згоди експертів або, іншими словами, ступінь узгодженості оцінок, проставлених кожним з експертів. Такий ступінь узгодженості характеризується коефіцієнтом конкордації.

Аналізуючи підсумки сесії даної групи, використовуючи метод ранжування з рангами, що співпали можна зробити наступні висновки:

Ш За даними додатку 3 видно, що узгодженість експертів за всіма предметами — є низькою, оскільки коефіцієнт конкордації близький до нуля W=0,10.

Ш За даними додатку 4 можна зробити висновок про відсутність згоди між експертами, оскільки коефіцієнт конкордації W=0,22 близький до нуля.

Ш З додатку 5 можна зробити висновок, що узгодженість експертів з математичних дисциплін — також є не значною, оскільки коефіцієнт конкордації W=0,24.

Перелік використаної літератури

1. Учбово-методичний посібник: Методи експертних оцінок. ІП «Стратегія» м. Жовті Води, 1997.

2. Вентцель Е. С. Теория вероятностей. М.: Наука, 1969. 368 с.

3. Евланов Л. Г., Кутузов В. А. Экспертные оценки в управлении. М.: Экономика, 1996 133 с.

4. Добров Г. М., Ершов Ю. В., Левин Е. И., Смирнов Л. П. Экспертные оценки в научно-техническом прогнозировании. Киев: Наукова думка, 1994. 263с.