Naukowa biblioteka elektroniczna. Metody ocen eksperckich Dlaczego menedżer potrzebuje ocen eksperckich?

Metoda ekspercka- jest to rozwiązywanie problemów w oparciu o osąd (opinię) wysoko wykwalifikowanych specjalistów z odpowiedniej dziedziny wiedzy (nauka, technologia, ekonomia itp.). Dokonując eksperckiej oceny zdarzeń (zjawisk) należy: jasno sformułować cel badania; prawidłowo określić czas zdarzeń; opracować organizację badań (wywiadów) i kwestionariuszy; utworzyć grupę ekspertów; zapewnić wzajemną niezależność swoich sądów, brak autorytetu stanowiska lub osobowości wpływającej na wybór alternatyw oraz uogólnić uzyskane wyniki.

Istotą eksperckich metod prognozowania jest w wypracowywaniu zbiorowej opinii grona specjalistów w tej dziedzinie. Metoda ocen eksperckich polega na tym, że eksperci przeprowadzają analizę problemu z ilościową oceną orzeczeń i formalnym przetwarzaniem wyników. Za rozwiązanie problemu uważa się uogólnioną opinię biegłego uzyskaną w wyniku przetwarzania.

Ranking ekspertów. Ranking stosuje się w przypadkach, gdy

gdy bezpośrednia ocena jest niemożliwa lub niepraktyczna. W której

„Ranking obiektów zawiera jedynie informację, który z nich

jest bardziej preferowany i nie zawiera informacji o tym, ile lub ile

ile razy jeden obiekt jest preferowany nad innym.

Metoda rankingu alternatyw: Istota metody polega na uporządkowaniu porównywanych alternatyw według stopnia preferencji danego ryzyka.Jeżeli takich alternatyw jest znacząco mało (nie>20), wówczas ekspertowi przedstawiany jest cały zestaw opcji alternatywnych, i wskazuje najbardziej preferowany spośród nich. Następnie ekspert wybierze najkorzystniejszą opcję spośród pozostałych. I tak dalej, aż wszystkie oceniane alternatywy zostaną uszeregowane.Jeżeli oszacowane odchylenia są większe, to najpierw dzieli się je na uporządkowane grupy według preferowanych metodą klasyfikacji eksperckiej, a następnie szereguje w ramach grup.

25. Istota metod eksperckich. Alternatywna metoda rankingu

Eksperckie metody decyzyjne to metody gromadzenia i przetwarzania opinii ekspertów (specjalistów, respondentów) na temat rozpatrywanego problemu w celu podjęcia niezbędnych decyzji. Eksperci w zależności od zadania

mogą być zarówno specjalistami, jak i konsumentami.Metody te są stosowane do rozwiązywania półstrukturalnych i nieustrukturyzowanych

problemy strukturalne, gdy matematyczny opis problemu jest niemożliwy lub brakuje niezbędnych informacji statystycznych. Metody te opierają się na doświadczeniu, wiedzy i intuicji specjalistów (ekspertów); Informacje otrzymane od ekspertów przetwarzane są przy wykorzystaniu metod statystycznych.

Metody eksperckie służą do rozwiązywania następujących problemów: - opracowywanie i ocena alternatyw rozwiązania problemów, - porządkowanie listy alternatyw (różnych obiektów) i wybieranie jednego lub większej liczby najlepszych alternatyw według jednego lub większej liczby kryteriów, - ocena wpływu czynników. na określonym wskaźniku lub sytuacji, - przypisywanie wartości liczbowych, wartości wskaźników jakościowych, - prognozowanie rozwoju rozpatrywanej sytuacji.

Metody eksperckie służą do oceny jakości i konkurencyjności towarów, konkurencyjności przedsiębiorstwa, rynków, preferencji konsumentów, konkurentów i dostawców, zagrożeń, czynników wpływających na decyzję itp. Aby zastosować metodę ekspercką, tworzona jest grupa ekspercka i grupa robocza, które zajmują się organizacją pracy i naliczaniem punktów. W grupach eksperckich i grupach roboczych pracują specjaliści zajmujący się tą problematyką. Optymalny

liczba ekspertów od 5 do 12 osób. Informacje zbierane są od ekspertów za pomocą kwestionariuszy.

Podejmowanie decyzji w oparciu o metody eksperckie obejmuje:

1. Określenie przedmiotu i celu egzaminu;

2. Utworzenie grupy roboczej;

3. Wybór obiektów i kryteria ich oceny;

4. Opracowanie skali oceny obiektów według kryteriów i kwestionariuszy ankietowych

5. Utworzenie grupy ekspertów;

6. Procedura opracowywania i sprawdzania scenariuszy;

7. Gromadzenie i analiza informacji eksperckich;

8. Przetwarzanie informacji eksperckich;

9. Analiza wyników egzaminów;

10.Podejmowanie decyzji.

Metody eksperckie klasyfikuje się według następujących kryteriów:

liczba ekspertów: - indywidualna, - zbiorowa, liczba kryteriów: - jednokryterialna, - wielokryterialna, liczba etapów: - jednoetapowa, - wieloetapowa.

Zastosowano metodę rankingową kiedy trzeba coś zorganizować

obiekty (decyzje, wskaźniki, czynniki) według jakiegoś kryterium i wybierz spośród nich

jeden lub więcej z nich jest najlepszy lub najważniejszy.

Metodę tę stosuje się, jeśli liczba alternatyw nie jest zbyt duża

twarzą w twarz i używa jednego kryterium, aby uporządkować alternatywy. Metoda o godz

zmienia się również kolejność kilku czynników według stopnia ich wpływu

na rozważanym wskaźniku lub sytuacji, jeśli brakuje danych statystycznych

Istota metody zamykania w uporządkowaniu porównywanych alternatyw według stopnia preferencji danego ryzyka.Jeżeli takich alternatyw jest znacząco mało (nie>20), wówczas ekspertowi przedstawiany jest cały zestaw alternatywnych opcji i wskazuje spośród nich najbardziej preferowaną . Następnie ekspert spośród pozostałych wybierze opcję najkorzystniejszą itd., aż do uszeregowania wszystkich ocenianych alternatyw, jeżeli oszacowane odchylenia są większe, to najpierw dzieli się je na grupy uporządkowane według grupy preferowanej, stosując metodę klasyfikacji eksperckiej, a następnie ranking w grupie.

Metoda porównania w parach

Jest jedną z najpowszechniejszych metod oceny preferencja porównawcza opcji alternatywnych Metodą porównań parach ekspert otrzymuje sekwencyjnie pary opcji alternatywnych, dla których musi wskazać tę bardziej preferowaną. Jeżeli biegły uzna to za trudne w odniesieniu do którejkolwiek pary obiektów, ma on prawo uznać porównywane opcje alternatywne za równoważne lub nieporównywalne.Po sekwencyjnym przedstawieniu ekspertowi wszystkich opcji alternatywnych ustala się ich preferencje porównawcze według oceny danego eksperta.
W wyniku porównań parach, jeśli ekspert okaże się konsekwentny w swoich preferencjach, wszystkie oceniane opcje alternatywne mogą zostać uszeregowane według tego lub innego kryterium, wskaźnika lub właściwości.
Jeżeli ekspert uznał jakieś alternatywne opcje za nieporównywalne, wówczas efektem będzie jedynie częściowe ich uporządkowanie.W praktyce stosowania metody porównań parami często mamy do czynienia z niespójnością, a nawet sprzecznymi ocenami eksperta. w takich przypadkach konieczne jest przeprowadzenie specjalnej analizy wyników badań.
Zauważamy również, że przy ocenie odpowiednio dużej liczby alternatywnych opcji procedura porównywania parami wszystkich możliwych par staje się dla eksperta pracochłonna. W takim przypadku wskazane jest zastosowanie odpowiednich modyfikacji metody porównań parami.
Przykładowo, jeśli założymy zgodność ocen eksperta, to w praktyce wystarczy jednorazowa prezentacja każdej opcji alternatywnej w połączeniu z inną opcją, zgodnie z którą wszystkie cechy porównywane są ze sobą w parach. Na podstawie porównań parami w dalszym przetwarzaniu ustalane są wyniki dla każdego atrybutu. Aby ułatwić ekspertowi dokonywanie porównań, charakterystyki (A, B, C,...N) wprowadza się do tabeli zarówno w poziomie, jak i w pionie.

Ekspert wypełnia komórki takiej tabeli. Porównanie atrybutu ze sobą daje jeden. W pierwszej komórce biegły zapisuje jeden, w drugiej wynik porównania pierwszego atrybutu z drugim, w trzeciej wynik porównania pierwszego atrybutu z trzecim itd. Przechodząc do drugiej linii, ekspert zapisuje w pierwszej komórce wynik porównania drugiego atrybutu z pierwszym, w drugim – jeden, w trzeciej – porównanie drugiego atrybutu z trzecim. stół umieszczony powyżej przekątnej służy jako odbicie dolnej połowy. Aby uniknąć nieporozumień, zaleca się wypełnienie tylko połowy tabeli (powyżej lub poniżej przekątnej). Tym samym odpowiedzi ekspertów zostaną zaprezentowane w formie poniższej matrycy.

Z reguły w badaniu układów sterowania najczęściej stosuje się metody eksperckie. Jako metoda naukowa metoda ekspercka została opracowana stosunkowo niedawno i po raz pierwszy nazwano ją „Delphi”. Następnie opracowano inne podobne metody w oparciu o oceny ekspertów. Początkowo metody eksperckie wykorzystywano głównie do rozwiązywania problemów związanych z prognozowaniem w obszarze nauki i techniki, później zaczęto je stosować w innych dziedzinach, w tym w zarządzaniu.

Istota metod eksperckich, zarówno przy rozwiązywaniu problemów badań CS, jak i przy ich stosowaniu w praktyce podejmowania decyzji w innych dziedzinach nauki, technologii i zarządzania, polega na uśrednianiu na różne sposoby opinii (sądów) ekspertów-specjalistów na dany temat. rozważany.

Najbardziej powszechnymi obecnie metodami eksperckimi klasyfikacji opartymi na ocenie preferencji przy podejmowaniu decyzji zarządczych są:

metoda rangowa;
metoda oceny bezpośredniej;
metoda porównawcza.

Ta ostatnia metoda obejmuje dwie odmiany:

porównanie par i porównanie sekwencyjne.

W zasadzie każdy z nich ma wiele wspólnego, a główna różnica polega na tym, że ocena (pomiar) badanych obiektów zarządzania systemem odbywa się w różny sposób. Ponadto każda metoda ma pewne zalety i wady.

Wspólność każdej metody polega na kolejności procedur ich stosowania. Obejmują one:

organizacja ekspertyz;
zbieranie opinii ekspertów;
przetwarzanie wyników ekspertyz.

Praktyka pokazuje, że ograniczenie subiektywizmu, a co za tym idzie zwiększenie obiektywności wyników stosowania metod eksperckich, w istotny sposób zależy od przestrzegania zasad organizacji, przygotowania i prowadzenia pracy eksperckiej. Zależy to w szczególności od organizacji ekspertyz, wyznaczenia osoby odpowiedzialnej za organizację i prowadzenie prac ekspertyz, a także od powołania komisji eksperckich.

Do ogólnego kierowania pracami eksperckimi należy wyznaczyć przewodniczącego komisji eksperckiej. Komisja składa się z dwóch grup: roboczej i eksperckiej.

Na czele grupy roboczej stoi jej lider (organizator). Do jego podporządkowania zaliczają się pracownicy techniczni, którzy wykonują prace techniczne związane z przygotowaniem materiałów do pracy ekspertów, przetwarzaniem wyników pracy ekspertów itp.

W skład grupy eksperckiej wchodzą eksperci - specjaliści od rozwiązywania problemów.

Tworzenie grupy eksperckiej przeprowadza kierownik (organizator) grupy roboczej. W takim przypadku wykonywanych jest szereg sekwencyjnych działań:

przedstawienie problemu i określenie obszaru działania grupy;
sporządzenie wstępnej listy ekspertów - specjalistów w rozpatrywanej dziedzinie działalności;
analiza składu jakościowego wstępnej listy ekspertów i doprecyzowanie tej listy;
uzyskanie zgody eksperta na udział w pracach;
sporządzenie ostatecznej listy grupy ekspertów.

Liczba ekspertów w grupie ekspertów zależy od wielu czynników i warunków. W szczególności od wagi rozwiązywanego problemu, dostępnych możliwości itp. W większości przypadków ustalana jest minimalna wymagana liczba ekspertów, co często staje się najważniejszym warunkiem ustalenia liczby zaproszonych ekspertów.

Wybór konkretnych ekspertów odbywa się na podstawie analizy jakości każdego z proponowanych ekspertów. W tym celu stosuje się różne metody:

ocena kandydatów na ekspertów na podstawie analizy statystycznej wyników dotychczasowej działalności jako ekspertów w zakresie problemów projektowania organizacyjnego;
zbiorcza ocena kandydata na eksperta jako specjalisty w tej dziedzinie;
samoocena kandydata na eksperta;
analityczne określenie kompetencji kandydatów na ekspertów.

Bardzo często stosuje się kilka metod jednocześnie. Na przykład metody samooceny i zbiorowej oceny cech proponowanego eksperta. Takie podejście umożliwia rozsądny dobór ekspertów o niezbędnych cechach. Należy jednak przyznać, że metoda oceny dotychczasowych osiągnięć wydaje się bardziej obiektywna niż metody samooceny i oceny zbiorowej.

Niezależnie od wybranej metody oceny kwalifikacji kandydatów, eksperci muszą w każdym przypadku spełniać następujące wymagania:

kompetencje zawodowe w zakresie projektowania systemów organizacyjnych;
kreatywność (umiejętność rozwiązywania problemów twórczych);
intuicja naukowa;
zainteresowanie obiektywnymi wynikami pracy eksperckiej;
efektywność (opanowanie, umiejętność przechodzenia z jednego rodzaju czynności na inny, komunikacja, niezależność oceny, motywacja działań);
obiektywność;
nonkonformizm.

Gromadzenie opinii eksperckich wiąże się z rozwiązaniem następujących kwestii:

ustalanie miejsca i czasu zbierania opinii;
określenie formy i metodologii zbierania opinii;
ustalenie liczby rund zbierania opinii;
ustalenie składu i zawartości dokumentacji;
określenie trybu utrwalania wyników ekspertyz w dokumentach.

Bardzo ważne jest określenie formy zbierania opinii biegłych. Wśród wszystkich znanych form zbierania opinii wyróżnić możemy formę indywidualną, zbiorową oraz mieszaną, czyli tzw. Formy te różnią się przede wszystkim czynnikiem udziału eksperckiego w pracy (indywidualnego lub zbiorowego). Każda z tych form ma wiele odmian:

ankieta;
wywiad;
dyskusja;
burza mózgów;
spotkanie;
gra biznesowa.

Wszystkie mają swoje zalety i wady. W wielu przypadkach projektowania organizacyjnego każdą z tych odmian stosuje się łącznie, co często daje świetny efekt i obiektywizm. Takie podejście do zbierania opinii eksperckich, czyli w formie mieszanej, stosuje się w przypadku pewnej niepewności co do problemu, rozbieżności zdań indywidualnych lub braku porozumienia ekspertów w trakcie dyskusji zbiorowej.

Jednocześnie najczęściej w praktyce projektowania systemów organizacyjnych wykorzystuje się kwestionariusze, które pozwalają ekspertom na zebranie opinii mniejszym nakładem pracy, jednak pod względem czasu zbieranie opinii przy zastosowaniu tego typu jest dłuższe.

Zazwyczaj proces opracowywania kwestionariusza obejmuje:

ustalenie formy i treści odwołania do biegłego;
wybór rodzaju pytań;
formułowanie pytań;
przedstawienie informacji niezbędnych biegłemu;
opracowanie formularza ankiety.

Ciekawostką jest wybór typów pytań, wśród których w ostatnich latach najczęściej stosowane są tzw. wachlarzowe, zamknięte i otwarte (fan – zakłada jedną odpowiedź z szeregu odpowiedzi przedstawionych wcześniej w ankiecie; zamknięte – „ tak”, „nie”, „nie wiem”; pytanie otwarte, na które odpowiedź może być udzielona w dowolnej formie).

Podczas przesłuchania ekspertów bardzo ważne jest, aby poprawnie, prosto i jednoznacznie, krótko i jednocześnie z niezbędną kompletnością sformułować pytania w kwestionariuszach, a w tekście noty wyjaśniającej wskazać, czego dokładnie wymaga się od biegłego.

Aby odpowiedzieć na pytania, to znaczy podjąć decyzję przez każdego eksperta, przeprowadza się obiektywne i (lub) subiektywne pomiary danego obiektu w formie jawnej lub ukrytej. W pomiarze subiektywnym eksperci z reguły posługują się jedną z najczęściej stosowanych metod (rankingi, ocena bezpośrednia, porównania).

Stosując metodę rang, ekspert dokonuje rankingu (uporządkowania) badanych obiektów systemu organizacyjnego w zależności od ich względnej ważności (preferencji). W tym przypadku zazwyczaj obiektowi najbardziej preferowanemu przypisuje się rangę 1, a obiektowi najmniej preferowanemu rangę ostatnią, równą bezwzględnie liczbie zamawianych obiektów. Porządek ten staje się dokładniejszy przy mniejszej liczbie obiektów badań i odwrotnie.

Metoda ta pozwala zatem określić miejsce badanego obiektu wśród innych obiektów CS. Zaletą metody rang jest jej prostota. Wady to:

brak możliwości uszeregowania z dostateczną dokładnością liczby obiektów, których liczba przekracza 15-20;
nie odpowiada na pytanie, jak istotne są od siebie badane obiekty.

Metoda ta, pomimo swojej prostoty, jest stosowana w praktyce badania układów sterowania, dość rzadko.

Metodą oceny bezpośredniej jest uporządkowanie badanych obiektów (np. przy doborze parametrów do kompilacji modelu parametrycznego) w zależności od ich ważności poprzez przypisanie każdemu z nich punktów. W tym przypadku najważniejszy obiekt otrzymuje (oceni) największą liczbę punktów w przyjętej skali. Najpopularniejszy zakres skali ocen wynosi od 0 do 1, od 0 do 5, od 0 do 10, od 0 do 100. W najprostszym przypadku ocena może wynosić 0 lub 1. Czasami ocena dokonywana jest w formie werbalnej. Na przykład „bardzo ważne”, „ważne”, „nieważne” itp., co czasami przekłada się również na skalę punktową (odpowiednio 3, 2, 1) dla większej wygody w przetwarzaniu wyników ankiety.

Stosowanie tej metody stosuje się tylko wtedy, gdy biegli mają pewność, że są w pełni poinformowani o właściwościach badanego obiektu, co często się nie zdarza.

Metodę porównawczą przeprowadza się, jak wspomniano wcześniej, poprzez porównanie parami i porównanie sekwencyjne.

W porównaniu parami ekspert porównuje badane obiekty według ich ważności parami, identyfikując ten najważniejszy w każdej parze obiektów. Ekspert przedstawia wszystkie możliwe pary obiektów w formie zapisu każdej kombinacji (obiekt I – obiekt 2, obiekt 2 – obiekt 3 itd.) lub w formie matrycy.

W wyniku porównania obiektów w każdej parze ekspert wyraża opinię na temat znaczenia tego lub innego obiektu, to znaczy preferuje jeden z nich. Czasami eksperci dochodzą do wniosku, że każdy z obiektów w parze jest równoważny. Uporządkowanie w każdej parze obiektów nie zapewnia oczywiście natychmiastowego uporządkowania wszystkich rozpatrywanych obiektów, dlatego konieczne jest późniejsze przetworzenie wyników porównania. Najwygodniej jest przeprowadzać porównania parami i ich przetwarzanie z wykorzystaniem macierzy jako narzędzia.

W niektórych przypadkach, przy dużej liczbie badanych obiektów, na wyniki porównań par wpływają czynniki psychologiczne, to znaczy czasami preferuje się nie obiekt, który jest faktycznie lepszy od innych, ale ten, który jest zapisany jako pierwszy na liście par lub znajduje się w macierzy nad porównywaną. Dlatego czasami, aby wykluczyć wpływ psychologiczny, przeprowadza się porównanie podwójnych par, to znaczy ponownie przeprowadza się porównanie par, ale tylko z odwrotnym ułożeniem obiektów i odpowiednio obiektów w każdej parze.

Metoda porównań parami jest bardzo prosta i pozwala na badanie większej liczby obiektów (w porównaniu np. metodą rang) i z większą dokładnością.

Istota metody porównań sekwencyjnych jest następująca. Ekspert porządkuje wszystkie badane obiekty według ich ważności (np. metodą rang). Każdemu obiektowi przypisuje się wstępnie określoną liczbę punktów, np. w skali od 0 do I (jako sposób oceny). Ponadto najważniejszy obiekt otrzymuje ocenę równą I, a wszystkim pozostałym w kolejności malejącej ich ważności, czyli od I do 0. Następnie ekspert decyduje, czy ważność obiektu o randze I będzie większa niż suma punktów wszystkich innych obiektów. Jeżeli tak, to ocena pierwszego obiektu wzrasta aż do spełnienia tego warunku, a jeżeli nie, to biegły redukuje tę wartość do takiej wartości liczbowej, że staje się ona mniejsza od sumy ocen wszystkich pozostałych obiektów.

Wartości ocen drugiego, trzeciego i kolejnych ważnych obiektów ustalane są sekwencyjnie w taki sam sposób, jak ocena pierwszego najważniejszego obiektu.

Metoda porównań sekwencyjnych jest najbardziej pracochłonna dla ekspertów. Jest to szczególnie widoczne, gdy liczba badanych obiektów przekracza sześć lub siedem.

Przetwarzanie zebranych ekspertyz odbywa się zarówno w ujęciu ilościowym (dane liczbowe), jak i jakościowym (informacje merytoryczne). Stosuje się do tego różne metody. Należy zauważyć, że w obecności danych liczbowych, aby rozwiązać problemy z wystarczającym materiałem informacyjnym, stosuje się głównie metody uśredniania ocen eksperckich. Jednak nawet przy dostępnych danych liczbowych, jeśli nie ma wystarczających informacji na dany temat (co często zdarza się przy projektowaniu systemu sterowania), obok ilościowych metod przetwarzania danych eksperckich stosuje się także metody analizy i syntezy jakościowej.

Przy stosowaniu rozważanych metod eksperckich (stopnie itp.) opinie ekspertów często nie są do końca zbieżne. Dlatego też konieczna jest ilościowa ocena stopnia zgodności opinii biegłych oraz ustalenie przyczyn rozbieżności w ocenach. Miarę spójności ustala się oczywiście na podstawie danych statystycznych całej grupy ekspertów.

Do oceny miary zgodności opinii ekspertów zwykle stosuje się współczynniki zgodności – dyspersję i entropię.

Współczynnik rozproszenia zgodności przyjmuje wartości od 0 do 1. Przy wartości 0 nie ma zgodności między opiniami ekspertów, przy wartości 1 zgodność jest zupełna. Jeśli współczynnik rozproszenia zgodności jest większy niż 0,5, wówczas konsystencję zwykle uważa się za wystarczającą.

Współczynnik entropii zgodności (inaczej zwany współczynnikiem zgodności) również waha się od 0 do 1 i także przy większej wartości współczynnika zgodności – jest to większa miara spójności.

W przypadkach, gdy opinie ekspertów nieznacznie się różnią, powyższe współczynniki dają w przybliżeniu tę samą miarę zgodności. Jeśli jednak istnieją znaczne różnice w opiniach ekspertów, wówczas wartości współczynników będą się znacząco różnić. Łączna analiza współczynników pozwala zatem obiektywnie określić stopień zgodności opinii biegłych.

Zastosowanie wszystkich rozważanych metod eksperckich, pomimo ich wad, wskazuje na ich skuteczność w badaniach i projektowaniu układów sterowania. Ponadto największy efekt osiąga się stosując kilka metod jednocześnie.

Rodzaj metody eksperckiej można zaliczyć do metod socjologicznych, która opiera się na badaniu, zbieraniu i analizie opinii respondentów (na przykład rzeczywistych lub potencjalnych konsumentów). Takie badanie i zbieranie opinii odbywa się najczęściej w formie pisemnej – poprzez dystrybucję ankiet lub ustnie (na konferencjach, aukcjach, wystawach, w placówkach oświatowych itp.). Stosując tę metodę należy także stosować metody ankietowe oparte na naukowych podstawach, matematyczne zasady gromadzenia i przetwarzania informacji.

Przetwarzanie danych eksperckich i socjologicznych oraz obliczanie miar spójności wymaga pracochłonnych obliczeń. Dlatego przy gromadzeniu i przetwarzaniu wyników informacji eksperckiej i socjologicznej należy szerzej stosować technologię komputerową. Są ku temu możliwości, gdyż automatyzacja prowadzenia i przetwarzania wyników tego rodzaju danych stała się przedmiotem tworzenia szeregu produktów programowych.

I. Astaszkina, W. Miszyn

Badania układów sterowania,

Problemy prognostyczne rozwiązywane metodami oceny eksperckiej obejmują dwa formalnie niezwiązane ze sobą elementy: identyfikację możliwych wariantów zagospodarowania obiektu prognozy oraz ich ocenę. Analiza metod eksperckich wskazuje na możliwość wykorzystania burzy mózgów w celu określenia możliwych opcji rozwoju. Ich zastosowanie pozwala uzyskać produktywne rezultaty w krótkim czasie i zaangażować wszystkich ekspertów w aktywny proces twórczy.

Metody burzy mózgów można sklasyfikować na podstawie obecności lub braku informacji zwrotnej pomiędzy liderem a uczestnikami burzy mózgów w procesie rozwiązywania określonej sytuacji problemowej. Obecność informacji zwrotnej pozwala uczestnikom skoncentrować swoją uwagę wyłącznie na opcjach, które są przydatne według określonych kryteriów rozwiązania sytuacji problemowej. Jednak sztucznie wprowadzając ograniczenia, zostajemy pozbawieni możliwości dostrzeżenia całej różnorodności podejść, a co za tym idzie, istnieje możliwość przeoczenia oryginalnych myśli, które mają potencjał, ale nie są obecnie rozpoznawane, wartość. Brak informacji zwrotnej, tj. Maksymalna stymulacja wypowiedzi polega na prowadzeniu skomplikowanych i zakrojonych na szeroką skalę prac już na etapie ich oceny. Obecna sytuacja wymagała opracowania metody „burzy mózgów”, która umożliwiłaby sprawną i szybką ocenę opcji, bez ograniczania ich liczby.

Istotą tej metody jest aktualizacja potencjału twórczego specjalistów podczas „burzy mózgów” dotyczącej sytuacji problemowej, która w pierwszej kolejności polega na generowaniu pomysłów, a następnie ich niszczeniu (niszczeniu, krytyce) poprzez formułowanie kontridei. Praca metodą „burzy mózgów” polega na realizacji kolejnych sześciu etapów.

Pierwszy etap- utworzenie grupy uczestników burzy mózgów (pod względem wielkości i składu). Optymalną wielkość grupy uczestników określa się empirycznie: za najbardziej produktywne uznawane są grupy 10-15 osób. Skład grupy uczestników polega na ich ukierunkowanym doborze: 1) spośród osób mniej więcej tej samej rangi, jeśli uczestnicy się znają; 2) od osób o różnej randze, jeżeli uczestnicy się nie znają (w tym przypadku należy zrównać każdego z uczestników poprzez przypisanie mu numeru, a następnie zwrócić się do uczestnika po numerze). Jeśli chodzi o potrzebę specjalizacji uczestnika w obszarze sytuacji problemowej, warunek ten nie jest obowiązkowy dla wszystkich członków grupy. Ponadto wysoce pożądane jest, aby w skład tej grupy wchodzili specjaliści z innych dziedzin wiedzy, posiadający wysoki poziom erudycji ogólnej i rozumiejący sens sytuacji problemowej.

Druga faza- sporządzenie notatki problemowej dla uczestnika burzy mózgów. Jest on opracowywany przez grupę ds. analizy sytuacji problemowych i zawiera opis tej metody oraz opis sytuacji problemowej. Opis ten zawiera: zasadę, na której opiera się metoda; warunki zapewniające największą skuteczność burzy mózgów, autorstwo wyników ataku; podstawowe zasady przeprowadzenia ataku. Opis sytuacji problemowej zawiera: przyczyny wystąpienia sytuacji problemowej; analiza przyczyn i możliwych konsekwencji zaistniałej sytuacji problemowej (wskazane jest wyolbrzymianie konsekwencji, aby mocniej odczuć potrzebę rozwiązania sprzeczności); analiza światowych doświadczeń w rozwiązywaniu takiej sytuacji problemowej (jeśli występuje); klasyfikacja (usystematyzowanie) istniejących sposobów rozwiązania sytuacji problemowej, sformułowanie sytuacji problemowej w formie pytania centralnego z hierarchią pytań podrzędnych.

Trzeci etap- generowanie pomysłów. Rozpoczyna się od ujawnienia przez prezentera treści problematycznej notatki. Przewidując opis metody, prezenter skupia uwagę uczestników na zasadach prowadzenia burzy mózgów: 1) wypowiedzi uczestników powinny być jasne i zwięzłe; 2) niedopuszczalne są sceptyczne uwagi i krytyka wcześniejszych wystąpień; 3) każdy uczestnik ma prawo występować wielokrotnie, ale nie pod rząd; 4) niedopuszczalne jest odczytywanie z rzędu listy pomysłów, którą uczestnicy mogą wcześniej przygotować. Opowiadając na nowo treść sytuacji problemowej, prezenter koncentruje uwagę uczestników na głównym zagadnieniu. Prezenter musi konstruować swoje wystąpienie w taki sposób, aby obudzić w uczestnikach wrażliwość psychologiczną, aby poczuli potrzebę zrobienia tego, o co ich poprosi. Pożądaną reakcją uczestników jest chęć celowego myślenia, ukierunkowanego na rozwiązanie sytuacji problemowej.

Aktywną aktywność facylitatora zakłada się dopiero na początku sesji burzy mózgów. Gdy uczestnicy będą wystarczająco podekscytowani, proces zgłaszania nowych pomysłów następuje spontanicznie. Lider w tym procesie odgrywa rolę pasywną, regulując uczestników zgodnie z zasadami ataku. Należy pamiętać, że im bardziej zróżnicowane i im większa liczba wypowiedzi, tym szersze i głębsze jest rozpatrywane zagadnienie i tym większe prawdopodobieństwo pojawienia się wartościowych wypowiedzi. Biorąc pod uwagę powyższą okoliczność, przywódca przeprowadzając atak musi kierować się następującymi zasadami:

Skoncentruj uwagę uczestników na sytuacji problemowej, ustalając ramy z jej konkretnymi wymaganiami i rygorem terminologicznym wyrażanych pomysłów;

Nie uznawaj żadnego pomysłu za fałszywy, nie potępiaj ani nie przestawaj badać żadnego pomysłu, tj. rozważyć dowolny pomysł niezależnie od jego pozornego znaczenia i wykonalności;

Witamy ulepszenia lub kombinacje pomysłów, oddając głos w pierwszej kolejności tym, którzy chcą zabrać głos w związku z poprzednim wystąpieniem;

Zapewnij uczestnikom wsparcie i zachętę, których potrzebują, aby uwolnić ich od zahamowań;

Stwórz luźną atmosferę, przyczyniając się w ten sposób do aktywacji uczestników ataku.

Czwarty etap- systematyzacja pomysłów wyrażanych na etapie generacji. Grupa analizy sytuacji problemowych dokonuje systematyzacji pomysłów w następującej kolejności: sporządzana jest lista nomenklatury wszystkich wyrażonych pomysłów; każda z idei jest sformułowana w powszechnie używanych terminach; identyfikowane są powielone i uzupełniające się pomysły; zduplikowane i (lub) uzupełniające się pomysły są łączone i formułowane jako jeden złożony pomysł; identyfikowane są znaki, dzięki którym można łączyć pomysły; pomysły są łączone w grupy według wybranych cech; lista pomysłów jest zestawiana w grupy (w każdej grupie pomysły są zapisywane w kolejności ich ogólności: od bardziej ogólnych do szczegółowych, uzupełniających lub rozwijających bardziej ogólne pomysły).

Piąty etap- niszczenie (niszczenie, krytykowanie) usystematyzowanych pomysłów (specjalistyczna procedura oceny pomysłów pod kątem praktycznej wykonalności w procesie burzy mózgów, gdy każdy z nich jest poddawany wszechstronnej krytyce przez uczestników sesji burzy mózgów).

Podstawową zasadą etapu niszczenia jest rozpatrywanie każdej z usystematyzowanych idei jedynie z punktu widzenia przeszkód w jej realizacji, tj. uczestnicy ataku wysunęli argumenty obalające usystematyzowaną ideę. Szczególnie cenny jest fakt, że w procesie destrukcji może wygenerować się kontridea, która formułuje istniejące ograniczenia i wysuwa propozycję możliwości usunięcia tych ograniczeń.

Grupa uczestników burzy mózgów na tym etapie składa się z wysoko wykwalifikowanych specjalistów z omawianej dziedziny, jej liczebność sięga 20-25 osób, a czas jej trwania wynosi 1,5 godziny. Proces destrukcji trwa, dopóki każda z usystematyzowanych idei na liście nie zostanie skrytykowana. Wyrażona krytyka i przeciwne pomysły są nagrywane na magnetofonie.

Szósty etap- ocena uwag krytycznych i sporządzenie listy pomysłów mających zastosowanie w praktyce. Realizacją tego etapu zajmuje się grupa analizy sytuacji problemowej:

1. Sporządza się listę wszystkich uwag krytycznych otrzymanych na etapie niszczenia. W razie potrzeby krytyczne uwagi są wyjaśniane, a duplikaty odrzucane.

2. Sporządza się tabelę podsumowującą etapy systematyzacji i niszczenia pomysłów, a także listę wskaźników praktycznego zastosowania pomysłów (wskaźniki te są specyficzne w każdym przypadku i zależą od konkretnej sytuacji problemowej). Pierwsza kolumna tabeli to wyniki etapu usystematyzowania pomysłów; drugi - uwagi krytyczne obalające idee; trzeci - wskaźniki praktycznego zastosowania pomysłów; czwarty - kontridee wyrażane na etapie niszczenia.

3. Każda uwaga krytyczna i kontrpomysł są oceniane:

a) zostaje skreślony z tabeli, jeżeli zostanie odrzucony przez co najmniej jeden wskaźnik praktycznego zastosowania;

b) nie jest przekreślony, jeżeli nie zaprzecza temu żaden wskaźnik.

4. Sporządza się ostateczną listę pomysłów; Na listę przenoszone są tylko te pomysły, które nie zostały obalone uwagami krytycznymi i pozostają w tabeli, a także kontrpomysły.

Metoda kolektywnego generowania pomysłów została sprawdzona w praktyce i pozwala znaleźć rozwiązanie grupowe przy ustalaniu możliwych wariantów rozwoju obiektu prognozy, z wyłączeniem ścieżki kompromisu, gdy pojedynczej opinii nie można uznać za wynik bezstronnego analiza problemu.

Metoda Delphi. W ciągu ostatnich dwóch dekad powstały odrębne metody, które w pewnym stopniu pozwalają uporządkować statystyczne przetwarzanie opinii ekspertów-ekspertów i uzyskać mniej lub bardziej zgodną opinię. Metoda Delphi jest jedną z najpowszechniejszych metod eksperckiej oceny przyszłości, czyli tzw. prognozowanie eksperckie. Metoda ta została opracowana przez amerykańską korporację badawczą RAND i służy do określania i oceny prawdopodobieństwa wystąpienia określonych zdarzeń.

Metoda Delficka opiera się na następującej zasadzie: w naukach niedokładnych opinie ekspertów i subiektywne sądy z konieczności muszą zastąpić dokładne prawa przyczynowości odzwierciedlone w naukach przyrodniczych.

Metoda Delphi pozwala podsumować opinie poszczególnych ekspertów w spójną opinię grupową. Ma wszystkie wady prognoz opartych na ocenach eksperckich. Jednakże prace przeprowadzone przez firmę RAND Corporation w celu udoskonalenia tego systemu znacznie zwiększyły elastyczność, szybkość i dokładność prognozowania.

Metodę Delphi charakteryzują trzy cechy, które odróżniają ją od konwencjonalnych metod grupowego oddziaływania ekspertów. Cechy te obejmują: a) anonimowość ekspertów; b) wykorzystanie wyników poprzedniej edycji badania; c) charakterystyka statystyczna odpowiedzi grupowej.

Anonimowość polega na tym, że w trakcie procedury eksperckiej oceny przewidywanego zjawiska lub obiektu uczestnicy grupy eksperckiej nie są sobie znani. W takim przypadku interakcja członków grupy podczas wypełniania kwestionariuszy jest całkowicie wyeliminowana. W wyniku takiego oświadczenia autor odpowiedzi może zmienić swoją opinię bez publicznego ogłaszania tego.

Wykorzystanie wyników poprzedniej rundy badania jest następujące: ponieważ interakcja grupowa odbywa się bezpośrednio poprzez odpowiedź na kwestionariusz, specjalista lub organizacja prowadząca badania Delphi wydobywa z kwestionariuszy tylko te informacje, które odnoszą się do tego problemu. Synoptyk uwzględnia opinie ekspertów „za” i „przeciw” dla każdego punktu widzenia. Głównym efektem tego systemu jest uniemożliwienie grupie przyjęcia własnych celów i założeń. System ten pozwala grupie specjalistów skoncentrować swoje wysiłki na początkowych zadaniach, zamiast zakładać za każdym razem coś nowego.

Cechą statystyczną odpowiedzi grupowej jest to, że grupa specjalistów sporządza prognozę zawierającą punkt widzenia jedynie większości ekspertów, tj. punktu widzenia, z którym większość grupy mogłaby się zgodzić. Niewiele jednak wskazuje na stopień różnicy zdań, jaki mógł istnieć pomiędzy członkami grupy. Zamiast tego metoda Delphi wykorzystuje statystyczną charakterystykę odpowiedzi, która uwzględnia opinię całej grupy. Każda odpowiedź w obrębie grupy jest brana pod uwagę przy konstruowaniu mediany, a rozrzut odpowiedzi charakteryzuje się wielkością odstępu między kwartylami. Innymi słowy, odpowiedź grupy można przedstawić jako medianę i dwa kwartyle, tj. w postaci liczby, której szacunki przez połowę członków grupy były większe od tej liczby, a przez drugą połowę mniejsze. Metoda Delphi umożliwia członkom jury efektywną interakcję, choć wyniki tej interakcji kontroluje lider grupy poprzez podsumowanie argumentów. Członkowie jury zmieniają swoje oceny właśnie wtedy, gdy argumenty ich kolegów przekonują, a poza tym uparcie trzymają się przeciwstawnych punktów widzenia.

Metoda Delphi jest wykonalna i skuteczna w uzyskiwaniu korzyści z udziału grupy w przygotowaniu prognozy; jednocześnie metoda ta minimalizuje lub eliminuje większość trudności związanych z pracą komisji, choć może wymagać więcej czasu niż prowizja z osobistą komunikacją członków, zwłaszcza jeśli ankieta przeprowadzana jest drogą pocztową.

W rozwoju metody Delphi stosowana jest korekcja krzyżowa. Przyszłe wydarzenie jest przedstawiane jako ogromna liczba połączonych i przekształcających się ścieżek rozwoju.

Przedstawiając prognozę zmian naukowo-technicznych jako D 1, D 2, ..., D n i odpowiadające im prawdopodobieństwa jako P 1, P 2, ..., P n i zakładając P 1 = 100%, znajdujemy zmiany wartości P 2, ... , Р i , …, Р n .

Po wprowadzeniu korelacji krzyżowej wartości każdego zdarzenia, ze względu na wprowadzone specyficzne powiązania, ulegną zmianie dodatniej lub ujemnej, dostosowując w ten sposób prawdopodobieństwa danych zdarzeń. W celu przyszłej zgodności modelu z warunkami rzeczywistymi można do modelu wprowadzić elementy losowości.

Istotą metod oceny eksperckiej przy opracowywaniu prognoz jest określenie zgodności opinii eksperckich na temat obiecujących kierunków rozwoju obiektu prognozowanego, sformułowanych wcześniej przez poszczególnych specjalistów, a także ocena aspektów zagospodarowania obiektu, których nie można określone innymi metodami (na przykład obliczeniami analitycznymi, eksperymentem itp.).

I. Tworzenie grup. W celu organizacji ocen eksperckich tworzone są grupy robocze, których zadaniem jest prowadzenie ankiety, opracowywanie materiałów i analiza wyników zbiorczej oceny eksperckiej. Grupa robocza powołuje ekspertów, którzy udzielają odpowiedzi na zadawane pytania dotyczące perspektyw rozwoju tej branży. Liczba ekspertów zaangażowanych w opracowanie prognozy może wynosić od 10 do 150 osób, w zależności od złożoności obiektu.

II. Formułowanie celu globalnego systemu. Przed zorganizowaniem ankiety wśród ekspertów konieczne jest wyjaśnienie głównych kierunków rozwoju obiektu, a także sporządzenie matrycy odzwierciedlającej cel ogólny, cele cząstkowe i sposoby ich osiągnięcia. Jednocześnie podczas wstępnej analizy wraz z grupą specjalistów ustalane są najważniejsze cele i cele pośrednie rozwiązania zadania. Przez środki osiągnięcia celu rozumie się obszary badań naukowych i prac rozwojowych, których wyniki mogą zostać wykorzystane do osiągnięcia celu. Jednocześnie obszary badań naukowych i prac rozwojowych nie powinny się ze sobą przecinać.

III. Opracowanie ankiety. Polega na opracowaniu pytań, które zostaną zaproponowane ekspertom. Formę pytania można opracować w formie tabel, jednak ich treść powinna być zdeterminowana specyfiką projektowanego obiektu lub branży. W takim przypadku pytania należy zestawić według określonego schematu strukturalno-hierarchicznego, tj. od pytań szerokich do wąskich, od złożonych do prostych.

Przeprowadzając badanie ekspertów, należy zadbać o jednoznaczne zrozumienie poszczególnych zagadnień, a także niezależność ocen ekspertów.

IV. Obliczanie ocen eksperckich. Niezbędne jest opracowanie materiałów z ocen eksperckich, które charakteryzują uogólnioną opinię i stopień zgodności poszczególnych ocen eksperckich. Przetwarzanie danych pochodzących z ocen eksperckich służy jako materiał źródłowy do syntezy hipotez prognostycznych i opcji rozwoju branży.

Ostateczną ocenę ilościową ustala się za pomocą czterech głównych metod ocen eksperckich i wielu ich odmian:

1) prosta metoda rankingowa (lub metoda preferencji);

2) sposób ustalania współczynników wagowych;

3) metoda porównań parami;

4) metoda porównań sekwencyjnych.

Prosta metoda rankingowa polega na poproszeniu każdego eksperta o uszeregowanie cech w kolejności preferencji. Numer jeden wskazuje najważniejszą cechę, numer dwa wskazuje następną najważniejszą cechę itd. Uzyskane dane podsumowano w poniższej tabeli.

Tabela 2.1 Eksperckie oceny cech (kierunki badań)

Kolejność preferencji danej cechy względem innych.

Następnie, stosując metody statystyki matematycznej, uzyskuje się uogólnioną opinię ekspercką. Wyznacza się rangę średnią, średnią wartość statystyczną S j j-tej cechy:

gdzie m kj to liczba ekspertów oceniających j-ty atrybut (m k m);

i - numer eksperta; ja = 1,…,m;

j - numer atrybutu, j = 1,2,…,n.

Określana jest średnia ranga każdej cechy. Im mniejsza wartość Sj, tym większe znaczenie tej cechy.

Aby móc stwierdzić, czy rozkład rang jest losowy, czy też istnieje zgodność w opiniach ekspertów, oblicza się współczynnik zgodności wprowadzony przez M. Kendalla.

Określa się średnią rangę zbioru cech:

Odchylenie dj średniej rangi j-tej cechy od średniej rangi populacji oblicza się:

Określana jest liczba identycznych rang przypisanych przez ekspertów j-temu atrybutowi – t q.

Wyznacza się liczbę grup o identycznych rangach - Q. Współczynnik zgodności określa się według wzoru:

,(2.4)

,(2.5)

Współczynnik może przyjmować wartości z zakresu od 0 do 1. Przy całkowitej zgodności opinii ekspertów współczynnik zgodności wynosi jeden, przy całkowitej niezgodności - zero. Najbardziej realistyczny przypadek to częściowa zgodność opinii biegłych.

Wraz ze wzrostem spójności opinii ekspertów wzrasta współczynnik zgodności i w granicach dąży do jedności. Jednak nawet jeśli jest ona równa lub bliska zeru, nie zawsze występuje całkowita rozbieżność. Wśród ekspertów mogą istnieć grupy o zgodnych poglądach, jednak opinie te są przeciwstawne i na ogół się neutralizują. W takim przypadku należy przeprowadzić analizę skupień lub kombinacji w celu zidentyfikowania tych grup.

Zalety prostej metody rankingowej:

1) względna prostota procedury uzyskiwania ocen;

2) mniejsza liczba ekspertów w porównaniu z innymi metodami przy ocenie tego samego zestawu cech.

Jego wadą jest to, że:

1) w sposób oczywisty uważają rozkład ocen za równomierny;

2) przyjmuje się również, że spadek znaczenia cech jest jednolity, choć w praktyce tak się nie dzieje.

Metoda wyznaczania współczynników wagowych polega na przypisaniu współczynników ważenia wszystkim cechom. Współczynniki ważenia można przypisać na dwa sposoby:

1) wszystkim cechom przypisuje się współczynniki ważenia, tak aby suma współczynników była równa jakiejś ustalonej liczbie (na przykład jeden, dziesięć lub sto);

2) najważniejsza ze wszystkich cech ma współczynnik wagowy równy jakiejś ustalonej liczbie, a wszystkim pozostałym współczynniki równe ułamkom tej liczby.

Uogólnioną opinię ekspertów uzyskujemy również metodami statystyki matematycznej za pomocą wzorów (2.1 - 2.5).

Metoda porównań sekwencyjnych następująco:

1) biegły porządkuje wszystkie znaki w kolejności malejącej ich ważności: 1 >A 2 >…> Jakiś ;

2) pierwszej charakterystyce przypisuje wartość równą jedności: A 1 =1, a pozostałym cechom przypisuje współczynniki wagowe w ułamkach jedności;

3) porównuje wartość pierwszego atrybutu z sumą wszystkich kolejnych.

Istnieją trzy opcje:

ZA 1 >A 2 + ZA 3 + … + ZA n

ZA 1 = ZA 2 + ZA 3 + … + ZA n

1< A 2 + A 3 + …+ A n

Biegły wybiera najwłaściwszy, jego zdaniem, wariant i dostosowuje do niego ocenę pierwszego zdarzenia;

4) porównuje wartość pierwszego atrybutu z sumą wszystkich kolejnych minus ostatni atrybut.

Dostosowuje ocenę pierwszego atrybutu do nierówności wybranej z trzech opcji:

ZA 1 > ZA 2 + ZA 3 + … + ZA n-1

ZA 1 = ZA 2 + ZA 3 + … + ZA n-1

1< A 2 + A 3 + … + A n-1

5) procedurę powtarza się, aż A 1 zostanie porównane z A 2 + A 3.

Po wyjaśnieniu przez biegłego oceny pierwszego atrybutu zgodnie z nierównością, wybrał on spośród trzech możliwych:

ZA 1 > ZA 2 + ZA 3

1< A 2 + A 3

przystępuje do doprecyzowania oceny drugiego atrybutu A 2 według tego samego schematu, co w przypadku pierwszego, tj. Ocenę drugiej cechy porównuje się z sumą kolejnych.

Jego zaletą jest to, że ekspert sam analizuje swoje oceny w procesie oceny atrybutów. Zamiast przypisywać współczynniki, następuje twórczy proces tworzenia tych współczynników.

Wadami tej metody są:

1) jego złożoność; nieprzeszkolony ekspert będzie miał trudności z poradzeniem sobie z tą procedurą; zamiast wyjaśnić swoje początkowe oceny, będzie się co do nich mylić;

2) objętość; wymaga czterokrotnie większej liczby operacji, aby ocenić ten sam zestaw cech, niż prosta metoda rankingowa (innymi słowy, do tego samego zadania potrzebnych jest cztery razy więcej ekspertów).

Metoda porównania w parach

Zgodnie z nią wszystkie znaki porównuje się ze sobą parami. Na podstawie porównań parami w dalszym przetwarzaniu ustalane są wyniki dla każdego atrybutu.

Aby ułatwić ekspertowi dokonywanie porównań, charakterystyki (A, B, C,...N) wprowadza się do tabeli zarówno w poziomie, jak i w pionie.

Połowa stołu znajdująca się powyżej przekątnej służy jako odbicie dolnej połowy. Aby nie powodować zamieszania, nie prowokować eksperta do obliczania jednej połowy tabeli od drugiej, w celu zmniejszenia liczby operacji wskazane jest wypełnienie tylko połowy tabeli (powyżej lub poniżej przekątnej) . Tym samym odpowiedzi ekspertów zostaną zaprezentowane w formie poniższej matrycy:

Po serii przekształceń matematycznych otrzymujemy oszacowania dla każdego atrybutu A 1, A 2, …, AN z punktu widzenia tego eksperta. Całkowite oceny cech uzyskuje się poprzez identyczne przetwarzanie macierzy sumarycznej, której każdy element jest sumą porównań cech podanych przez wszystkich ekspertów.

Macierz podsumowująca ma postać

m to liczba ekspertów oceniających dany zbiór cech;

- oceny odpowiednio 1, 2, …, j, …, m ekspertów;

Łączna liczba ocen przyznanych przez wszystkich ekspertów.

Wyznaczając wariancję macierzy sumarycznej i porównując ją z maksymalną możliwą wariancją macierzy o tej samej liczbie elementów, można określić zgodność opinii ekspertów. Im wariancja macierzy sumarycznej jest bliższa maksymalnej możliwej wariancji, tym większa jest spójność opinii. Tym samym metoda porównań parach pozwala na rygorystyczną, opartą na statystyce analizę zgodności opinii ekspertów i stwierdzenie, czy uzyskane szacunki mają charakter losowy, czy też nie. Nie ulega wątpliwości, że procedura porównania parami jest bardziej skomplikowana niż prosta metoda rankingowa, ale prostsza niż metoda porównań sekwencyjnych.

Liczba ekspertów potrzebnych do oceny określonego zbioru cech przy zastosowaniu metody porównań parami jest dwukrotnie większa niż przy zastosowaniu metody rankingu prostego i o połowę mniejsza niż przy zastosowaniu metody porównań sekwencyjnych.

Obecnie wiele metod przeprowadzania ocen eksperckich oferuje następujący współczynnik jako wskaźnik kompetencji eksperckich:

, (2.6)

gdzie jest współczynnikiem kompetencji eksperta;

Współczynnik znajomości omawianego problemu przez eksperta;

Współczynnik argumentacji.

Współczynnik znajomości obszaru badań wyznaczany jest poprzez samoocenę eksperta w dziesięciopunktowej skali. Wyniki samooceny przedstawiają się następująco:

0 – ekspert nie jest zaznajomiony z pytaniem;

1,2,3 – ekspert jest nowy w temacie, ale problematyka leży w obszarze jego zainteresowań;

4,5,6 – biegły jest dostatecznie zaznajomiony ze sprawą, nie bierze bezpośredniego udziału w praktycznym rozwiązaniu zagadnienia;

7,8,9 – ekspert jest dobrze zaznajomiony z zagadnieniem, uczestniczy w praktycznym rozwiązaniu problemu;

10 – pytanie mieści się w wąskiej specjalizacji eksperta.

Ekspert proszony jest o ocenę poziomu znajomości pytania i podkreślenie odpowiedniego wyniku. Wynik ten jest następnie mnożony przez 0,1 w celu uzyskania współczynnika.

Współczynnik argumentacji uwzględnia strukturę argumentacji, która stanowiła podstawę dokonania przez biegłego określonej oceny. Proponuje się określenie współczynnika argumentacji zgodnie z tabelą 2.2 poprzez zsumowanie wartości odnotowanych przez biegłego w komórkach tej tabeli.

Po ustaleniu współczynnika kompetencji mnoży się przez niego wartość ocen eksperckich.

Tabela 2.2 Wartości współczynnika argumentacji

Metody eksperckie stosowane są przy rozwiązywaniu problemów prognostycznych, analitycznych i projektowych związanych z nieformalnością i brakiem pewności co do wyobrażeń o obiektach organizacyjnych i gospodarczych.

Istota tej metody: eksperci przeprowadzają intuicyjno-logiczną analizę problemu z jakościową oceną wyroku i formalnym przetwarzaniem wyników.

Cechy metody oceny eksperckiej: potrzeba naukowej organizacji badań, zastosowanie metod ilościowych do oceny jakościowych ocen ekspertów.

Metodę ekspercką można wykorzystać do określenia prognoz zagospodarowania obiektów; przy ustalaniu celów i zadań alternatywna dystrybucja zasobów; przy podejmowaniu decyzji w warunkach niepewności i ryzyka.

Pierwszym etapem stosowania tej metody jest utworzenie grupy ekspertów. Cechy niezbędne, aby specjalista mógł zostać zaliczony do grupy ekspertów:

– kompetencje (stopień kwalifikacji w określonej dziedzinie wiedzy);

– kreatywność (umiejętność rozwiązywania problemów twórczych);

– analityczność i szerokość myślenia;

– konstruktywność (umiejętność formułowania konkretnych propozycji);

– samokrytyka eksperta;

Stosunek do egzaminu.

Do tworzenia grup ekspertów można zastosować badania, dokumentację i inne metody.

Metoda testowania polega na tym, że na podstawie opracowanych testów badani są potencjalni kandydaci, a na podstawie wyników odpowiedzi tworzona jest grupa.

Metodą dokumentacyjną jest dobór ekspertów według ich obiektywnych cech, które są zawarte w ich dokumentach osobowych (doświadczenie zawodowe, zajmowane stanowisko, stopień naukowy, liczba publikacji itp.).

Sposób powołania ustala przewodniczący grupy ekspertów spośród pracowników. Główna wada tej metody: opinia pracowników może być spójna, ale błędna, wyrażająca oficjalne stanowisko organizacji w tej kwestii („efekt szkoły”). Wyniki badania w tym przypadku są interesujące głównie do użytku wewnętrznego.

Drugim etapem stosowania metody eksperckiej jest przeprowadzenie badania.

Ten etap rozpoczyna się od wyboru metody przeprowadzania wywiadów z ekspertami. Wyróżnia się metody indywidualne, grupowe i delfickie.

W metodzie indywidualnej oceny każdego eksperta uzyskiwane są w drodze ankiet lub wywiadów, niezależnie od opinii innych osób. Następnie, po ich uogólnieniu i przetworzeniu, ustala się ogólną ocenę wynikową. Racjonalne jest korzystanie z ekspertyzy indywidualnej, gdy konieczne jest opracowanie punktowej prognozy stanu obiektu, przy ocenie zbioru obiektów, a także w innych przypadkach, gdy najważniejszymi cechami eksperta są jego kompetencje i konstruktywność.

Metoda grupowa polega na uzyskaniu zbiorczej oceny lub wspólnej decyzji wszystkich ekspertów jednocześnie w drodze wspólnej dyskusji. Jego zastosowanie jest wskazane przy poszukiwaniu niekonwencjonalnych rozwiązań, przy ocenie cech mało zbadanych obiektów, czyli gdy konieczne jest uzyskanie twórczego rozwiązania. Badanie grupowe można przeprowadzić w drodze dyskusji, spotkań, konferencji i burzy mózgów.

Metoda Delphi syntetyzuje szereg pozytywnych cech badań indywidualnych i grupowych. Eksperci samodzielnie wyrażają swoje opinie na piśmie. Najważniejszym elementem metody są starannie opracowane programy ankiet przeprowadzanych w kilku rundach i regulacja pytań w każdej kolejnej rundzie. Na zakończenie każdej rundy grupa organizatorów egzaminów analizuje otrzymane odpowiedzi, podsumowuje je i na podstawie wyników rundy przygotowuje biuletyn-certyfikat, którego treść jest znana wszystkim ekspertom. W takim przypadku informacje zawarte w certyfikacie są anonimowe. Podczas powtórnego badania eksperci otrzymują pytania wyjaśniające wstępne odpowiedzi i sformułowane wnioski, biorąc pod uwagę wyniki poprzedniej rundy. W trzeciej rundzie ekspertom mówi się, w jakich kwestiach panuje konsensus, a ekspertów, którzy wyrazili odmienną opinię od pozostałych, proszono o jej uzasadnienie. Czwarta, najczęściej ostatnia, runda powtarza procedurę z trzeciej. W ten sposób zawęża się obszar rozbieżności zdań i wypracowywane jest wspólne rozwiązanie.

Zaletą metody delfickiej jest to, że ogranicza lub całkowicie eliminuje takie czynniki psychologiczne, jak ostentacyjne przekonania, niechęć do odmowy publicznego wyrażania swojej opinii, wpływ władzy.

Etap 3 metod eksperckich – przetwarzanie wyników badań.

Aby zapewnić możliwość formalnego przetwarzania wyników badań, wymagany jest system numeryczny opisujący właściwości obiektów i zależności między nimi za pomocą parametrów ilościowych (różne skale nazw (klasyfikacje), porządki, przedziały, zależności, różnice).

Skala nazewnictwa służy do opisania przynależności obiektu do określonych klas. Skala porządkowa – służąca do pomiaru uporządkowania obiektów według jednej lub kilku cech (skala rang). Skala interwałowa – służy do wyświetlania wielkości różnic pomiędzy właściwościami obiektów. Skala proporcji – służąca odzwierciedleniu zależności pomiędzy właściwościami obiektów, np. ich wagą. Skala różnic - w razie potrzeby określ, o ile jeden obiekt jest lepszy od drugiego pod względem jednej lub większej liczby cech.

O wyborze skali decydują cele badania, charakterystyka przedmiotu i możliwości grupy.

Podczas przetwarzania wyników badań istotny jest wybór metody pomiaru. Najczęściej stosowane metody: ranking, porównanie parami, ocena bezpośrednia, porównanie sekwencyjne.

Rozporządzenie musi spełniać następujące wymagania: zapewniać wystarczającą różnorodność brzmień; jedność struktury sformułowania (np. sformułowanie musi konsekwentnie odpowiadać na pytania: co jest konieczne? nad czym (z czym)? po co?). Powstałe receptury powinny w wystarczającym stopniu odzwierciedlać ich najważniejszą zawartość, czyli posiadać znaczną pojemność; sformułowanie powinno być wykonane w sposób wykluczający rozbieżności.

Problemy doskonalenia technologii eksperckich wiążą się z rozwojem następujących obszarów: powołanie komisji eksperckiej, organizacja i prowadzenie badań w oparciu o wykorzystanie nowoczesnych metod, wykorzystanie ocen wielokryterialnych przy interpretacji wyników.

1. Krótki opis metod eksperckich

Współczesna gospodarka stawia przed zarządzaniem nowe, wyższe wymagania. Kwestie doskonalenia metod zarządzania stają się obecnie bardzo istotne, gdyż to właśnie w tym obszarze istnieją jeszcze większe rezerwy na zwiększenie efektywności gospodarki narodowej. Istotnym czynnikiem podnoszenia poziomu naukowego zarządzania jest stosowanie metod i modeli matematycznych przy podejmowaniu decyzji. Jednak pełna matematyczna formalizacja problemów technicznych i ekonomicznych jest często niemożliwa ze względu na ich jakościową nowość i złożoność.

Coraz częściej stosuje się w tym zakresie metody eksperckie, rozumiane jako zespół logicznych i matematyczno-statystycznych metod i procedur mających na celu uzyskanie od specjalistów informacji niezbędnych do przygotowania i wyboru racjonalnych decyzji. Metody eksperckie znajdują obecnie zastosowanie w sytuacjach, gdy wybór, uzasadnienie i ocena skutków decyzji nie może być dokonana na podstawie dokładnych obliczeń. Takie sytuacje często powstają przy opracowywaniu współczesnych problemów zarządzania produkcją społeczną, a zwłaszcza przy prognozowaniu i planowaniu długoterminowym.

Istota metod eksperckich, zarówno przy rozwiązywaniu problemów w badaniu systemów sterowania, jak i przy ich stosowaniu w praktyce decyzyjnej w innych dziedzinach nauki, techniki i zarządzania, polega na uśrednianiu na różne sposoby opinii (wyroków) ekspertów-ekspertów w rozpatrywanych kwestiach.

Metody ocen eksperckich to metody organizacji pracy z biegłymi specjalistami i przetwarzania opinii eksperckich. Opinie te są zwykle wyrażane częściowo w formie ilościowej, a częściowo w formie jakościowej. Metody oceny eksperckiej służą do przewidywania przyszłych zdarzeń w przypadku braku lub niewystarczającości danych statystycznych. Wykorzystuje się je również do ilościowego określenia zdarzeń, dla których nie istnieje żaden inny pomiar, na przykład przy ocenie ważności celów i preferencji określonych metod marketingu produktu. Innymi słowy, metody oceny eksperckiej służą zarówno do ilościowego pomiaru zdarzeń bieżących, jak i do celów prognostycznych.

Przez oceny eksperckie rozumie się zespół procedur logicznych i matematycznych, których celem jest uzyskanie informacji od specjalistów, ich analiza i podsumowanie w celu przygotowania i opracowania racjonalnych decyzji.

Funkcje ocen eksperckich w systemie zarządzania:

prognozowanie trendów rozwoju niektórych obiektów sterowania i możliwych uszkodzeń podsystemów sterowania, pojawianie się nowych podmiotów w tworzeniu systemów sterowania;

uzasadnienie budowy modelu obiektu prognozowanego. Eksperckie metody oceny stanowią jedną z grup naukowo-technicznych metod prognozowania, opierającą się na założeniu, że w oparciu o ekspertyzy można zbudować adekwatny model obiektu prognozy;

ocena stopnia wiarygodności danych uzyskanych w wyniku badania, gdy na proces badawczy w naturalny sposób wpływają czynniki subiektywne. Na przykład wnioski z dowolnego badania społeczno-ekonomicznego można wyciągnąć na podstawie faktów zniekształconych przez koncepcję społeczną badacza;

ocena stopnia kompletności i obiektywności informacji otrzymywanych przez system kontroli od obiektu kontroli, a także aktualności informacji (decyzji) wpływających do obiektu kontroli z systemu kontroli;

ocena konkretnych alternatywnych ścieżek rozwoju lub obiektu kontroli, albo systemu sterowania, albo obu systemów łącznie;

certyfikacja poszczególnych elementów układu sterowania i obiektu sterowania pod kątem ich zgodności z funkcjami, dla których są stworzone.

Do najczęściej stosowanych obecnie metod eksperckich przy podejmowaniu decyzji zarządczych należą:

metoda rangowa;

metoda oceny bezpośredniej;

metoda porównawcza.

Ta ostatnia metoda obejmuje dwie odmiany: porównanie parami i porównanie sekwencyjne.

Wspólność każdej metody polega na kolejności procedur ich stosowania. Obejmują one:

organizacja ekspertyz;

zbieranie opinii ekspertów;

przetwarzanie wyników ekspertyz.

Tym samym metoda ta pozwala określić miejsce badanego obiektu wśród innych obiektów układu sterowania. Zaletą metody rang jest jej prostota. Wady to:

brak możliwości uszeregowania z dostateczną dokładnością liczby obiektów, których liczba przekracza 15-20;

nie odpowiada na pytanie, jak istotne są od siebie badane obiekty.

Metoda ta, pomimo swojej prostoty, jest stosowana w praktyce badania układów sterowania, dość rzadko.

Stosowanie tej metody stosuje się tylko wtedy, gdy biegli mają pewność, że są w pełni poinformowani o właściwościach badanego obiektu, co często się nie zdarza.

Metodę dopasowywania przeprowadza się poprzez porównanie parami i porównanie sekwencyjne.

Metoda porównań parami jest bardzo prosta i pozwala na badanie większej liczby obiektów (w porównaniu np. metodą rang) i z większą dokładnością.

Wartości ocen drugiego, trzeciego i kolejnych ważnych obiektów ustalane są sekwencyjnie w taki sam sposób, jak ocena pierwszego najważniejszego obiektu.

Metoda porównań sekwencyjnych jest najbardziej pracochłonna dla ekspertów. Jest to szczególnie widoczne, gdy liczba badanych obiektów przekracza sześć lub siedem.

Wspólność metod eksperckich polega na kolejności procedur ich stosowania. Należą do nich organizowanie ekspertyz, zbieranie ekspertyz i przetwarzanie uzyskanych wyników.

Do ogólnego kierowania pracami eksperckimi powoływany jest przewodniczący komisji eksperckiej. Składa się z dwóch grup – grupy roboczej i grupy eksperckiej.

Kierownikowi grupy roboczej podlegają pracownicy techniczni odpowiedzialni za techniczną stronę przygotowania materiałów do pracy ekspertów, przetwarzanie uzyskanych wyników itp., a także specjaliści od rozstrzyganych zagadnień. Tworzenie grupy eksperckiej przeprowadza kierownik (organizator) grupy roboczej. W takim przypadku wykonywanych jest szereg sekwencyjnych działań:

przedstawienie problemu i określenie obszaru działania grupy;

sporządzenie wstępnej listy ekspertów - specjalistów w rozpatrywanej dziedzinie działalności;

analiza składu jakościowego wstępnej listy ekspertów i doprecyzowanie tej listy;

uzyskanie zgody eksperta na udział w pracach;

sporządzenie ostatecznej listy grupy ekspertów.

Liczba ekspertów w grupie zależy od wielu czynników i uwarunkowań, w szczególności od wagi rozwiązywanego problemu, dostępnych możliwości itp.

Wybór konkretnych ekspertów odbywa się na podstawie analizy jakości każdego z proponowanych ekspertów. W tym celu stosuje się różne metody:

ocena kandydatów na ekspertów na podstawie analizy statystycznej wyników dotychczasowej działalności jako ekspertów w zakresie problemów projektowania organizacyjnego;

zbiorcza ocena kandydata na eksperta jako specjalisty w tej dziedzinie;

samoocena kandydata na eksperta;

analityczne określenie kompetencji kandydatów na ekspertów.

Wśród wszystkich znanych form zbierania opinii można wyróżnić formy indywidualne, zbiorowe i mieszane. Każda z tych form ma swoje odmiany: przesłuchanie, wywiad, dyskusja, burza mózgów, spotkanie, gra biznesowa. W wielu przypadkach zarządzania jakością stosuje się je łącznie, co daje większy efekt i obiektywizm.

Metody ocen eksperckich można podzielić na dwie grupy: metody zbiorowej pracy grupy eksperckiej oraz metody uzyskiwania indywidualnych opinii członków grupy eksperckiej.

Metody kolektywnej pracy grupy eksperckiej polegają na uzyskaniu wspólnej opinii podczas wspólnej dyskusji nad rozwiązywanym problemem. Czasami metody te nazywane są metodami bezpośredniego uzyskania opinii zbiorowej. Główną zaletą tych metod jest możliwość wszechstronnej analizy problemów. Wadami tych metod są złożoność procedury uzyskiwania informacji, trudność w formułowaniu opinii grupowej na podstawie indywidualnych ocen ekspertów oraz możliwość wywierania presji ze strony władz w grupie.

Metody pracy zespołowej obejmują burzę mózgów, scenariusze, gry biznesowe, spotkania i sąd.

Metoda burzy mózgów. Metody tego typu są również znane jako kolektywne generowanie pomysłów, burza mózgów i metody dyskusji. Wszystkie te metody opierają się na swobodnym wyrażaniu pomysłów mających na celu rozwiązanie problemu. Spośród tych pomysłów wybierane są następnie te najcenniejsze.

Zaletą metody „burzy mózgów” jest wysoka skuteczność uzyskania wymaganego rozwiązania. Jego główną wadą jest złożoność organizacji egzaminu, ponieważ czasami nie można zgromadzić wymaganych specjalistów, stworzyć miłej atmosfery i wyeliminować wpływ oficjalnych relacji.

Metoda „scenariuszy” to zbiór zasad przedstawiania na piśmie propozycji specjalistów dotyczących rozwiązywanego problemu. Scenariusz to dokument zawierający analizę problemu i propozycje jego realizacji. Propozycje są najpierw pisane indywidualnie przez ekspertów, następnie są uzgadniane i przedstawiane w formie jednego dokumentu.

Główną zaletą skryptu jest kompleksowe ujęcie rozwiązywanego problemu w zrozumiałej formie. Do wad można zaliczyć możliwą niejednoznaczność, niejasność przedstawianych zagadnień oraz niewystarczającą ważność poszczególnych decyzji.

„Gry biznesowe” polegają na modelowaniu funkcjonowania systemu zarządzania społecznego podczas wykonywania działań zmierzających do osiągnięcia wyznaczonego celu. W przeciwieństwie do poprzednich metod, gry biznesowe polegają na aktywnym działaniu grupy eksperckiej, której każdemu członkowi przydzielono określoną odpowiedzialność zgodnie z wcześniej ustalonymi zasadami i programem.

Główną zaletą gier biznesowych jest możliwość dynamicznego opracowania rozwiązania, uwzględniającego wszystkie etapy badanego procesu z interakcją wszystkich elementów systemu zarządzania społecznego. Wadą jest trudność zorganizowania gry biznesowej w warunkach zbliżonych do rzeczywistej sytuacji problemowej.

Metoda „spotkań” („komisje”, „okrągłe stoły”) jest najprostsza i najbardziej tradycyjna. Polega na odbyciu spotkania lub dyskusji, której celem jest wypracowanie jednej zbiorowej opinii na temat rozwiązywanego problemu. W przeciwieństwie do metody burzy mózgów, każdy ekspert może nie tylko wyrazić swoją opinię, ale także skrytykować propozycje innych. W wyniku tak wnikliwej dyskusji zmniejsza się możliwość błędów w podjęciu decyzji.

Zaletą metody jest prostota jej wykonania. Jednakże na zebraniu można przyjąć błędną opinię jednego z uczestników ze względu na jego autorytet, oficjalne stanowisko, wytrwałość lub zdolności oratorskie.

Metoda „sądowa” jest odmianą metody „spotkań” i jest realizowana przez analogię do prowadzenia rozprawy. Metodę „sądową” warto stosować w przypadku, gdy istnieje kilka grup ekspertów opowiadających się za różnymi wariantami decyzyjnymi.

Metody uzyskiwania indywidualnych opinii członków grupy eksperckiej polegają na wstępnym uzyskaniu informacji od ekspertów, z którymi przeprowadzono wywiady niezależnie od siebie, a następnie przetworzeniu otrzymanych danych. Metody te obejmują metody kwestionariuszowe, wywiady i metody Delphi.

Głównymi zaletami metody indywidualnej oceny biegłego jest jej skuteczność, możliwość pełnego wykorzystania indywidualnych zdolności biegłego, brak nacisku ze strony władz oraz niski koszt badania. Ich główną wadą jest wysoki stopień subiektywizmu uzyskanych ocen, wynikający z ograniczonej wiedzy jednego eksperta.

Metoda Delphi jest iteracyjną procedurą kwestionariuszową. Jednocześnie przestrzegany jest wymóg braku osobistych kontaktów pomiędzy ekspertami oraz zapewnienia im pełnej informacji o wszystkich wynikach oceny po każdej turze badania, przy zachowaniu anonimowości ocen, argumentacji i krytyki.

Procedura metody obejmuje kilka kolejnych etapów wywiadu.

W pierwszym etapie przeprowadzana jest indywidualna ankieta wśród ekspertów, najczęściej w formie ankiet. Eksperci udzielają odpowiedzi bez podawania powodów. Następnie wyniki ankiety są przetwarzane, formułowana jest zbiorowa opinia grupy ekspertów, identyfikowane i podsumowywane argumenty przemawiające za różnymi orzeczeniami.

W drugim etapie wszelkie informacje przekazywane są biegłym, którzy proszeni są o ponowne rozważenie swojej oceny i wyjaśnienie powodów, dla których nie zgadzają się z orzeczeniem zbiorowym. Nowe szacunki są przetwarzane ponownie i następuje przejście do kolejnego etapu. Praktyka pokazuje, że po trzech, czterech etapach odpowiedzi ekspertów stabilizują się i konieczne jest przerwanie procedury.

Zaletą metody Delphi jest wykorzystanie informacji zwrotnej w trakcie badania, co znacząco zwiększa obiektywność ocen eksperckich. Metoda ta wymaga jednak znacznej ilości czasu na realizację całej wieloetapowej procedury.

Można zatem stwierdzić, że metody eksperckie stale się rozwijają i udoskonalają. Główne kierunki tego rozwoju wyznacza szereg czynników, m.in. chęć poszerzania zakresu zastosowań, zwiększania stopnia wykorzystania metod matematycznych i elektronicznej techniki komputerowej, a także szukania sposobów eliminowania pojawiających się niedociągnięć. Pomimo sukcesów osiągniętych w ostatnich latach w rozwoju i praktycznym zastosowaniu metody oceny eksperckiej, istnieje szereg problemów i zadań wymagających dalszych badań metodologicznych i testów praktycznych. Należy udoskonalić system doboru ekspertów, zwiększyć wiarygodność cech opinii grupowych, opracować metody sprawdzania zasadności ocen i badania ukrytych przyczyn obniżających wiarygodność ocen eksperckich. Jednak już dziś oceny eksperckie w połączeniu z innymi metodami matematycznymi i statystycznymi są ważnym narzędziem doskonalenia zarządzania na wszystkich poziomach.

zarządzanie metodą oceny eksperckiej

2. Przetwarzanie danych uzyskanych metodą ekspercką

Wyniki są przetwarzane po przeprowadzeniu badania wśród grupy ekspertów. Początkową informacją do przetwarzania są dane liczbowe wyrażające preferencje ekspertów oraz merytoryczne uzasadnienie tych preferencji. Celem przetwarzania jest uzyskanie danych uogólnionych oraz nowych informacji zawartych w formie ukrytej w ocenach eksperckich. Na podstawie wyników przetwarzania tworzone jest rozwiązanie problemu.

Przetwarzanie zebranych opinii (danych) ekspertów odbywa się zarówno w ujęciu ilościowym (dane liczbowe), jak i jakościowym (informacje merytoryczne). Do przetwarzania stosuje się różne metody. W obecności danych liczbowych stosuje się metody uśredniania ocen eksperckich w celu rozwiązania problemów zaopatrzonych w wystarczający materiał informacyjny. Jednak nawet przy dostępnych danych liczbowych, ale przy niewystarczającej informacji na dany temat, przy ilościowych metodach przetwarzania danych eksperckich, stosuje się metody analizy i syntezy jakościowej.

Obecność zarówno danych liczbowych, jak i znaczących wypowiedzi ekspertów powoduje konieczność zastosowania metod jakościowych i ilościowych do przetwarzania wyników grupowej oceny ekspertów. Udział tych metod w istotny sposób zależy od klasy problemów rozwiązywanych w drodze oceny eksperckiej.

Cały zestaw problemów można podzielić na dwie klasy. Do pierwszej klasy zalicza się problemy, dla których istnieje wystarczający poziom wiedzy i doświadczenia, czyli niezbędny potencjał informacyjny. Przy rozwiązywaniu problemów należących do tej klasy eksperci są przeciętnie uważani za dobrych mierniczych. Termin „średnio dobry” odnosi się do możliwości uzyskania wyników pomiarów zbliżonych do rzeczywistych. Dla wielu ekspertów ich osądy skupiają się wokół prawdziwej wartości. Wynika z tego, że do przetwarzania wyników grupowej oceny eksperckiej problemów pierwszej klasy można z powodzeniem zastosować metody statystyki matematycznej opartej na uśrednianiu danych.

Przy stosowaniu rozważanych metod eksperckich (stopnie itp.) opinie ekspertów często się nie pokrywają, dlatego konieczne jest ilościowe określenie stopnia zgodności opinii ekspertów i ustalenie przyczyn rozbieżności w ocenach. Miarę spójności ustala się oczywiście na podstawie danych statystycznych całej grupy ekspertów. Do oceny tego miernika stosuje się współczynniki zgodności, które oblicza się za pomocą wzoru

gdzie C jest sumą kwadratów odchyleń sum rang dla każdego obiektu od średniej sumy rang dla wszystkich obiektów i ekspertów, tj.

Gdzie - średnia suma rang;

Aij to ocena (w punktach) przyznana i-temu obiektowi przez j-tego eksperta.

K-eksperci, N-obiekty.

Współczynnik zgodności może mieścić się w przedziale 1>W>0. Przy W=0 nie ma zgodności pomiędzy opiniami ekspertów, natomiast przy W=1 jest ona zupełna. Zwykle uważa się, że konsystencja jest wystarczająca dla W>0,5.

Obliczoną wartość współczynnika zgodności należy ważyć według kryterium Pearsona X^2 z pewnym poziomem istotności B – Maksymalne prawdopodobieństwo błędnego wyniku pracy ekspertów. Zwykle wystarczy ustawić istotność w przedziale 0,005 -0,05

Jeżeli otrzymana wartość X^2calc będzie większa od wartości tabelarycznej (przy wybranym poziomie istotności), opinie biegłych zostaną ostatecznie uznane za uzgodnione.

Jeżeli niezgodność linii eksperckich zostanie określona za pomocą współczynników zgodności, a jej wartość zostanie odpowiednio sprawdzona za pomocą kryterium Pearsona, badania eksperckie należy powtórzyć.

Druga klasa obejmuje problemy, dla których nie zgromadzono jeszcze wystarczającego potencjału informacyjnego. W tym względzie opinie ekspertów mogą się znacznie od siebie różnić. Co więcej, ocena jednego biegłego, która bardzo różni się od pozostałych opinii, może okazać się prawdziwa. Jest oczywiste, że stosowanie metod uśredniania wyników grupowej oceny eksperckiej przy rozwiązywaniu problemów drugiej klasy może prowadzić do dużych błędów. Dlatego przetwarzanie wyników ankiety eksperckiej w tym przypadku powinno opierać się na metodach nie wykorzystujących zasad uśredniania, ale na metodach analizy jakościowej.

Biorąc pod uwagę, że w praktyce oceny eksperckiej najczęściej spotykane są problemy pierwszej klasy, główną uwagę poświęcono sposobom przetwarzania wyników badań dla tej klasy problemów.

W zależności od celów oceny eksperckiej i wybranej metody pomiaru, podczas przetwarzania wyników ankiety pojawiają się następujące główne zadania:

) konstruowanie uogólnionej oceny obiektów na podstawie indywidualnych ocen eksperckich;

) konstrukcja uogólnionej oceny na podstawie porównania obiektów parami przez każdego eksperta;

) wyznaczanie względnych ciężarów obiektów;

) ustalanie zgodności ekspertyz;

) określenie zależności pomiędzy rankingami;

) ocena wiarygodności wyników przetwarzania.

Zadanie konstruowania uogólnionej oceny obiektów w oparciu o indywidualne oceny eksperckie pojawia się podczas grupowej oceny eksperckiej. Rozwiązanie tego problemu zależy od metody pomiaru stosowanej przez ekspertów.

Przy rozwiązywaniu wielu problemów nie wystarczy uporządkować obiekty według jednego wskaźnika lub jakiegoś zestawu wskaźników. Pożądane jest posiadanie wartości liczbowych dla każdego obiektu, które określają jego względne znaczenie w porównaniu z innymi obiektami. Innymi słowy, w przypadku wielu zadań konieczne są oceny obiektów, które nie tylko je organizują, ale także pozwalają określić stopień preferencji jednego obiektu względem drugiego. Aby rozwiązać ten problem, można bezpośrednio zastosować metodę szacowania bezpośredniego. Jednak ten sam problem, pod pewnymi warunkami, można rozwiązać, przetwarzając oceny ekspertów.

Zgodność opinii biegłych określa się poprzez obliczenie miary liczbowej charakteryzującej stopień podobieństwa poszczególnych opinii. Analiza wartości miary spójności przyczynia się do wyrobienia prawidłowego sądu o ogólnym poziomie wiedzy na temat rozwiązywanego problemu oraz identyfikacji grup opinii eksperckich. Jakościowa analiza przyczyn grupowania opinii pozwala ustalić istnienie różnych poglądów, koncepcji, zidentyfikować szkoły naukowe, określić charakter działalności zawodowej itp. Wszystkie te czynniki pozwalają na głębsze zrozumienie wyników ankieta wśród ekspertów.

Przetwarzając wyniki ocen ekspertów, można określić zależności pomiędzy rankingami różnych ekspertów, a tym samym ustalić jedność i różnicę w opiniach ekspertów. Ważną rolę odgrywa także ustalenie powiązań pomiędzy rankingami, które opierają się na różnych wskaźnikach porównywania obiektów. Identyfikacja takich zależności pozwala na ujawnienie powiązanych wskaźników porównawczych i ewentualnie pogrupowanie ich ze względu na stopień powiązania. Znaczenie zadania ustalenia zależności dla praktyki jest oczywiste. Przykładowo, jeśli wskaźnikami porównania są różne cele, a obiekty są środkami do osiągnięcia celów, to ustalenie relacji pomiędzy rankingami porządkującymi środki z punktu widzenia osiągnięcia celów pozwala rozsądnie odpowiedzieć na pytanie w jakim stopniu osiągnięcie jednego celu za pomocą danych środków przyczynia się do osiągnięcia innych celów.

Oszacowania uzyskane w wyniku przetwarzania są obiektami losowymi, dlatego jednym z ważnych zadań procedury przetwarzania jest określenie ich wiarygodności. Rozwiązaniem tego problemu należy poświęcić odpowiednią uwagę.

Zatem przetwarzanie wyników badania jest procesem pracochłonnym. Ręczne wykonywanie operacji obliczania szacunków i wskaźników ich wiarygodności wiąże się z dużymi kosztami pracy, nawet w przypadku rozwiązywania prostych problemów porządkowych. W związku z tym wskazane jest korzystanie z technologii komputerowej, a zwłaszcza komputerów. Zastosowanie komputerów rodzi problem opracowania programów komputerowych implementujących algorytmy przetwarzania wyników ocen eksperckich.

Bibliografia

1. Wasilewska I.V. Zarządzanie jakością: Podręcznik / I.V. Wasilewska. - M.: IC RIOR, 2011. - 112 s.

Vikhansky O.S., Naumov A.I. Zarządzanie: Podręcznik. - wyd. 3. - M.: Ekonomista, 2004. - 528 s.: il.

Podobne artykuły

Dyskusja:

Formularz CV. Pobierz proste CV. Wymagane punkty CV dla pracy: Poszukiwanie pracy jest zawsze bardzo odpowiedzialne. Najpierw musisz stworzyć...
Przykład CV operatora call center: jak wypełnić główne sekcje: Dla potencjalnego kandydata (agenta call center) rozważającego...
Czynniki rozwoju działalności usługowej Analiza głównych trendów rozwoju działalności usługowej: Usługa cały czas zmierza w stronę klienta. Tam, gdzie wcześniej tego nie było...
Zysk jako wskaźnik efektywności organizacji: 1.2 Rentowność jako wskaźnik efektywności przedsiębiorstwa Mając pod ręką...