RESOLUTIO Doradztwo Personalne - Profesjonalna ocena kompetencji- Assessment | Development Centre - kontrowersje wokół metody
Naszą misją jest pomoc organizacjom w urzeczywistnianiu pomysłów, których realizacja wymaga specyficznych umiejętności, kompetencji lub zasobów. Dowiedz się więcej
Assessment | Development Centre - kontrowersje wokół metody
Z metodą oceny kompetencji Assessment | Development Centre w polskiej praktyce spotykamy się od około 15 lat. W tym czasie znacząco zmienił się zakres wiedzy, jaką dysponują zarówno osoby organizujące te procesy, jak i osoby, które stają się ich podmiotem - oceniani uczestnicy.
Mimo że historia zastosowań AC|DC na świecie jest znacznie dłuższa niż historia polska, a na zagranicznych portalach można znaleźć wiele informacji, wyników badań i opracowań dotyczących metody, to jednak nieustająco w naszej praktyce można się spotkać z powracającymi pytaniami, wątpliwościami, rozbieżnymi opiniami, które pociągają za sobą liczne, często emocjonujące, dyskusje.
Celem tego artykułu jest pokazanie palety kontrowersyjnych zagadnień, wokół których toczą się dyskusje i spory. Część z nich ma jednoznaczne i proste rozstrzygnięcia, opierające się na założeniach metodologicznych czy formalnych (regulacje prawne), których nieznajomość jest powodem rodzących się powtarzalnych wątpliwości. Część z nich pozostaje niejednoznaczna i nierozstrzygnięta, gdyż wynika z natury samej metody.
Wspomniane kontrowersje to najczęściej pytania lub opinie, z którymi spotykam się w mojej codziennej praktyce zawodowej - podczas rozmów z uczestnikami sesji AC, osobami zlecającymi realizację, czytając artykuły w prasie branżowej lub dyskusje na forach internetowych. Można powiedzieć, że koncentrują się one wokół kilku podstawowych tematów:- kontrowersje dotyczące Assessment | Development Centre jako metody oceny kompetencji,
- kontrowersje dotyczące narzędzi wykorzystywanych podczas sesji AC|DC,
- kontrowersje dotyczące osób oceniających - asesorów,
- kontrowersje dotyczące wiarygodności wyników uzyskanych z zastosowaniem metody AC|DC,
- kontrowersje dotyczące aspektów formalnych stosowania metody AC|DC.
Spróbujmy przyjrzeć się kolejno każdej z tych grup.
Kontrowersje dotyczące AC|DC jako metody oceny kompetencji
Najczęściej pojawiającą się tu wątpliwością jest pytanie, czy daną procedurę rekrutacyjną/oceniającą można określić mianem Assessment Centre?. Czy wywiad kompetencyjny zastosowany podczas spotkania rekrutacyjnego, uzupełniony testem osobowości i analizą przypadku zakończoną przygotowaniem raportu na ten temat - to już Assessment Centre?
Aby odpowiedzieć na to pytanie, warto odwołać się do definicji metody. W literaturze można spotkać różne definicje, jednak każda z nich podkreśla, że AC to WIELOWYMIAROWY proces oceny, w którym osoba lub grupa osób bierze udział w różnych zadaniach obserwowanych i ocenianych przez zespół wyszkolonych oceniających, którzy, dokonując oceny, biorą pod uwagę zdefiniowane wcześniej kryteria. Decyzje o wynikach oceny podejmowane są na podstawie wspólnie uzyskanych danych.
Zatem powróćmy do zadanego pytania o wykorzystany zestaw narzędzi (wywiad kompetencyjny, test osobowości i case) - czy zastosowaną procedurę można określić mianem AC? Z posiadanych informacji wynika, że został spełniony warunek zastosowania wielu narzędzi, nie wiemy jednak nic o przyjętych kryteriach oceny i sposobie jej przeprowadzenia. Czy przed przystąpieniem do oceny zdefiniowane zostały kryteria (kompetencje) i dobór narzędzi zaplanowano w taki sposób, aby każde z kryteriów podlegało kilkakrotnej ocenie (preferowane trzy obserwacje dla każdego kryterium)? Czy obserwacja i ocena dokonywana była przez więcej niż jedną osobę i oceny końcowe stanowiły wynik wspólnej decyzji tych osób na bazie pozyskanych informacji? Jeśli na te pytania odpowiemy twierdząco, wówczas można powiedzieć, że spełnione zostały warunki zastosowania metody.
Pozostając jeszcze przy analizowanym przykładzie, można zwrócić uwagę na zastosowane narzędzia - test osobowości, case biznesowy oraz wywiad kompetencyjny - czy dostarczają nam one informacji rzeczywiście o tych samych kryteriach? Dobrze skonstruowany wywiad kompetencyjny oraz case umożliwia ocenę kompetencji, które nie są jednak tożsame z cechami osobowości mierzonymi przez test. Narzędzia wykorzystywane podczas sesji AC|DC to kolejny temat wątpliwości i dylematów.
Przeczytaj o innych kontrowersjach dotyczących AC jako metody
Kontrowersje dotyczące narzędzi wykorzystywanych podczas sesji AC|DC
Jakie narzędzia lepiej stosować - gotowe, zakupione od specjalizującej się w ich tworzeniu firmy, czy własne, autorskie, elastyczne rozwiązania bardziej dopasowane do kontekstu sytuacji?
Stawiając sobie takie pytanie, warto pamiętać o tym, że na efekt końcowy, czyli wynik procesu oceny, wpływ mają dwa kluczowe elementy: pierwszy to zastosowane ćwiczenia, testy, zadania, symulacje; drugi to doświadczenie i wiedza asesora. Zaletą narzędzi gotowych może być fakt, że zostały one przygotowane przez specjalistów w tej dziedzinie, którzy, projektując dane zadanie, założyli określony zestaw kompetencji, jakie ma ono mierzyć, i tak połączyli poszczególne elementy, aby umożliwić ujawnienie się zachowań będących ich wyznacznikami. W większości przypadków przygotowywane przez profesjonalistów zadania przechodzą procedurę weryfikacyjną, która pozwala upewnić się, że zadanie spełnia postawione przed nim cele. Nie zawsze jednak takie zakupione, gotowe zadanie pozwala mierzyć pełny zestaw kompetencji, jaki zakładamy w naszym procesie (np. brakuje w nim możliwości oceny kluczowych dla nas dwóch kompetencji). Próba jego modyfikacji przez osoby mające mniej doświadczenia w tworzeniu zadań może prowadzić do sytuacji, w której wartość diagnostyczna zadania istotnie się obniży. Niekiedy osoby planujące przeprowadzenie procesu oceny decydują się na samodzielne przygotowanie zadań. Działanie takie może oprócz wspomnianych wyżej konsekwencji prowadzić także do kolejnej pułapki - stworzone i zastosowane nowe, unikatowe zadanie w odniesieniu do małej liczebnie grupy (jednej, dwóch, trzech osób) nie pozwala ustanowić punktu odniesienia. Nie wiadomo, czy różnicuje ono naszą ocenę. Jeśli na jego przykładowe trzy zastosowania uzyskaliśmy w efekcie trzy różne wyniki - niski, średni i wysoki, można z pewnym prawdopodobieństwem zakładać, że w przypadku zastosowania go na większą skalę rozkład uzyskiwanych wyników będzie również podobny. Jeśli jednak uzyskamy trzy wyniki niskie, to tak naprawdę nie wiadomo, czy jest to efekt tego, że zadanie jest zbyt trudne, czy tego, że ocenialiśmy trzy osoby o niskim poziomie danej kompetencji. W przypadku zakupu narzędzi gotowych ta własność różnicująca zadania na ogół jest zweryfikowana. Wydaje się, że najlepszym rozwiązaniem stanowiącym odpowiedź na postawiony tu dylemat byłoby przygotowanie przez specjalistów pakietu zindywidualizowanych zadań dostosowanego do zakładanych potrzeb. Rozwiązanie takie jest możliwe, ale kosztowne - stąd często stający przed tym dylematem wybierają inne, pośrednie drogi.
Jednak nawet najlepiej przygotowany pakiet zadań do wykorzystania podczas sesji AC nie stanowi gwarancji sukcesu. Równie istotna jest tu wiedza i doświadczenie osób oceniających - asesorów.
Kontrowersje dotyczące osób oceniających - Asesorów
Kim powinien być asesor? W tym ogólnym pytaniu mieści się wiele dylematów dotyczących profilu zawodowego, wykształcenia, doświadczenia czy roli, jaką względem osoby ocenianej może pełnić asesor.
Czy asesorem może być tylko psycholog? Czy psycholog może oceniać finansistę?
Grono osób z doświadczeniem asesorskim lub zainteresowanych tą tematyką dynamicznie wzrasta -zainteresowanie to widać szczególnie na internetowych forach tematycznych lub wśród osób poszukujących szkoleń z tej tematyki. Rola asesora jest rolą specyficzną - wydaje się, że wymaga bardziej predyspozycji uzupełnionych gruntownym, specjalistycznym przygotowaniem, niż określonego kierunku wykształcenia. Dobrym asesorem może być po odpowiednim szkoleniu każda osoba, która ma zmysł obserwacyjny, jest spostrzegawcza, rozumie zachowania ludzi i potrafi wyciągać wnioski. Osoby z wykształceniem psychologicznym mają z założenia większe predyspozycje do pełnienia tej roli, ponieważ rozwijają takie umiejętności już w toku studiów. Jednak nie każdy psycholog bywa dobrym asesorem. Oprócz wspomnianych umiejętności rola asesora wymaga odpowiedniego przygotowania zarówno teoretycznego, jak i praktycznego, nabywanego w trakcie licznych doświadczeń związanych z oceną kompetencji. Z tego względu lepszym asesorem do oceny finansisty będzie osoba mająca wiedzę i doświadczenie w zakresie oceny kompetencji niż drugi finansista.
Można odwrócić pytanie i zastanowić się, kto zatem nie powinien być asesorem. Pominąwszy wszystkie oczywiste warunki, tj. brak odpowiedniego przygotowania czy predyspozycji, wydaje się, że asesorem w różnych konkretnych sytuacjach nie powinna być osoba pozostająca w bliskiej relacji z osobą ocenianą. Tak więc jak oczywiste jest, że osoba z rodziny czy bliski znajomy nie powinni oceniać, tak też częściej wątpliwość ta pojawia się w odniesieniu do przełożonego czy współpracownika z tej samej firmy. Przeciwwskazanie dla nich do bycia asesorem w odniesieniu do swoich podwładnych czy bliskich współpracowników wynika ze znajomości osoby, jej sposobów działania w codziennych sytuacjach, emocjonalnego nastawienia, sympatii lub antypatii, które mogą w znaczący sposób utrudniać obiektywną ocenę. Asesorzy ci są zdecydowanie bardziej podatni na uleganie błędom poznawczym rzutującym na wynik. Sytuacja bliskiej relacji służbowej z osobą ocenianą nie wyklucza jednak możliwości udziału takich osób w sesji w roli obserwatorów, którzy dzięki swojej obecności podczas AC mogą zyskać dodatkową, ważną perspektywę.
Elementem definiującym metodę AC jest również zespół asesorów. Często w tym kontekście pojawia się pytanie, jak liczny powinien on być, aby zapewnić obiektywizm oceny. Czy dwóch asesorów to wystarczające zasoby, by zapewnić wysoką jakość oceny? Asesor powinien mieć możliwość obserwowania uczestnika lub uczestników w jak największej liczbie zadań, z których składa się program sesji. W każdym zadaniu uczestnika powinno oceniać dwóch asesorów. Optymalna liczba asesorów na sesji to wypadkowa tych dwóch założeń. Zatem jeśli przeprowadzamy AC dla jednego lub dwóch uczestników, dwuosobowy zespół asesorów może być wystarczający. Pewien wyznacznik dodatkowy mogą stanowić tu zadania symulacyjne, w których asesor pełni równocześnie rolę aktora. Jeśli w zestawie przewidzieliśmy większą liczbę tego typu ćwiczeń, konieczne jest zaangażowanie dodatkowych asesorów, aby uniknąć sytuacji, w której ten sam asesor raz wciela się w zadaniu w rolę podwładnego, a raz w rolę przełożonego. Gdy grupa uczestników się zwiększa, automatycznie pociąga to za sobą konieczność zwiększenia zespołu asesorów. Jednak ze względu na komfort uczestników warto również ograniczać sytuacje, w których liczba asesorów i ewentualnych obserwatorów na sesji jest większa niż ocenianych uczestników.
Kontrowersje dotyczące wiarygodności wyników uzyskanych z zastosowaniem metody
Czy ocena z zastosowaniem metody AC|DC jest wiarygodna - to podstawowy dylemat, przed którym stają zarówno osoby rozważające jej wykorzystanie w prowadzonych procesach oceny i weryfikacji kompetencji, jak i sami uczestnicy.
Na temat rzetelności i trafności metody napisano już wiele w literaturze przedmiotu1. Wskaźniki trafności metody szacowane są na poziomie 0,6-0,7 (rozpiętość wskaźnika może mieścić się w granicach 0-1). Jak dotychczas specjaliści zajmujący się zagadnieniami oceny kompetencji nie znaleźli metody, która w równie kompleksowy sposób potrafi dostarczyć wiarygodnych informacji na temat kompetencji czy predyspozycji danej osoby. Metody, której wskaźniki rzetelności byłyby wyższe. Równie jednak ważnym pytaniem, które nurtuje obie strony (zarówno ocenianych, jak i osoby organizujące ocenę), jest pytanie, czy można wpłynąć na wyniki? Czy można się przygotować w taki sposób, aby na sesji „wypaść lepiej"? Jaką rolę w tym przygotowaniu może pełnić np. znajomość wykorzystanych zadań lub doświadczenia związane z wcześniejszym uczestnictwem w AC? Poszukując odpowiedzi na te pytania, warto przez chwilę zastanowić się, co stanowi przedmiot oceny - są nim kompetencje. Według przyjętej ogólnie definicji na kompetencję składa się wiedza, umiejętność, gotowość do ich wykorzystania oraz uzyskiwany efekt. Osoba zdobywająca informację na temat zadań, z jakimi może spotkać się na sesji, poszerza swoją wiedzę. Inna, która ćwiczy rozwiązywanie testów analitycznych lub prezentację na określony temat - rozwija swoje umiejętności. Zatem, przygotowując się do udziału w sesji, rozwija zarazem swoje kompetencje. Kompetencje, których wysoki poziom jest elementem oczekiwanym w każdym tego rodzaju procesie. Jeśli więc tylko zdobyta wiedza i nabyte nowe umiejętności przełożą się na efekty, a efekty te rozciągną się na sytuację pracy - można powiedzieć, że mamy do czynienia z sytuacją pożądaną. Tak więc jak nikogo nie dziwi, że student przygotowujący się do egzaminu dowiaduje się od poprzednich roczników, czego może się na nich spodziewać, tak też osoby zaproszone na sesję poszukują informacji o tym, co może je tego dnia spotkać. To, co różni obie sytuacje, to fakt, że egzaminator oczekuje od studenta konkretnych odpowiedzi, które można zakwalifikować jako poprawne lub niepoprawne. Podczas sesji AC większość stosowanych zadań nie ma jedynego, poprawnego rozwiązania. Ocenie podlega całościowy sposób pracy uczestnika. Jego sposób dochodzenia do rozwiązania ma często większe znaczenie niż samo wypracowane rozwiązanie. Refleksja ta bynajmniej nie stanowi zachęty do udostępniania i rozpowszechniania narzędzi oceny kompetencji. Zmierza jedynie do rozwiania obaw i wątpliwości pojawiających się często u organizatorów procesu, którzy np. stają wobec faktu dostrzeżenia przepływu informacji na temat narzędzi oceny między uczestnikami sesji.
Kontrowersje dotyczące formalnych aspektów stosowania metody AC|DC
W jaki sposób zorganizować sesję od strony formalnej - o czym poinformować uczestników przed sesją, o czym po jej zakończeniu? Jak wygląda kwestia dobrowolności udziału i ochrony informacji uzyskanych na temat uczestnika podczas sesji AC?
Udział w Assessment | Development Centre jest dobrowolny. Każda osoba ma prawo zrezygnować z tej formy oceny jej kompetencji, nie ma jednak prawa w związku z tą rezygnacją oczekiwać innych warunków kwalifikacji, niż zostało to założone np. w procedurze rekrutacyjnej - pod warunkiem że została na wstępie procesu rekrutacyjnego poinformowana o tym, że AC będzie jego istotnym elementem. Tak więc jak nie budziłaby wątpliwości sytuacja, w której kandydat do pracy odmawia przedstawienia potencjalnemu pracodawcy swojego CV, tak też odmowa udziału w sesji AC może być elementem decydującym o zamknięciu procesu rekrutacji dla tego kandydata.
Osoby zaproszone do wzięcia udziału w sesji AC powinny zostać poinformowane o jej celu, planowanym przebiegu i o tym, kto będzie mieć wgląd do uzyskanych wyników. Kwestia ta jest np. regulowana poprzez „Kodeks Etyczno-Zawodowy Psychologa" - art. 182.
Czy uczestnik sesji powinien wyrazić pisemną zgodę dotyczącą swego udziału? Nie ma żadnych regulujących tę kwestię przepisów prawnych, ale są standardy dotyczące stosowania testów psychologicznych (które często bywają wykorzystywane w ramach sesji AC|DC). Myślę, że w przypadku gdy pojawiają się różne wątpliwości, warto sięgać do tych przyjętych i obowiązujących wytycznych. Standardy nie określają, że ma to być zgoda pisemna. Mówią jedynie o „zgodzie świadomej", wyrażonej, zanim test zostanie przeprowadzony (standard 8.4)3. Ponadto określają wyjątki, m.in. jeden z nich mówi o tym, że zgoda ta nie jest wymagana w sytuacji, gdy test stanowi element regularnie stosowanej procedury (np. procedury rekrutacyjnej), kiedy to uznaje się, że osoba biorąca udział w procedurze rekrutacji pośrednio wyraziła zgodę na testowanie. Nie zwalnia to jednak od konieczności poinformowania osoby testowanej o treści testu i celu jego zastosowania.
Do jakiego rodzaju informacji ma prawo uczestnik sesji AC? Poszukując odpowiedzi na to pytanie, można odnieść się do dwóch regulacji, które nie pozwalają jednak w pełni jednoznacznie odpowiedzieć na pytanie, czy w każdym przypadku uczestnik sesji AC|DC powinien mieć prawo wglądu do pełnego raportu, jaki powstaje po sesji. Jeśli chodzi o ramy prawne, to kwestie precyzuje kodeks pracy - szczególnie jego art. 22'1, oraz ustawa o ochronie danych osobowych. Jeśli uznać wyniki AC za dane osobowe, to do tych danych dostęp powinny mieć jedynie osoby zaangażowane bezpośrednio w proces rekrutacji, w tym przyszły bezpośredni przełożony i pracodawca oraz oczywiście sam kandydat. Każdy na własne życzenie powinien mieć możliwość uzyskania dostępu do swoich danych osobowych. Definicja prawna terminu „dane osobowe" mówi jednak, że określenie to oznacza wszelkie informacje umożliwiające zidentyfikowanie osoby fizycznej4. Sam wynik AC wydaje się tu niewystarczający, aby na jego podstawie zidentyfikować tożsamość osoby. Kodeks Etyczno-Zawodowy Psychologa tak wypowiada się na ten temat: „Osobom korzystającym z diagnozy i terapii psychologicznej psycholog udziela informacji o stosowanych metodach i uzyskanych wynikach, kierując się dobrem tych osób. Psycholog unika postępowania stwarzającego ryzyko zagrożenia wartości cenionych przez klienta, a także okazji do błędnej interpretacji podawanych informacji. W wypadkach wątpliwych psycholog upewnia się, czy informacje zostały właściwie zrozumiane"5 - wytyczne te mówią o konieczności udzielenia informacji zwrotnej, jednak nie określają formy, w jakiej te informacje mają zostać przekazane, i tak jak osobom diagnozowanym z zastosowaniem testów psycholog nie podaje wartości wyników, tylko wnioski interpretacyjne, tak też asesor przeprowadzający sesję oceny nie jest zobowiązany do przekazania uczestnikowi wszystkich wyników ilościowych przyznanych ocen. Dobre praktyki w tym zakresie zalecają jednak, aby każdy uczestnik, bez względu na wynik uzyskanej oceny, miał możliwość zapoznania się ze swoim raportem oraz uzyskania informacji, kto oprócz niego ma wgląd do tych poufnych danych.
Przeczytaj o innych kontrowersjach dotyczących aspektów formalnych
PRZYPISY:
1 M.in.: Ballantyne, I., Povah, N. (2000). Ośrodki oceny i rozwoju. Wydawnictwo ADS, Warszawa; Sedlak, K., red. (1996). Jak poszukiwać i zjednywać najlepszych pracowników. Kraków: Wydawnictwo Profesjonalnej Szkoły Biznesu; Woodruffe, Ch. (2003). Ośrodki oceny i rozwoju. Narzędzia analizy i doskonalenia kompetencji pracowników. Wydawnictwo Oficyna Ekonomiczna, Kraków
2 Kodeks Etyczno-Zawodowy Psychologa, uzyskano 14.10.2009 z sieci www: http://www.ptp.org.pl/modules.php?name=News&file=article&sid=29
3 Standardy dla testów stosowanych w psychologii i pedagogice, (2007), American Education Research Association, American Psychological Association, National, Council on Measurement in Education, tłum. Hornowska, E., Gdańsk, Gdańskie Wydawnictwo Psychologiczne
4 Kodeks pracy, uzyskano 14.10.2009 z sieci www: http://www.praca.info/kodeks-pracy; Ustawa o ochronie danych osobowych, uzyskano 14.10.2009 z sieci www: www.bik.pl
5 Kodeks Etyczno-Zawodowy Psychologa, art. 20, uzyskano 14.10.2009 z sieci www: http://www.ptp.org.pl/modules.php?name=News&file=article&sid=29