Ankieta rozdana pięć minut przed wyjściem ze szkolenia mierzy głównie nastrój uczestników. Czy prowadzący mówił jasno, czy materiały były czytelne, czy kawa była dobra. To przydatne informacje organizacyjne, ale nie odpowiadają na najważniejsze pytanie: czy nauczyciele po szkoleniu rzeczywiście zmienili sposób pracy z uczniami.
W oświacie ten błąd jest szczególnie kosztowny. Placówka może wydać kilka lub kilkanaście tysięcy złotych na szkolenie rady pedagogicznej, zebrać oceny na poziomie 4,8 w pięciostopniowej skali, a po dwóch miesiącach nie zobaczyć ani jednej trwałej zmiany na lekcjach. Uczestnicy byli zadowoleni, lecz wrócili do starych scenariuszy, sposobów oceniania i metod reagowania na trudne zachowania.
Rzetelna ewaluacja zaczyna się więc nie od pytania „czy szkolenie się podobało?”, lecz od ustalenia, jakie zachowanie zawodowe ma być widoczne po szkoleniu, gdzie zostanie zaobserwowane i po jakim czasie.
Najpierw trzeba zdefiniować zmianę, którą da się zobaczyć
Cel „podniesienie kompetencji nauczycieli” jest zbyt ogólny, aby go mierzyć. Nie wiadomo, co dokładnie ma się zmienić, kto ma to sprawdzić ani po czym poznać, że szkolenie zadziałało. Podobnie brzmią cele typu „rozwój nowoczesnego warsztatu pracy” czy „zwiększenie skuteczności nauczania”. Dobrze wyglądają w dokumentacji, ale nie prowadzą do żadnej decyzji.
Cel ewaluacyjny powinien opisywać konkretne działanie nauczyciela. Przykładowo:
- po szkoleniu z oceniania kształtującego nauczyciel formułuje kryteria sukcesu i udostępnia je uczniom przed wykonaniem zadania;
- po szkoleniu z pracy z uczniem ze spektrum autyzmu nauczyciel ogranicza wieloznaczne polecenia i dzieli złożone zadania na krótsze etapy;
- po szkoleniu z informacji zwrotnej nauczyciel przekazuje komentarz zawierający wskazanie mocnej strony, element do poprawy i konkretny następny krok;
- po szkoleniu dotyczącym zachowań trudnych pracownik stosuje uzgodnioną procedurę reakcji zamiast improwizować w sytuacji kryzysowej;
- po szkoleniu z metod aktywizujących na lekcji pojawia się zadanie wymagające samodzielnego wyboru, argumentacji albo współpracy uczniów, a nie tylko słuchania prezentacji.
Tak sformułowane zachowania można sprawdzić w scenariuszu lekcji, dzienniku elektronicznym, materiałach przekazywanych uczniom, arkuszu obserwacji albo podczas rozmowy z nauczycielem. Nie trzeba zaczynać od rozbudowanego systemu badawczego. W wielu szkołach wystarczy lista od trzech do pięciu zachowań, które powinny pojawić się po szkoleniu.
Lista nie może być jednak tworzona po fakcie. Kryteria trzeba ustalić przed wyborem prowadzącego, ponieważ mają wpływ na program, ćwiczenia i sposób pracy podczas szkolenia. Jeżeli szkoła oczekuje, że nauczyciele będą stosować nowy model informacji zwrotnej, uczestnicy powinni przećwiczyć go na własnych przykładach, a nie tylko wysłuchać wykładu o jego zaletach.
W praktyce sprawdza się prosty zapis:
Po szkoleniu uczestnik potrafi: przygotować komunikat według określonego schematu.
W pracy uczestnik stosuje: schemat w co najmniej dwóch rzeczywistych sytuacjach tygodniowo.
Dowód wdrożenia: dwa zanonimizowane przykłady komentarzy lub zapis w arkuszu obserwacji.
Termin sprawdzenia: od 30 do 45 dni po szkoleniu.
Najczęstszy błąd polega na mierzeniu efektu zbyt wcześnie. Deklaracja złożona bezpośrednio po zajęciach pokazuje, czy uczestnik rozumie metodę i zamierza jej używać. Nie pokazuje, czy zastosował ją w klasie liczącej 28 uczniów, przy napiętym planie lekcji, dokumentacji i presji realizacji podstawy programowej.
Drugi błąd to zbyt szeroki zakres. Jeżeli po sześciogodzinnym szkoleniu szkoła oczekuje jednoczesnej zmiany sposobu oceniania, komunikacji z rodzicami, organizacji lekcji i pracy z uczniem ze specjalnymi potrzebami, ewaluacja prawdopodobnie wykaże chaos. Jedno szkolenie powinno prowadzić do jednej głównej zmiany praktyki i najwyżej dwóch zmian pomocniczych.
Pomiar trzeba rozłożyć w czasie i oprzeć na kilku dowodach
Ewaluacja szkolenia nie jest pojedynczą ankietą, lecz krótkim procesem. Najbardziej użyteczny układ obejmuje cztery momenty pomiaru:
- przed szkoleniem – ustalenie punktu wyjścia;
- bezpośrednio po szkoleniu – sprawdzenie wiedzy, rozumienia i gotowości do wdrożenia;
- po 30–45 dniach – weryfikacja pierwszych prób zastosowania;
- po 90 dniach – ocena, czy praktyka utrzymała się i weszła do codziennej pracy.
Pomiar przed szkoleniem jest często pomijany, przez co dyrektor nie wie, czy późniejszy wynik oznacza poprawę. Jeżeli przed szkoleniem 40 proc. nauczycieli regularnie stosowało kryteria sukcesu, a po trzech miesiącach robi to 65 proc., można mówić o wzroście o 25 punktów procentowych. Bez pomiaru początkowego zostaje tylko stwierdzenie, że „większość uczestników wdrożyła metodę”.
Punkt wyjścia nie musi być skomplikowany. Można wykorzystać:
- krótką samoocenę dotyczącą częstotliwości określonych działań;
- analizę pięciu–dziesięciu przykładowych materiałów dydaktycznych;
- obserwację niewielkiej próby lekcji;
- rozmowy z liderami zespołów przedmiotowych;
- anonimową ankietę uczniowską, jeżeli zmiana dotyczy doświadczenia ucznia;
- dane już gromadzone przez szkołę, na przykład liczbę interwencji, nieoddanych prac lub powtarzających się skarg.
Samoocena nie może być jedynym dowodem. Nauczyciel może szczerze uważać, że regularnie udziela uczniom informacji zwrotnej, choć w praktyce ogranicza się ona do oceny, krótkiego komentarza i polecenia „popraw błędy”. Nie jest to kwestia złej woli. Ludzie zwykle oceniają własną praktykę przez pryzmat intencji, a nie pełnej dokumentacji swoich działań.
Dlatego warto zastosować triangulację, czyli porównać co najmniej dwa źródła. Przykładowy zestaw to:
- deklaracja nauczyciela;
- analiza materiału lub obserwacja praktyki;
- informacja od uczniów albo zespołu nauczycielskiego.
Nie każdy temat wymaga obserwacji lekcji. Przy szkoleniu z prowadzenia dokumentacji lepszym dowodem będzie analiza zapisów. Przy komunikacji z rodzicami można oceniać przygotowane komunikaty, procedurę kontaktu i liczbę spraw wymagających ponownego wyjaśniania. Przy pracy metodą projektu potrzebne będą harmonogramy, kryteria oceniania, role uczniów i przykłady produktów końcowych.
Arkusz obserwacji powinien być krótki. Dokument liczący trzy strony z kilkudziesięcioma kryteriami szybko stanie się obowiązkiem wykonywanym pozornie. W praktyce wystarcza skala trzystopniowa:
- 0 – zachowanie nie wystąpiło;
- 1 – wystąpiło częściowo albo nieregularnie;
- 2 – wystąpiło zgodnie z ustalonym standardem.
Przy pięciu kryteriach maksymalny wynik wynosi 10 punktów. Szkoła może przyjąć, że wdrożenie podstawowe zaczyna się od 6 punktów, a stabilne od 8 punktów, pod warunkiem że żadne kryterium krytyczne nie otrzymało zera. To próg zarządczy ustalony przez placówkę, a nie uniwersalna norma. Powinien wynikać z trudności metody i realnych warunków pracy.
Trzeba również oddzielić wpływ szkolenia od wpływu otoczenia. Jeżeli nauczyciele poznali nową metodę, lecz nie dostali czasu na przygotowanie materiałów, wzorów dokumentów ani konsultacje po pierwszych próbach, niski poziom wdrożenia nie musi oznaczać słabego szkolenia. Może oznaczać, że organizacja nie stworzyła warunków do zmiany.
W ewaluacji warto więc sprawdzić trzy grupy barier:
- czasowe – brak czasu na przygotowanie, zbyt wiele równoległych zmian;
- organizacyjne – sprzeczne procedury, brak decyzji dyrektora, brak wspólnych standardów;
- kompetencyjne – uczestnik rozumie metodę, ale nie potrafi zastosować jej w trudnej sytuacji.
Najbardziej irytującym elementem rozbudowanych ewaluacji jest zbieranie danych, których później nikt nie analizuje. Jeżeli szkoła nie zamierza podjąć decyzji na podstawie odpowiedzi, pytania nie należy zadawać. Każdy wskaźnik powinien mieć przypisane możliwe działanie: konsultację, zmianę procedury, dodatkowe ćwiczenie, rezygnację z metody albo rozszerzenie jej na kolejne zespoły.
Wynik ewaluacji ma prowadzić do decyzji, nie do raportu na półkę
Dobra ewaluacja kończy się rozstrzygnięciem. Nie chodzi o to, aby przygotować wykresy do sprawozdania, lecz aby zdecydować, czy szkoła kontynuuje wdrożenie, modyfikuje je, czy zatrzymuje.
Najprostsza macierz decyzyjna może opierać się na dwóch pytaniach:
- ilu uczestników faktycznie stosuje uzgodnioną praktykę;
- czy zastosowanie praktyki przynosi zauważalny efekt dla uczniów lub organizacji pracy.
Jeżeli po 90 dniach co najmniej 70–80 proc. uczestników stosuje metodę zgodnie z ustalonym standardem, można rozważyć jej utrwalenie i włączenie do szkolnych procedur. Jeżeli robi to 40–70 proc., potrzebna jest analiza barier oraz wsparcie wdrożeniowe. Wynik poniżej 40 proc. zwykle oznacza, że nie należy zamawiać kolejnego podobnego szkolenia bez ustalenia przyczyny niepowodzenia.
Progi te nie są oficjalnymi normami dla szkół. Są praktycznym narzędziem do podejmowania decyzji. W małym zespole liczącym osiem osób jedna osoba zmienia wynik o 12,5 punktu procentowego, dlatego procenty trzeba zawsze zestawiać z liczbami bezwzględnymi.
Wynik niski może mieć cztery różne przyczyny:
- treść szkolenia była zbyt teoretyczna;
- metoda nie pasuje do warunków placówki;
- uczestnicy nie mieli możliwości przećwiczenia jej na własnych materiałach;
- dyrekcja nie zapewniła czasu, standardu ani wsparcia po szkoleniu.
Każda z tych przyczyn wymaga innej reakcji. Kolejne szkolenie nie naprawi problemu organizacyjnego. Dodatkowa procedura nie pomoże, jeżeli nauczyciele nadal nie rozumieją sposobu działania metody. Z kolei indywidualne konsultacje będą stratą czasu, gdy wdrażane rozwiązanie jest zwyczajnie niedopasowane do wieku uczniów, liczebności klas albo charakteru przedmiotu.
Przed decyzją o dalszym finansowaniu warto przeanalizować koszt jednego skutecznego wdrożenia. Jeżeli szkolenie kosztowało 6000 zł, uczestniczyło w nim 30 osób, a po trzech miesiącach metodę stosuje 18 nauczycieli, koszt jednego wdrożenia wynosi około 333 zł. Gdy praktykę utrzymało sześć osób, koszt rośnie do 1000 zł. Taki przelicznik nie ocenia jakości pracy nauczycieli, ale pomaga porównywać formy doskonalenia: szkolenie całej rady, warsztat dla mniejszej grupy, mentoring albo pracę zespołu samokształceniowego.
Nie wszystkie efekty da się przeliczyć na pieniądze. Zmniejszenie liczby konfliktów, bardziej przewidywalna reakcja na zachowania trudne czy lepsza jakość informacji zwrotnej mają wartość, której nie należy sprowadzać do prostego zwrotu finansowego. Można jednak sprawdzić częstotliwość zdarzeń, liczbę interwencji, czas poświęcany na poprawki lub odsetek uczniów rozumiejących kryteria zadania.
W tym miejscu przydaje się zasada: mierz najbliższy efekt, na który nauczyciel ma realny wpływ. Po dwugodzinnym szkoleniu nie należy obiecywać wzrostu wyników egzaminacyjnych. Można natomiast sprawdzić, czy nauczyciel zmienił sposób formułowania zadań, czy uczniowie rozumieją kryteria i czy liczba błędów wynikających z niezrozumienia polecenia spadła.
Raport końcowy powinien mieścić się na jednej lub dwóch stronach i odpowiadać na pięć pytań:
- Jaka praktyka miała się zmienić?
- Ilu uczestników ją wdrożyło?
- Jakie dowody to potwierdzają?
- Co utrudniało wdrożenie?
- Jaka decyzja zostaje podjęta?
Więcej informacji na: https://a-z.edu.pl
FAQ: najczęstsze pytania o ewaluację szkoleń
Czy anonimowa ankieta satysfakcji jest potrzebna?
Tak, ale służy głównie do oceny organizacji, sposobu prowadzenia i użyteczności materiałów. Nie powinna być przedstawiana jako dowód zmiany praktyki.
Kto powinien prowadzić ewaluację: dyrektor czy firma szkoleniowa?
Firma może sprawdzić wiedzę i zebrać opinie bezpośrednio po szkoleniu. Zmianę praktyki powinna oceniać placówka, ponieważ tylko ona ma dostęp do późniejszych działań nauczycieli i warunków wdrożenia.
Czy obserwacja lekcji nie zostanie odebrana jako kontrola?
Może zostać tak odebrana, gdy kryteria są niejawne lub wynik łączy się z oceną pracownika. Kryteria trzeba przedstawić przed szkoleniem, a obserwację opisać jako sprawdzenie wdrożenia konkretnej metody, nie całościową ocenę nauczyciela.
Ile pytań powinna mieć ankieta po szkoleniu?
Zwykle wystarcza 6–10 pytań. Dłuższy formularz zwiększa liczbę odpowiedzi przypadkowych i niedokończonych. Najważniejsze są pytania o użyteczność, zrozumienie metody, gotowość do zastosowania i przewidywane bariery.
Czy efekty trzeba mierzyć po każdym szkoleniu?
Nie w takim samym zakresie. Krótkie szkolenie informacyjne może wymagać jedynie potwierdzenia zrozumienia procedury. Pełna ewaluacja wdrożenia jest potrzebna tam, gdzie szkolenie ma zmienić sposób nauczania, oceniania, komunikacji albo reagowania na sytuacje trudne.
Co zrobić, gdy tylko część nauczycieli wdrożyła metodę?
Najpierw porównać warunki pracy obu grup. Dopiero potem decydować o dodatkowym szkoleniu. Często skuteczniejsza jest analiza konkretnych przypadków, konsultacja albo udostępnienie gotowych materiałów niż ponowne prowadzenie tego samego wykładu.
Pierwszy krok nie polega na tworzeniu nowej ankiety. Najpierw trzeba usunąć błąd polegający na braku mierzalnego celu. Przed następnym szkoleniem zapisz jedno zachowanie, które ma pojawić się w pracy nauczycieli, jeden dowód jego zastosowania oraz termin kontroli po 30–45 dniach. Bez tych trzech elementów szkoła ponownie zmierzy zadowolenie, a nie zmianę.
