W wielu krajach zachodnich, w Unii Europejskiej, a ostatnio również w Polsce ugruntowała się praktyka dokonywania ewaluacji wszelkiego rodzaju przedsięwzięć finansowanych ze środków publicznych lub prywatnych. Dotyczy to również projektów współfinansowanych przez UE, w tym projektu „Fizyka wobec wyzwań XXI wieku”, w ramach którego został uruchomiony kierunek „Zastosowania fizyki w biologii i medycynie” na naszym Wydziale. Zgodnie z przyjętymi założeniami przebieg realizacji projektu i jego efekty będą monitorowane i ewaluowane przez niezależną firmę badawczą MillwardBrown SMG/KRC. Monitorowanie i ewaluacja projektu będą prowadzone do końca okresu jego realizacji, czyli do 2014 roku.

Ewaluacja projektu „Fizyka wobec wyzwań XXI wieku”

Zgodnie założeniami projektu jednym z planowanych działań jest jego ewaluacja. W wyniku postępowania przetargowego przeprowadzonego na przełomie 2010 i 2011 roku realizacja tego zadania została powierzona firmie MillwardBrown SMG/KRC.

Ewaluacja będzie prowadzona do zakończenia projektu, czyli do 31 grudnia 2014 roku. Z końcem semestru letniego 2010/2011 została zakończona ewaluacja przejściowa (mid-term), obejmująca swoim zakresem przebieg realizacji projektu i jego efekty od dnia rozpoczęcia (czyli od 1 września 2009 roku) do 1 lipca 2011 roku.

W chwili obecnej jest wykonywana ewaluacja bieżąca (on-going). Na zakończenie projektu (w drugiej połowie 2014 roku) zostanie przeprowadzona ewaluacja końcowa (ex-post).

Przedmiotem ewaluacji będą wszystkie działania realizowane w ramach projektu:

  1. Zarządzanie Projektem

  2. Promocja i rekrutacja
  3. Kurs „Ochrona radiologiczna i radiometria w medycynie”
  4. Otwarcie specjalności „Neuroinformatyka” (NI) i „Fizyka medyczna” (FM)
  5. Otwarcie specjalności „Optyka okularowa” (OO)
  6. Otwarcie specjalności „Biofizyka molekularna” (BM) i „Projektowanie molekularne i bioinformatyka” (PM)
  7. Organizacja zajęć w języku angielskim na kierunku Fizyka
  8. Wizyty studyjne
  9. Staże
  10. Ewaluacja
  11. Konferencja podsumowująca

Ewaluacja będzie prowadzona z uwzględnieniem sześciu standardowych kryteriów, którymi są: trafność (relevance), efektywność (efficiency), skuteczność (effectiveness), użyteczność (utility), oddziaływanie (impact) oraz trwałość efektów (sustainability).

Zostaną zastosowane następujące metody badawcze:

  • Analiza dokumentów zastanych.

  • Indywidualne wywiady pogłębione (IDI) z Kierownikiem Projektu, pracownikami Biura Projektu, asystentami Kierownika Projektu, wykładowcami, uczestnikami wyjazdów studyjnych i uczestnikami staży zagranicznych.
  • Badanie CAWI dotyczące postaw i motywacji studentów kierunku „Zastosowania fizyki w biologii i medycynie” na początku studiów.
  • Badanie satysfakcji z zajęć wśród studentów kierunku „Zastosowania fizyki w biologii i medycynie” w porównaniu ze studentami kierunku „Fizyka” na podstawie wyników ankiet zbieranych w USOS.
  • Wywiady grupowe ze studentami kierunku „Zastosowania fizyki w biologii i medycynie” (tylko dla zainteresowanych).
  • Badanie CAWI dotyczące postaw i motywacji studentów kierunku „Zastosowania fizyki w biologii i medycynie” na końcu studiów.
  • Badanie ankietowe motywacji i satysfakcji z zajęć wśród uczestników kursu „Ochrona radiologiczna i radiometria w medycynie”.
  • Badanie ankietowe wśród uczestników wyjazdów studyjnych.
  • Badanie ankietowe wśród uczestników staży zagranicznych.
  • Badanie ankietowe wśród studentów uczestniczących w zajęciach w języku angielskim.
  • Badanie PAPI wśród maturzystów (w 2011 i w 2014 roku) dotyczące preferowanych uczelni i kierunków studiów oraz wizerunku Uniwersytetu Warszawskiego, Wydziału Fizyki i nowego kierunku „Zastosowania fizyki w biologii i medycynie”.

Studenci kierunku „Zastosowania fizyki w biologii i medycynie” będą proszeni o udział w następujących badaniach:

  1. Badanie CAWI dotyczące postaw i motywacji na początku studiów (link do ankiety zostanie rozesłany pocztą elektroniczną).

  2. Badanie satysfakcji z zajęć na podstawie ankiet zbieranych w USOS (co semestr).
  3. Wywiady grupowe (raz na semestr, tylko dla zainteresowanych).
  4. Badanie CAWI dotyczące postaw i motywacji na końcu studiów (link do ankiety zostanie rozesłany pocztą elektroniczną).

ABC ewaluacji

Ewaluacja to systematyczne badanie wartości albo cech konkretnego programu, planu, działania bądź obiektu z punktu widzenia przyjętych kryteriów, w celu jego usprawnienia, rozwoju lub lepszego zrozumienia. Ewaluacja jest częścią procesu podejmowania decyzji. Obejmuje wydawanie opinii o wartości działania poprzez systematyczne, jawne zbieranie i analizowanie informacji o nim w odniesieniu do znanych celów, kryteriów i wartości.

W odniesieniu do funduszy unijnych: „Ewaluacja – to ocena wartości interwencji z zastosowaniem określonych kryteriów tej oceny podejmowana w celu określenia efektywności interwencji, oszacowania w odniesieniu do celów, a także analizy wpływu na specyficzne problemy strukturalne1”

Ewaluacja przejściowa (mid-term) jest to ewaluacja realizowana mniej więcej w połowie wdrażania interwencji. Ewaluacja ta poddaje analizie osiągnięte na tym etapie produkty i rezultaty oraz dokonuje pierwszej oceny jakości realizacji programu. Jej istotną rolą jest również ocena poczynionych na etapie programowania założeń, w tym szczególnie celów oraz przyjętych wskaźników oraz aktualnego kontekstu realizacji przedsięwzięcia. Jest to szczególnie ważne, gdyż zmiana warunków społeczno-gospodarczych może spowodować dezaktualizację początkowej diagnozy, która stała się punktem wyjścia dla realizowanej interwencji. W konsekwencji wyniki takiej ewaluacji mogą się przyczynić do pewnych modyfikacji realizacji interwencji oraz aktualizacji przyjętych założeń. Ewaluacja mid-term w dużej mierze opiera się na danych dostarczanych przez system monitoringu i jej jakość warunkowana jest zakresem i rzetelnością danych monitoringowych2.

Ewaluacja bieżąca (on-going) ma charakter uzupełniający dla wszystkich innych typów ewaluacji i może być prowadzona niezależnie od nich. Ewaluacja on-going jest prowadzona w trakcie trwania interwencji, jednak nie należy mylić jej z monitoringiem, gdyż jej zadaniem jest dokonanie pogłębionej oceny wybranych problemów, niekiedy zdiagnozowanych właśnie podczas realizacji innych ewaluacji. W szczególności ewaluacja on-going skupia się na zarządzaniu realizacją interwencji, diagnozuje i analizuje problemy pojawiające się w ich trakcie oraz poszukuje możliwości ich rozwiązania. Ponadto służyć może pogłębionej analizie uwarunkowań kontekstowych, które mogą mieć znaczenie dla powodzenia realizacji programu, bądź osiągnięcia przez niego założonych celów oraz osadzenia interwencji w relacji do innych programów podobnego typu, a realizowanych w tym samym czasie.2

Ewaluacja końcowa (ex-post) jest to ewaluacja przeprowadzana po zakończeniu realizacji programu. Zgodnie z artykułem 43 rozporządzenia ramowego powinna być ona przeprowadzona nie później niż trzy lata po zakończeniu okresu programowania. Podstawowym zadaniem ewaluacji ex-post jest zbadanie długotrwałych efektów (oddziaływania) programu oraz ich trwałości. Warto jednak wziąć pod uwagę, iż niektóre efekty oddziaływania programu będą możliwe do zdiagnozowania w dłuższej perspektywie czasowej, dlatego też niekiedy ocena trwałości interwencji może mieć charakter szacunkowy, biorący pod uwagę jedynie aktualne uwarunkowania. Nie mniej ważnym zadaniem ewaluacji ex-post jest całościowa ocena skuteczności i efektywności interwencji oraz jej trafności i użyteczności. Szczególnie istotne jest tu odniesienie się do założonych celów oraz sprawdzenie na ile udało się je osiągnąć. W ewaluacji tego typu jest miejsce na diagnozę efektów oczekiwanych, ale również identyfikację efektów, które przyniosła interwencja, a których nie zakładano, ma to szczególne znaczenie, gdyż ewaluacja ex-post służy nie tylko kompleksowemu podsumowaniu realizacji przedsięwzięcia, ale stanowi również cenne źródło informacji użytecznych przy planowaniu kolejnych interwencji.2 Należy podkreślić, że pełna ewaluacja ex-post, szczególnie jeśli chodzi o ocenę oddziaływania i trwałości wyników interwencji, wymaga zwykle dodatkowych badań prowadzonych w dłuższym okresie czasu po zakończeniu realizacji projektu.

Do czego służy ewaluacja (prezentacja PPT)

Zapraszamy do zapoznania się ze slajdami dotyczącymi ewaluacji. Podstawowa wiedza na ten temat zapewne przyda się Państwu w przyszłości, bez względu na obszar działalności zawodowej, gdyż ewaluacja staje się obecnie powszechnie stosowanym narzędziem oceny i optymalizacji przedsięwzięć finansowanych ze środków publicznych i prywatnych.

Ciekawe strony z informacjami na temat ewaluacji:

  1. Instytucje i organizacje w Polsce

  2. Instytucje i organizacje zagranicą
  3. Metody i standardy

Kontakt w sprawach dotyczących ewaluacji

  • Jerzy Radziwiłł, Kierownik Badania, tel.: 602 325 505, poczta: jerzy.radziwill@millwardbrown.com

  • Luiza Wiślicz-Iwańczyk, Specjalista ds. Promocji, Informacji i Monitoringu, ul. Pasteura 5, p. 2.37, tel.: (22) 55 32 637, poczta: luiza.wislicz@fuw.edu.pl
  • Adam Babiński, Kierownik Projektu, ul. Pasteura 5, p. 3.25, tel.: (22) 55-32-374, poczta: adam.babinski@fuw.edu.pl

1
Rozporządzenie Rady Unii Europejskiej z dn. 21.06.1999 r. wprowadzające ogólne przepisy dotyczące funduszy strukturalnych

2
Beata Ciężka: Pojęcie ewaluacji i jej rodzaje. W Ewaluacja – kwestie ogólne. Szkolenie dla pracowników Instytucji Zarządzającej Podstawami Wsparcia Wspólnoty, Krajowej Jednostki Oceny oraz komórek oceny w instytucjach zarządzających poszczególnymi programami operacyjnymi. Polskie Towarzystwo Ewaluacyjne, Warszawa 2005.