Methoden in der Evaluation
Arbeitskreis in der Gesellschaft für Evaluation
Ausgangs- und Problemlage
Stärker als in der universitären Forschung – in der inhaltliche Fragen nach methodischen Vorlieben bearbeitet werden können – muss der Prozess der methodischen Arbeit in der Evaluation sich strikt an den Erfordernissen des jeweiligen Untersuchungsgegenstandes orientieren. Das bedeutet, dass entsprechende methodische Kompetenzen und die zu ihrer Anwendung erforderliche Offenheit konstitutive Elemente des Handelns bei der Evaluation sein müssen.
Damit sind zwei elementare Gründe zur Etablierung eines Methodenarbeitskreises genannt. Dabei bedeutet „Offenheit“, dass in dem Kreis ein Austausch nicht nur über Forschungsmethoden stattfinden soll, sondern auch über andere Arten von evaluativen Verfahren (etwa: entscheidungstheoretische oder beteiligungsorientierte Bewertungsverfahren). Unter „methodischer Kompetenz“ wiederum wird hier verstanden, dass – anders als in der Grundlagenforschung – in der auftragsbasierten Evaluation unter dem Handlungsdruck der Praxis oft eine perfekte Lösung nicht umgesetzt werden kann, sondern ökonomisch vertretbare und pragmatisch handhabbare Abkürzungsverfahren gefunden werden müssen. Die Vertretbarkeit solcher Abkürzungsverfahren, die in der Literatur zunehmend diskutiert werden, und ihre Abgrenzung gegenüber schlechter, pseudowissenschaftlicher Evaluationspraxis muss ein ebenso wichtiges Anliegen für in der Evaluation Tätige und Auftraggebende sein, wie die Anwendung allgemein akzeptierter wissenschaftlich begründeter Qualitätskriterien im Handlungsfeld Evaluation.
Insgesamt gilt, dass auf dem sehr weiten und interdisziplinären Feld empirischer Forschungsmethoden und der Methodologie empirischer Sozial- und Verhaltensforschung in den letzten Jahrzehnten rapide Entwicklungen und bedeutsame Debatten stattgefunden haben. Diese betreffen einerseits die Entwicklung fortgeschrittener und teilweise recht komplexer Verfahren der Datenerhebung und Datenauswertung und andererseits konzeptuelle und grundsätzliche Fragen wie etwa das Verhältnis qualitativer und quantitativer Methoden. Viele dieser Entwicklungen sind für Evaluation als berufliche Praxis und wissenschaftlich begründete Tätigkeit von unmittelbarer Relevanz: Dies gilt etwa für die zunehmende Verfügbarkeit von EDV-gestützten, statistisch anspruchsvollen, aber oft leicht zu implementierenden Datenanalysetechniken (deren Anwendungsvoraussetzungen aber sehr komplex sein können), das betrifft weiterhin Debatten über „Hierarchien der Evidenz“ und „evidence based practice“ u.a.m.
Von diesen Entwicklungen angeregt, oder auch unabhängig davon, finden in wissenschaftlichen Einzeldisziplinen immer wieder intensive Debatten über wissenschaftlich begründete Standards für gute und vertretbare Forschung statt. Die „DeGEval – Gesellschaft für Evaluation“ muss hier selber tätig werden, um als ein sichtbarer Akteur an Debatten über Methoden in der Evaluation teilzunehmen und um gleichermaßen wissenschaftlich vertretbare und pragmatisch umsetzbare Standards und Qualitätskriterien zu diskutieren und in der Fachöffentlichkeit zu vertreten. Die wesentliche Aufgabe eines AK „Forschungsmethoden in der Evaluation“ wäre demnach der offene Austausch über Evaluationsmethoden über einzelne inhaltliche Evaluationsfelder hinweg.
Ziele des Arbeitskreises
Der Arbeitskreis wird den aktuellen Stand der Methodendiskussion, der Methodenentwicklung und anderer Bewertungsverfahren in relevanten Fachdisziplinen (Psychologie, Statistik, Soziologie, Ökonomie, Medizin, Pflegewissenschaften u.a.m.), insoweit dieser Stand für Evaluation von Relevanz ist, aufarbeiten, diskutieren und so auch die unterschiedlichen Fachdisziplinen in Austausch miteinander bringen. Im Zentrum der Aufmerksamkeit stehen dabei Gütestandards und Qualitätskriterien von Evaluationsmethoden. Im Sinne der aus der evidenzbasierten Medizin bekannten „Hierarchie der Evidenz“ sollen dabei best practices und akzeptable good practices identifiziert werden und die Geltungsreichweite von Aussagen, die mit Verfahren unterschiedlicher methodischer Strenge und Komplexität formuliert werden können, vergleichend bestimmt werden. Damit soll die Bandbreite wissenschaftlich vertretbarer Evaluationsmethoden in zwei Richtungen abgegrenzt werden: einerseits gegenüber zeit- und personalintensiven, hochkomplexen methodischen Verfahren, die vor allem in der wissenschaftlichen Grundlagenforschung einen Platz haben und andererseits gegenüber „Folkloremethoden“ der Praxis, denen methodische Kontrolle weitgehend fehlt. Für in der Evaluationsforschung Tätige ebenso wie für Auftraggebende und an den Evaluationsergebnissen Interessierte sollen auf diese Weise Brauchbarkeit und Erkenntnisgrenzen unterschiedlicher methodischer Ansätze verdeutlicht werden.
Eine ausführliche Beschreibung der Arbeit des AK Methoden ist in der Zeitschrift für Evaluation Heft 02/2017 erschienen und kann unter diesem Link eingesehen werden.