Aktuelles

Thema: Innovative Ansätze in FTI-Evaluationen

Die Frühjahrstagung des AK FTI findet am 18. Juni 2024 zwischen 13:00-16:30 Uhr statt.

Das diesjährige Frühjahrstreffen des AK Forschungs-, Technologie- und Innovationspolitik (FTI) widmet sich „Innovativen Ansätzen in FTI-Evaluationen". Es soll der Frage nachgegangen werden, mit welchen Ideen den aktuellen Herausforderungen in Begleitevaluationen und Wirkungsmessungen begegnet werden kann. Denn in der Praxis sind innovative Ansätze gefragt, um den neuen Anforderungen gerecht zu werden, sei es in Form neuer analytischer Zugänge, methodischer Ansätze oder Messkonzepte. Auch bei der weiteren Interpretation der Evaluationsergebnisse steigen die Anforderungen, z.B. hinsichtlich der Integration von quantitativen und qualitativen Ansätzen, die möglicherweise im Rahmen von Begleitprozessen besser umgesetzt werden können.

Überblick zu den Fachbeiträgen

Aktuelle Methodik-Diskussion der Ressorts zur Wirkungsorientierung und Evaluationskultur innerhalb der deutschen Bundesregierung, Dr. Friederike Weritz, BMWK

Der Beitrag gibt einen Überblick zur aktuellen Methodik-Diskussion der Ressorts zur Wirkungsorientierung und Evaluationskultur, die angestoßen vom Bundesministerium für Finanzen (BMF) und unter Beteiligung der anderen Fachministerien geführt wird. Mehrere sog. Spending Reviews haben seit 2015 stattgefunden, um die Zielerreichung durch den Einsatz öffentlicher Mittel zu bewerten. Im gerade abgeschlossenen Review-Zyklus 2022/2024 hat eine Arbeitsgruppe u.a. Empfehlungen für die Verbesserung der ziel- und wirkungsorientierten Haushaltsführung mit einem Schwerpunkt Nachhaltigkeit erarbeitet. Ferner soll im Beitrag auf methodisch relevante Prozesse eingegangen werden, die die Überarbeitung der allgemeinen Verwaltungsvorschriften zur Bundeshaushaltsordnung (VV BHO) und der Arbeitsanleitung Wirtschaftlichkeitsuntersuchung des BMF mit Fokus auf Erfolgskontrolle sowie die Diskussion Fördereffizienz beim Thema Treibhausgasminderung (THG) betreffen.

Erstellung eines wirkungsorientierten Monitorings für das Förderportfolio der Alexander von Humboldt Stiftung – Modulare Wirkungsstränge als Basis zur Konzeption eines stiftungsübergreifenden Monitorings, Sarah Seus, Fraunhofer ISI

Mit zunehmender Aufmerksamkeit für gesellschaftliche Auswirkungen von Forschungsaktivitäten, sind Forschungsförderungsorganisationen zunehmend mit der Forderung konfrontiert, die Wirkungen ihrer Aktivitäten besser zu verstehen und darzustellen (Bornmann 2013; Sørensen et al. 2022). In diesem Beitrag wird der Ansatz vorgestellt, der einen Rahmen für ein wirkungsorientiertes Monitoring skizziert, der die (Förder-) aktivitäten der unterschiedlichen organisatorischen Ebenen (übergreifendes Förderportfolio/Aktivitäten, einzelne Förderprogramme) der Alexander von Humboldt Stiftung (AvH) abbildet. Dabei nutzen wir das Konzept der Wirkungspfade (impact pathways), das auch in der Forschungs- und Innovationsförderung in den letzten Jahren an Popularität gewonnen hat (Bruno und Kadunc 2019; Griniece et al. 2020; Muhonen et al. 2019, Belcher et al. 2020). Neu an diesem Ansatz ist der modulare Aufbau eines Wirkungsdiagramms, der auf der Idee einzelner, generischer Wirkungsstränge beruht. Diese einzelnen Wirkungsstränge beschreiben grundlegende Logiken von Förderaktivitäten, die auf verschiedene Stakeholder-Gruppen (einzelne Wissenschaftler:innen, Universitäten, etc.) abzielen und flexibel miteinander kombiniert werden können, je nach inhaltlichem Schwerpunkt des jeweiligen Förderprogramms. Wir haben drei zentrale Wirkungsdimensionen (Wissenschaft, interkultureller Austausch und Vernetzung, Gesellschaft) identifiziert, die sich in sechs inhaltliche Wirkungsstränge ausdifferenzieren lassen. Während diese Wirkungspfade auf die spezifischen Anforderungen der AvH zugeschnitten sind und mit der AvH zusammen in einem co-kreativen Prozess erarbeitet wurden, betrachten wir diese Pfade als so generisch, dass sie potenziell relevant für andere Forschungsförderer sein können.

Innovationsbiografien in der Evaluierungspraxis - eine Reflexion, Dr. Kathleen Toepel, IfS

EFRE-Mittel werden auf Landesebene in vielfältigen Fördermaßnahmen, darunter auch in FTI-Programmen eingesetzt. Zur Evaluierung der Prioritätsachse 1 "Innovation" des EFRE-Programms in Berlin wurden erstmalig in einer mehrjährigen begleitenden Evaluierung Innovationsbiografien als neuer Forschungsansatz angewendet, mit dem der gesamte Prozess der Wissensgenerierung in konkreten Innovationsverläufen der untersuchten Unternehmen, Hochschulen und außeruniversitären Forschungseinrichtungen nachgebildet werden konnte. Erstellt wurden insgesamt 23 Innovationsbiografien, die für die Evaluierung entlang des Wirkungsmodells ausgewertet wurden. Deutlich wird das Zusammenspiel verschiedener Fördermaßnahmen sowie der Einfluss externer Faktoren auf die Innovationsprozesse. Der Beitrag stellt die Erfahrungen mit dieser qualitativ ausgerichteten Methode anhand von Beispielen vor. Mit dieser Methode lässt sich insbesondere die Komplexität von Transformationsprozessen auf der Mikroebene abbilden.

Evaluierung transformativer innovationspolitischer Instrumente am Beispiel des österreichischen Programms INNOVATORINNEN, Dr. Verena Régent, WPZ Research

Dieser Beitrag beschäftigt sich mit der Evaluation transformativer Innovationspolitik (TIP)-Instrumente und geht dabei der Frage nach, inwiefern die WPZ-Begleitforschung des FFG-/BMAW-Programms INNOVATORINNEN den theoretischen Erfordernissen einer TIP-Evaluierung nahekommt. Mithilfe einer deduktiven Inhaltsanalyse werden das Evaluierungskonzept und die Evaluierungspraxis des INNOVATORINNEN-Programms anhand der in der neueren Literatur proklamierten Anforderungen an TIP-Evaluationen analysiert, insbesondere im Hinblick auf die Evaluierungsstrategie, die Rolle der Evaluierung, die Änderungstheorie und die Methodik. Die Ergebnisse deuten darauf hin, dass eine hohe Übereinstimmung zwischen den Programmbewertungs- und TIP-Evaluierungsanforderungen besteht, insbesondere im Hinblick auf das Lernen und Reflektieren des Programms sowie die evidenzbasierte Weiterentwicklung des Programms. Die INNOVATORINNEN-Evaluation zielt auf inhaltsorientierte ko-kreative Prozesse mit Programmteilnehmern und Programminhabern ab. Insbesondere entsteht ein Dreieck des Wissensaustauschs zwischen Evaluator:innen, Programminhabern und Programmteilnehmern, der der Weiterentwicklung des INNOVATORINNEN-Programms zugutekommt. Der Beitrag schließt mit einer Erläuterung der Erkenntnisse aus dem Bewertungsprozess, der ein hohes Maß an Offenheit, Flexibilität, Lernbereitschaft und Respekt vor Grenzen bei allen Beteiligten voraussetzt.

Das Programm zur Frühjahrstagung 2024 steht hier zur Verfügung