Bisherige Aktivitäten
des AK FTI
Frühjahrstagung 2024: Innovative Ansätze in FTI-Evaluationen
Die Frühjahrstagung des AK FTI fand am 18. Juni 2024 zwischen 13:00-16:30 Uhr statt.
Das diesjährige Frühjahrstreffen des AK Forschungs-, Technologie- und Innovationspolitik (FTI) widmete sich „Innovativen Ansätzen in FTI-Evaluationen". Es wurde der Frage nachgegangen , mit welchen Ideen den aktuellen Herausforderungen in Begleitevaluationen und Wirkungsmessungen begegnet werden kann. Denn in der Praxis sind innovative Ansätze gefragt, um den neuen Anforderungen gerecht zu werden, sei es in Form neuer analytischer Zugänge, methodischer Ansätze oder Messkonzepte. Auch bei der weiteren Interpretation der Evaluationsergebnisse steigen die Anforderungen, z.B. hinsichtlich der Integration von quantitativen und qualitativen Ansätzen, die möglicherweise im Rahmen von Begleitprozessen besser umgesetzt werden können. In diesem Jahr gab es eine Rekordbeteiligung, von über 60 interessierten Evaluator*innen.
Überblick zu den Fachbeiträgen
Aktuelle Methodik-Diskussion der Ressorts zur Wirkungsorientierung und Evaluationskultur innerhalb der deutschen Bundesregierung, Dr. Friederike Weritz, BMWK
Der Beitrag ermöglichte einen Überblick zur aktuellen Methodik-Diskussion der Ressorts zur Wirkungsorientierung und Evaluationskultur, die angestoßen vom Bundesministerium für Finanzen (BMF) und unter Beteiligung der anderen Fachministerien geführt wird. Mehrere sog. Spending Reviews haben seit 2015 stattgefunden, um die Zielerreichung durch den Einsatz öffentlicher Mittel zu bewerten. Im gerade abgeschlossenen Review-Zyklus 2022/2024 hat eine Arbeitsgruppe u.a. Empfehlungen für die Verbesserung der ziel- und wirkungsorientierten Haushaltsführung mit einem Schwerpunkt Nachhaltigkeit erarbeitet. Ferner wurde im Beitrag auf methodisch relevante Prozesse eingegangen , die die Überarbeitung der allgemeinen Verwaltungsvorschriften zur Bundeshaushaltsordnung (VV BHO) und der Arbeitsanleitung Wirtschaftlichkeitsuntersuchung des BMF mit Fokus auf Erfolgskontrolle sowie die Diskussion Fördereffizienz beim Thema Treibhausgasminderung (THG) betreffen.
Erstellung eines wirkungsorientierten Monitorings für das Förderportfolio der Alexander von Humboldt Stiftung – Modulare Wirkungsstränge als Basis zur Konzeption eines stiftungsübergreifenden Monitorings, Sarah Seus, Fraunhofer ISI
Mit zunehmender Aufmerksamkeit für gesellschaftliche Auswirkungen von Forschungsaktivitäten, sind Forschungsförderungsorganisationen zunehmend mit der Forderung konfrontiert, die Wirkungen ihrer Aktivitäten besser zu verstehen und darzustellen (Bornmann 2013; Sørensen et al. 2022). In diesem Beitrag wird der Ansatz vorgestellt, der einen Rahmen für ein wirkungsorientiertes Monitoring skizziert, der die (Förder-) aktivitäten der unterschiedlichen organisatorischen Ebenen (übergreifendes Förderportfolio/Aktivitäten, einzelne Förderprogramme) der Alexander von Humboldt Stiftung (AvH) abbildet. Dabei nutzen wir das Konzept der Wirkungspfade (impact pathways), das auch in der Forschungs- und Innovationsförderung in den letzten Jahren an Popularität gewonnen hat (Bruno und Kadunc 2019; Griniece et al. 2020; Muhonen et al. 2019, Belcher et al. 2020). Neu an diesem Ansatz ist der modulare Aufbau eines Wirkungsdiagramms, der auf der Idee einzelner, generischer Wirkungsstränge beruht. Diese einzelnen Wirkungsstränge beschreiben grundlegende Logiken von Förderaktivitäten, die auf verschiedene Stakeholder-Gruppen (einzelne Wissenschaftler:innen, Universitäten, etc.) abzielen und flexibel miteinander kombiniert werden können, je nach inhaltlichem Schwerpunkt des jeweiligen Förderprogramms. Wir haben drei zentrale Wirkungsdimensionen (Wissenschaft, interkultureller Austausch und Vernetzung, Gesellschaft) identifiziert, die sich in sechs inhaltliche Wirkungsstränge ausdifferenzieren lassen. Während diese Wirkungspfade auf die spezifischen Anforderungen der AvH zugeschnitten sind und mit der AvH zusammen in einem co-kreativen Prozess erarbeitet wurden, betrachten wir diese Pfade als so generisch, dass sie potenziell relevant für andere Forschungsförderer sein können.
Innovationsbiografien in der Evaluierungspraxis - eine Reflexion, Dr. Kathleen Toepel, IfS
EFRE-Mittel werden auf Landesebene in vielfältigen Fördermaßnahmen, darunter auch in FTI-Programmen eingesetzt. Zur Evaluierung der Prioritätsachse 1 "Innovation" des EFRE-Programms in Berlin wurden erstmalig in einer mehrjährigen begleitenden Evaluierung Innovationsbiografien als neuer Forschungsansatz angewendet, mit dem der gesamte Prozess der Wissensgenerierung in konkreten Innovationsverläufen der untersuchten Unternehmen, Hochschulen und außeruniversitären Forschungseinrichtungen nachgebildet werden konnte. Erstellt wurden insgesamt 23 Innovationsbiografien, die für die Evaluierung entlang des Wirkungsmodells ausgewertet wurden. Deutlich wird das Zusammenspiel verschiedener Fördermaßnahmen sowie der Einfluss externer Faktoren auf die Innovationsprozesse. Der Beitrag stellt die Erfahrungen mit dieser qualitativ ausgerichteten Methode anhand von Beispielen vor. Mit dieser Methode lässt sich insbesondere die Komplexität von Transformationsprozessen auf der Mikroebene abbilden.
Evaluierung transformativer innovationspolitischer Instrumente am Beispiel des österreichischen Programms INNOVATORINNEN, Dr. Verena Régent, WPZ Research
Dieser Beitrag beschäftigt sich mit der Evaluation transformativer Innovationspolitik (TIP)-Instrumente und geht dabei der Frage nach, inwiefern die WPZ-Begleitforschung des FFG-/BMAW-Programms INNOVATORINNEN den theoretischen Erfordernissen einer TIP-Evaluierung nahekommt. Mithilfe einer deduktiven Inhaltsanalyse werden das Evaluierungskonzept und die Evaluierungspraxis des INNOVATORINNEN-Programms anhand der in der neueren Literatur proklamierten Anforderungen an TIP-Evaluationen analysiert, insbesondere im Hinblick auf die Evaluierungsstrategie, die Rolle der Evaluierung, die Änderungstheorie und die Methodik. Die Ergebnisse deuten darauf hin, dass eine hohe Übereinstimmung zwischen den Programmbewertungs- und TIP-Evaluierungsanforderungen besteht, insbesondere im Hinblick auf das Lernen und Reflektieren des Programms sowie die evidenzbasierte Weiterentwicklung des Programms. Die INNOVATORINNEN-Evaluation zielt auf inhaltsorientierte ko-kreative Prozesse mit Programmteilnehmern und Programminhabern ab. Insbesondere entsteht ein Dreieck des Wissensaustauschs zwischen Evaluator:innen, Programminhabern und Programmteilnehmern, der der Weiterentwicklung des INNOVATORINNEN-Programms zugutekommt. Der Beitrag schließt mit einer Erläuterung der Erkenntnisse aus dem Bewertungsprozess, der ein hohes Maß an Offenheit, Flexibilität, Lernbereitschaft und Respekt vor Grenzen bei allen Beteiligten voraussetzt.
Das Programm zur Frühjahrstagung 2024 steht hier zur Verfügung
Die Konzeptualisierung und Messung von Wirkungen in der transformativen Forschungs-, Technologie- und Innovationspolitik
Unter dem Oberthema Transformative FTI-Politik und deren Herausforderungen und Messung fand am 20. Juni 2023 zwischen 13.00-16.30 Uhr das virtuelle Frühjahrstreffen des AK FTI statt. Im Fokus stand dabei ein Thema, das aufgrund der großen gesellschaftlichen Herausforderungen eine zunehmende Zahl an Politikmaßnahmen nach sich zieht, worauf auch die Evaluations-Community eine Antwort bezüglich deren Design und Evaluierbarkeit zu finden hat.
Hier geht's zum Programm
Beiträge durch die Referentinnen und Referenten
- Status Quo der Konzeptualisierung und Messung von Wirkungen in der transformativen Innovationspolitik – Eindrücke von der EU-SPRI Konferenz | Peter Kaufmann, Harald Wieser, Jakob Kofler (KMU Forschung Austria), Marianne Kulicke (Fraunhofer Institut für System- und Innovationsforschung ISI), Leo Wangler (iit Institut für Innovation und Technik)
- Transformations- und Missionsorientierung – das 7. und 8. Energieforschungsprogramm im Vergleich | Christiane Kerlen, Stefan Meyer, Kathleen Toepel (Kerlen Evaluation), Michael Dinges, Maximilian Gasser, Surya Knöbel (AIT), Peter Kaufmann, Jakob Kofler (KMU Forschung Austria)
- Forschung für Nachhaltigkeit - FONA IMPACT: Neue Verfahren der Wirkungsabschätzung einer komplexen Forschungsförderungs-Strategie | Prof. Dr. Rainer Walz (Fraunhofer Institut ISI)
- Navigieren in Transformationsprozessen: Ein "reflexives Navigationssystem" für das Monitoring und Lernen in der missionsorientierten Innovationspolitik | Jakob Kofler, Harald Wieser (KMU Forschung Austria)
- Soziale Innovation – Ansätze zur Messung und Wirkungsabschätzung | Dr. Georg Mildenberger (CSI - Centre for Social Investment, Universität Heidelberg)
Ergebnisse
In der einleitenden Reflexion des Frühjahrstreffens wurde als Input auf die jüngste EU-SPRI-Konferenz in Brighton eingegangen. Hier zeigt sich nach wie vor eine konzeptionelle Lücke zwischen übergeordneten Transformationstheorien, wie z. B. der Multi-Level-Perspektive auf Nachhaltigkeitstransitionen, und den grundlegenden Konzepten konkreter Politikmaßnahmen. Diese Lücke wird derzeit durch spezifische Fallstudien zu schließen versucht. Erste integrierte Ansätze zur Evaluierung von transformativen FTI-Programmen werden derzeit exploriert (z. B. Haddad & Bergek, 2023). Weiters ist ein Spannungsfeld zwischen missionsorientierter und transformativer Innovationspolitik (mit unterschiedlichen Theories of Change - ToC) zu beobachten. In den Präsentationen auf der Konferenz wurde kaum zwischen den beiden Versionen unterschieden, in einigen Debatten wurden die Unterschiede jedoch deutlich. Die Abfolge und das Zusammenwirken verschiedener Politikmaßnahmen, um das ‚Ökosystem‘ entscheidend in Richtung Transformation zu beeinflussen, stellen hohe Anforderungen an die Analysten und vielleicht noch höhere an die Governance von Transformationspolitiken. Gegenwärtige Vorschläge sehen Experimente in kleinem Maßstab vor, die bei vielversprechenden Ergebnissen skaliert werden, aber nur ein Bündel von Maßnahmen, eingebettet in ein agiles Mehrebenen-Governance-System, verspricht Erfolg.
Das 8. Energieforschungsprogramm (EFP) soll als missionsorientiertes neues Programm die Ziele der Bundesregierung im Hinblick auf den Wärme- und Stromsektor für 2030 und 2045 unterstützen. Während die bisherigen Programme einen technologiefokussierten Ansatz verfolgten, richtet sich das nächste Energieforschungsprogramm missionsorientiert auf die Umsetzung der Energiewende und die Beschleunigung der Transformation aus. Das neue Programm soll zudem auf dynamische politische und technologische Entwicklungen reagieren und sich als „selbstlernendes“ Programm an Veränderungen bei den Rahmenbedingungen anpassen können. Der Vortrag stützte sich auf Ergebnisse der Begleitevaluation des 7. EFP des BMWK. Im Zentrum stehen die Veränderungen des Programms – die sich daraus ergebenden Veränderungen für das Evaluationsdesign werden in einem Vortrag auf der Jahrestagung in Magdeburg erläutert.
Die Begleitforschung zu FONA-Impact zielt darauf ab, Methoden und Ansätze für ein geeignetes Monitoring und eine vertiefte Wirkungsanalyse am Beispiel der FONA-Strategie zu entwickeln, zu erproben und umzusetzen. Damit stehen Wirkungspotenziale und Wirkungsmechanismen im Zentrum des Forschungsvorhabens. Das Vorhaben ist im November 2022 gestartet und ist auf vier Jahre Laufzeit angelegt.
In der Präsentation zu einem "reflexiven Navigationssystem" wurde ein neuer Ansatz für die Ausgestaltung von Monitoring- und Lernprozessen in der missionsorientierten Innovationspolitik vorgestellt. Die missionsorientierte Innovationspolitik ist bestrebt, die Fallstricke der Fragmentierung in der FTI-Politik zu überwinden, um gesellschaftliche Herausforderungen zu lösen, aber es ist wenig darüber bekannt, wie Interaktionen und Lernen über den Rahmen einzelner Projekte hinaus organisiert werden können. Der vorgeschlagene Ansatz eines "reflexiven Navigationssystems", der zur Unterstützung der österreichischen FTI-Mobilitätsstrategie entwickelt wurde, zielt darauf ab, Räume für kollektives Lernen zwischen geförderten FTI-Projekten und politischen Verantwortlichen zu schaffen und gleichzeitig systematische Verbindungen zwischen den auf Projektebene gewonnenen Erkenntnissen und den Entscheidungsprozessen im Ministerium herzustellen.
Der Vortrag zu Ansätzen zur Messung und Wirkungsabschätzung von sozialen Innovationen stellte zu Beginn fest, dass dies seit über 10 Jahren ein weit verbreiteter Begriff ist, ohne dass eine eindeutige Definition Konsens wäre. Klar ist, es geht um einen Typ von Innovationen, der vor allem auf gesellschaftliche Wirkung aus ist und in dem die wirtschaftliche Verwertung sekundär ist. Damit fällt Markterfolg als Kriterium des Gelingens zumindest teilweise aus. Evaluation oder besser „Wirkungsmessung“ ist darum hoch im Kurs. Auf diesem Wege hofft man, nicht nur klassische Themen der Technikfolgenabschätzung bearbeiten zu können (was macht soziale Innovation mit Gesellschaft), sondern auch einzelne Interventionstypen, ja einzelne Projekte auf ihre Wirksamkeit und Wirkung untersuchen zu können. So soll Evidenz bereitgestellt werden, die Investitionsentscheidungen und die Entwicklung politischer Maßnahmen informieren soll. Der Beitrag hat in die Thematik eingeführt und über ein aktuelles Vorhaben berichtet, das vom BMBF gefördert wird.
Folgende Aspekte wurden im Rahmen der DeGEval-Frühjahrstagung des AK FTI-Politik als kritisch für die Evaluation transformativer Innovationspolitiken identifiziert:
- Übergeordnete politische Zielsetzungen, wie z. B. in Deutschland die der ‚Zukunftsstrategie Forschung und Innovation‘, sind bei der Analyse transformationsorientierter Politikmaßnahmen in jedem Fall zu berücksichtigen.
- Für eine transformative oder missionsorientierte Politik ist es noch wichtiger, die bisher getrennt betrachteten Maßnahmen aufeinander abzustimmen oder auszurichten (Alignment). Ziel ist es, die positiven Effekte zu verstärken, die entstehen, wenn diese Maßnahmen zusammenwirken und sich gegenseitig unterstützen. Verschiedene Initiativen, Strategien oder Ansätze sind daraufhin zu analysieren und zu bewerten, ob sie besser aufeinander abgestimmt werden können, um gemeinsame Ziele zu erreichen oder um sicherzustellen, dass Ressourcen und Anstrengungen effizient eingesetzt werden. Die Portfolioperspektive ist daher für eine transformative Innovationspolitik unerlässlich.
- Aufgrund des transformativen Charakters sind demokratisch legitimierte Diskurse auf dem Weg zur Transformation und damit potenziell auch als Teil der Evaluation zu berücksichtigen.
- Die zeitliche Dringlichkeit zielorientierter Maßnahmen sowie der systemische Charakter transformativer Politiken rücken die Frage stärker in den Fokus, wo und wie Lernschleifen im ‚Ökosystem‘ verkürzt werden können, um zu einem agilen Governance-System beizutragen. In diesem Zusammenhang werden neue Anforderungen an ein Monitoring formuliert, das nicht nur über herkömmliche Input- und Output-Indikatoren über die Qualität der Umsetzung Auskunft geben soll, sondern im Sinne eines ‚reflexiven Navigationssystems‘ (Kofler und Wieser) bereits inhaltliche Rückschlüsse zeitnah erfassen und strukturiert in Reflexionen über die Governance von Politikmaßnahmen einfließen lassen soll.
- In der Analyse des Designs und der Implementierung von transformativen Politikmaßnahmen werden Unsicherheiten noch stärker zum Tragen kommen, das sich in der Präsentation von Evaluationsergebnissen offengelegt werden sollen.
- Analysekonzepte und -methoden sowie Indikatoren für Transformationsmaßnahmen werden derzeit auf der Grundlage der Sustainable Development Goals und der Transformative Outcomes entwickelt.
- Wie in der FONA-Impact Begleitforschung kann die Analyse des Zusammenhangs zwischen Mikro- und Makroebene durch Szenarioanalysen mit Fokus auf Gelingensbedingungen verfolgt werden.
- Die Methodik zur Erfassung sozialer Innovationen basiert auf dem SIA-Modell, das Indikatoren online einspeist und als lernendes Werkzeug konzipiert ist. Damit besteht eine Ähnlichkeit zum oben erwähnten reflexiven Navigationssystem. Allerdings fehlt derzeit noch ein standardisiertes Indikatorenset.
- Das BMWK in Berlin baut derzeit ein Datenlabor auf, das auf dem Open-Data-Prinzip basiert; Meta-Analysen und die Entwicklung und Einsatz von Werkzeugen für die Analyse von unstrukturierten Daten sollten dort erfolgen. Der Fokus des BMWK liegt auf digitalen Prozessen und Tools. Hierbei sind die zeitlichen Horizonte der Haushaltsführung zu berücksichtigen; wichtig ist in diesem Zusammenhang auch die Abstimmung von Ziel- und Handlungsebenen.
DeGEval-Frühjahrstagung 2022
Die Frühjahrstagung des AK FTI fand am 31. Mai 2022 zwischen 13:00 - 17:00 Uhr statt.
Das Monitoring von Förderprogrammen ist bedeutend für die evidenz-basierte Steuerung von Forschungs-, Technologie- und Innovations- (FTI-)Programmen. Ziel des Monitorings ist es, Projekt- und Programmfortschritte zu überprüfen, um eine fundierte Entscheidungsgrundlage zu schaffen und Anpassungen vorzunehmen. Die Ergebnisse eines Monitorings dienen auch weiterführenden Analysen, z. B. im Rahmen von Evaluationen. Die Verfügbarkeit von Monitoringdaten kann im Fall nicht intendierter Effekte und unvorhergesehener Einflussfaktoren (z. B. der Corona-Krise) und bei dynamischen Transformationsprozessen (z. B. der Klima- und Energiewende) besonders relevant sein. Allgemein kann ein Monitoring unterschiedliche Beiträge leisten, wie z. B. Transparenz schaffen, Informationen zu einer späteren Evaluation beitragen, Daten für eine technologische Vorausschau zur Verfügung stellen oder Entscheidungsgrundlagen zur Steuerung komplexer Programme bieten.
Die diesjährige Frühjahrstagung des AK FTI der DeGEval widmete sich dem Thema Monitoring aus unterschiedlichen Perspektiven. Nach einer Einführung in das Thema wurde anhand von Praxiserfahrungen diskutiert, wie das Monitoring in der Umsetzung von Programmen unterstützen kann und wo die Herausforderungen liegen. Es folgten Beiträge zu aktuellen Monitoring-Projekten und eine abschließende Diskussion zu den zukünftigen Entwicklungen und Anforderungen an das Monitoring zu FTI-Programmen.
Neue Ansprüche an das Monitoring zur Programmsteuerung und Synergien mit der Evaluation
In einem einleitenden Vortrag wurde die Bedeutung für eine Fachdiskussion zum Thema Monitoring hervorgehoben. Während die Evaluation von FTI-Programmen klar definierten Standards folgt und im Rahmen der Umsetzung von Evaluationen klare Vorgaben einzuhalten sind, zeigt sich für das Monitoring, dass die Vorgaben in Form einer Standardisierung weniger konkret sind. Die Grenzen zwischen Monitoring und Evaluation sind bisweilen fließend. Dies liegt auch daran, dass nicht jedes Programm über ein eigenes Monitoring-System verfügt und Informationsbedarfe dann über die Evaluation gedeckt werden, in anderen Programmen findet wiederum eine gewisse Arbeitsteilung zwischen der Evaluation und dem Monitoring statt. Die Schnittstellen zwischen Evaluation und Monitoring sind von besonderer Bedeutung, sind aber nicht immer eindeutig definiert. Im Idealfall kann sich die Evaluation relevanter Monitoring-Daten bedienen, woraus sich Möglichkeiten für Effizienzsteigerungen in der Umsetzung ergeben und mehr Ressourcen für relevante analytische Fragestellungen zur Verfügung stehen. Das Monitoring unterstützt in erster Linie bei der Durchführung, der Anpassung von Instrumenten und bei der Modifikation von Förderzielen. Das Programmmonitoring ist aktuell auch deshalb im Fokus der fachlichen Diskussion, weil die Ausrichtung der Innovationspolitik im Sinne einer Missionsorientierung perspektivisch eine Weiterentwicklung der Methodik erfordert.
Praxiserfahrungen mit der Unterstützung der Entscheidungsfindung wurden in dem zweiten Beitrag vorgestellt. Es wurde deutlich, dass Monitoring für die Programmsteuerung einen bedeutenden Beitrag liefern kann, um die Arbeit der Ministerien zu unterstützen. Der Erkenntnisgewinn ist zentral davon abhängig, dass bei den Durchführenden des Monitorings ein umfassendes Verständnis für den Erkenntnisbedarf der Entscheidungsträger vorhanden ist.
Praxisbeiträge: Erfahrungen mit der praktischen Umsetzung von Monitoringprojekten
Die Beiträge aus der Praxis verdeutlichten, dass Monitoring ganz unterschiedlich ausgestaltet sein kann.
In den letzten Jahren hat über die Umsetzung eine erhebliche Professionalisierung der Programmumsetzung stattgefunden, mitunter durch eine enge Verzahnung und Abstimmung zwischen PTs und wissenschaftlichen Beratungseinrichtungen, die gemeinsam an den Monitoring-Themen arbeiten. Wie der Praxisbeitrag von Iris Eckardt (PtJ) und Dr. Thorsten Lübbers (Ramboll) zum Monitoring zu EXIST-Gründerstipendium und EXIST-Forschungstransfer verdeutlichte.
Karoline Rodriguez vom Institut für Innovation und Technik (iit Berlin) präsentierte noch unveröffentlichte Befragungsdaten eines laufenden Monitorings zur BMBF-Fördermaßnahme VIP+. Das Monitoring wird seit 2018 im Rahmen der Projektträgerschaft „Offene Innovationskultur und KMU-Querschnittsaufgaben“ gemeinsam von Projektträger Jülich und VDI/VDE-IT für Referat BMBF/515 „Innovationsförderung; SprinD, Cluster, Gaia-X“ umgesetzt und bezieht sich auf unterschiedliche Maßnahmen.
Im Rahmen der Frühjahrstagung wurde das Thema Monitoring breiter gefasst, einschließlich einer wissenschaftlichen Begleitung der FuE-Programme, in Form von Analysen und der Wissensaufbereitung zur Themenfindung für neue Förderprogramme. Dieser Aspekt des Themenmonitorings wurde durch den Vortrag von Axel Mangelsdors (Institut für Innovation und Technik (iit Berlin)) vorgestellt.
Anhand des Beispiels Mobilität der Zukunft als Praxislabor für ein Wirkungsmonitoring zur Steuerung missionsorientierter FTI-Programme wurden neue Anforderungen an das Monitoring zur Begleitung missionsorientierter Vorhaben oder Programme durch Jakob Kofler von KMU Forschung Austria vorgestellt.
Status-quo und Ansprüche für das zukünftige Monitoring von FTI-Programmen: Abschlussdiskussion
In der Abschlussdiskussion kamen verschiedene Aspekte zur Ansprache, die für die zukünftige Umsetzung von Monitoring-Projekten relevant sind. Klar wurde, dass Monitoring ausreichende Kapazitäten braucht, um auf Basis der Inhalte relevante Informationen für die Programmsteuerung zur Verfügung zu stellen. Hierfür sind ergänzend zur standardisierten Datenerhebung zeitaufwändige Analyseschritte notwendig. Auf der anderen Seite besteht weiterhin Potenzial für Effizienzgewinne, durch Standardisierung und IT-Lösungen. Auch für das Monitoring sind Wirkmodelle die zentrale Basis der Indikatorenentwicklung. Monitoringberichte/ interne Trendanalysen fließen in aktuelle Diskussionen ein, doch bei den durchführenden Stellen besteht wenig Transparenz darüber, inwiefern dies Entscheidungen beeinflusst. Um steuerungsrelevante Informationen bereitzustellen, besteht die Herausforderung darin, überhaupt erst darzulegen, was gesteuert werden soll und wo hier die Verantwortlichkeiten liegen. Die Ergebnisse sind so zu verdichten, dass diese auf der strategischen Ebene sinnstiftend eingesetzt werden können. Um die Beteiligten zur Teilnahme an den Monitoring-Umfragen zu motivieren, gilt es auch darüber nachzudenken, inwiefern die Befragten selbst vom Monitoring profitieren können. Spannend ist auch die Frage, ob und inwiefern von neuen Ansätzen des Monitorings zur Steuerung missionsorientierter FuE-Programme auch neue Anforderungen für klassische Monitoring-Systeme hervorgehen. Letztlich geht es dabei um die Frage, was klassische Monitoring-Systeme von neuen Ansätzen zu komplexeren Systemen lernen können.
Neue Förderinstrumente für die Transformation und Implikationen für Evaluationen
Das virtuelle Frühjahrstreffen thematisierte den deutlich gestiegenen Anspruch von Förderprogrammen, einen Beitrag zu Transformationsprozessen zu leisten, die notwendig sind, um den gesellschaftlichen Herausforderungen wie Klimawandel, Änderungen im Mobilitätsverhalten, alternde Gesellschaft, Gesundheitsversorgung usw., zu begegnen.
Es gibt Förderprogramme, die explizit auf Transformation ausgerichtet sind (z. B. Förderung der Elektromobilität oder der Bioökonomie) und weitere mit einem Fokus auf anderen Forschungsthemen, bei denen die Integration solcher Ansprüche an Beiträge zu Transformationsprozessen erst beginnt. Damit hat das Transformationsthema und die Messung von Programmwirkungen, die weit über die unmittelbar geförderten Institutionen und Personengruppen hinausgehen, auch für laufende und zukünftige Evaluationen ein noch unterschiedliches Gewicht. Veränderungen lassen sich in den letzten Jahren jedoch nicht nur in den Förderinhalten konstatieren, sondern auch in den Förderansätzen und -instrumenten. Hierauf wurde der Fokus unseres Frühjahrstreffens gelegt.
In Vorträgen und interaktiven Elementen wurden die Folgen für die methodischen Vorgehensweisen, Sets an Indikatoren zur Wirkungsmessung, Reichweiten von Förderwirkungen, Einflüsse und Limitationen aus verschiedenen Bereichen außerhalb der Fördertätigkeit, Grenzen aus dem EU-Beihilferahmen, der Ressortzuständigkeiten usw. diskutiert.
Fazit: Dem Wandel bei Förderansätzen und Förderansprüchen muss auch ein Wandel in den Evaluationsansätzen und Methodiken folgen. Sie werden voraussichtlich multidisziplinärer und noch multidimensionaler.
Ihr FTI-Team
Marianne Kulicke, Leo Wangler und Peter Kaufmann
Hier gehts zum Programm.
Vorträge und Foliensätze:
- Dr. Marianne Kulicke (FhG ISI)/Peter Kaufmann (KMU Austria)/Dr. Leo Wangler (iit): Überblick zu neuen Förderinstrumenten, die in den letzten Jahren in Deutschland und Österreich implementiert wurden
- Dr. Stefanie Margraf (PtJ): Monitoring und Evaluation im EU-Kontext: Programmevaluation am Beispiel von Facce-JPI
- Dr. Thomas Schwietring: Das große Schlagwort "Transformation"
Herbsttreffen 2020 des AK Forschungs-, Technologie- und Innovationspolitik zum Thema Covid-19
Im Rahmen der Herbsttagung des AK FTI 2020 (diese fand am 16. Oktober 2020 von 14:30 – 17:00 Uhr statt) stand das Thema COVID-19 im Vordergrund. Es stellte sich die Frage, welche konkreten Auswirkungen die von der Corona-Pandemie ausgelöste Krise auf FTI-Evaluierungen hat bzw. haben wird. Die folgenden Leitfragen standen damit im Vordergrund der diesjährigen Herbsttagung:
- Welche Auswirkungen der Krise auf die Innovationstätigkeit von Unternehmen stellen wir in unseren laufenden Evaluierungen und Begleitstudien fest?
- Welche Lehren ziehen wir aus der derzeitigen Krise für FTI-Politik und deren Evaluation? Ist ein Bezug zur Klimakrise möglich? Sind Schlagworte/Konzepte wie Resilienz zukünftig stärker relevant oder sogar ein Vertiefungsbereich von Evaluationen? Wenn ja, wie kann man dies in FTI-Studien und Evaluationen bestmöglich integrieren?
- Welche Auswirkungen hat die COVID-19-Krise auf die Umsetzung von laufenden Studien und Evaluationen? Welche innovativen Wege wurden und werden eingeschlagen, um Projekte dennoch organisatorisch und methodisch umzusetzen?
- Wie werden Studien- und Evaluationsbudgets von potenziellen Auftraggebern durch die Krise beeinflusst? In welchen Bereichen wird mehr zur Verfügung gestellt, wo wird gespart werden?
Auf diesen Call kam es zur Einreichung dieser drei Beiträge, die das Thema Corona und Evaluation aus unterschiedlichen Blickwinkeln beleuchteten:
- „Zwischen Emergency Calls, Post-Corona-Konjunkturstimulierung & Experimentierräumen für die Entwicklung neuer Maßnahmen – wie findet Lernen statt?“ (FFG: Sabine Mayer)
- „Corona und die Nachhaltigkeitsfrage: Lessons learned aus einer Programmevaluation“ (Fraunhofer ISI: Susanne Bührer / Sarah Seus).
- „Auswirkungen der Corona-Pandemie auf Innovationsfördermaßnahmen – erste empirische Ergebnisse aus verschiedenen Evaluationen deutscher Förderprogramme“ (iit-Berlin: Jan Wessels, Karoline Rodriguez, Leo Wangler, Sonja Kind und Christiane Kerlen (Kerlen Evaluation))
Beitrag 1: „Zwischen Emergency Calls, Post-Corona-Konjunkturstimulierung & Experimentierräumen für die Entwicklung neuer Maßnahmen – wie findet Lernen statt?“
In dem Vortrag von Sabine Meyer wurde deutlich, dass die COVID-19-Krise auch die FTI-Politik und die Agenturen, die diese umsetzen, vor große Herausforderungen stellt. Zum einen geht es darum, rasche Lösungen in der Gesundheitskrise zu finden, zum anderen um einen Beitrag zur konjunkturellen Entwicklung aus der Krise heraus. Rasche Lösungen verlangen rasches Handeln - gemeinsam mit den österreichischen Ministerien BMDW und BMK hat die Forschungsförderungsgesellschaft bereits am 9.3.2020 den COVID Emergency Call gestartet mit insgesamt 26 Mio. EUR. Auch die ersten Förderungen mit Finanzierung aus dem Konjunkturpaket sind gestartet, deren Umsetzung testet als Pilot die übergreifende Nutzung verschiedener Förderungsformate für gemeinsame Ziele. Für Agenturen wie die FFG, und für die FTI-Politik insgesamt heißt das auch, dass mehr Agilität und Flexibilität gefordert ist. Die FFG ist aus diesem Grund Partner im Innovation Growth Lab von Nesta, das experimentelle Zugänge in der FTI-Politik unterstützt, und arbeitet mit anderen Europäischen Agenturen zusammen, um gemeinsam zu testen und zu lernen, wie Agenturen durch Piloten und Experimente Evidenz generieren können. Darauf aufbauend stellen sich Fragen an die Evaluierbarkeit der neuen politischen Herausforderungen: Welchen Wert, welche Wirkung hat Geschwindigkeit? Wie sollen Lernumgebungen beschaffen sein, die es erlauben, evidenzbasiert neue Wege zu testen? Welche Rolle spielt Evaluierung in diesem sich rasch verändernden Umfeld? Diese und weitere Fragen wurden im Rahmen der diesjährigen Herbsttagung des AK FTI diskutiert. Die Vortragsfolien finden Sie hier.
Beitrag 2: „Corona und die Nachhaltigkeitsfrage: Lessons learned aus einer Programmevaluation“
In dem Beitrag durch Susanne Bührer und Sarah Seus wurde anhand der Evaluation des Forschungsprogramms für Nachhaltigkeit (FONA) dargestellt, wie das Corona-Thema Auswirkungen auf das Evaluationsprojekt hatte. Einerseits konnte ein geplanter Diskurs auf Basis der Evaluationsergebnisse nicht wie geplant fortgesetzt werden, stattdessen wurden Vorschläge erarbeitet, wie der Diskurs dennoch fortgesetzt werden kann. In einem kurzen Zeitrahmen wurden möglichst viele Ideen für die strategische und operative Fortsetzung der Förderung gesammelt. Teil der weiterführenden Arbeiten waren auch Aspekte einer qualitativen ex-ante-Evaluation. Im Zuge dessen wurden 50 Telefoninterviews mit Vertreter:innen aus Hochschulen, der außeruniversitären Forschung, der Wirtschaft, den Kommunen und der Zivilgesellschaft geführt. So wurde der Frage nachgegangen, welche Auswirkungen die Corona-Krise auf die nachhaltige Entwicklung der Akteure hat. Im Kern ließen sich hierzu drei Gruppen von Antworten unterscheiden: (1) Corona spielt für die Nachhaltigkeit und insbesondere die Strategien zur Bewältigung des Klimawandels keine Rolle; (2) Corona drängt aufgrund seiner ernsthaften Folgen für Wirtschaft und Gesellschaft Nachhaltigkeitsthemen in den Hintergrund; (3) Corona führt zu einer kritischen Reflexion bisheriger Routinen in Wirtschaft, Wissenschaft, Politik und Gesellschaft, die FONA in seiner Förderpraxis aktiv aufgreifen kann. Im Rahmen des Vortrags wurden diese Antwortcluster differenzierter dargestellt und in die aktuellen Nachhaltigkeitsdiskurse eingebettet. Die Vortragsfolien finden Sie hier.
Beitrag 3: „Auswirkungen der Corona-Pandemie auf Innovationsfördermaßnahmen – erste empirische Ergebnisse aus verschiedenen Evaluationen deutscher Förderprogramme“
In einem abschließenden Beitrag wurde durch Karoline Rodriguez und Jan Wessels über die Erfahrungen zu den Auswirkungen der Corona-Pandemie auf Innovationsfördermaßnahmen berichtet. Die Ergebnisse zeigen deutlich, dass die aktuelle Corona-Pandemie in erheblichem Ausmaß Wirtschaft, Verwaltung, zentrale Innovationsprozesse und möglicherweise auch Forschungseinrichtungen und Universitäten beeinträchtigt. Anhand der Indikatorik ist es das Ziel, näher herauszufinden, inwiefern die Krise auch die Zuwendungsempfänger zu evaluierender Programme beeinflussen wird. Für viele Akteure dürfte die aktuelle Situation zur Herausforderung werden, weil der Zugang zu Laboren eingeschränkt oder gar nicht mehr möglich ist, weil Personal fehlt, Lieferketten unterbrochen sind, Meetings abgesagt werden, Konferenzen nicht stattfinden, Finanzmittel umgeleitet werden etc. Somit stellt die Corona-Pandemie auch für Evaluationen einen externen Einflussfaktor dar, der die angestrebte Wirkung zu untersuchender Programme in Hinblick auf die erfolgreiche Umsetzung von Innovationsprojekten und die Verhaltensänderung von Akteuren in Richtung Innovationsorientierung negativ beeinflussen könnte. Das ist insofern relevant, als damit die Wirkung des entsprechenden Programms im Vergleich mit anderen Programmen, die nicht während der Corona-Pandemie umgesetzt wurden, geringer ausfallen könnte, ohne dass dies dem Programm selbst zugerechnet werden darf. Zudem sind entsprechende Informationen auch im Sinne einer formativen Unterstützung laufender Programme und ihrer Anpassung an die Krise hilfreich. Um hierfür zu kontrollieren bzw. erste Daten zu erheben, wurden im Sommer 2020 bereits geplante Befragungen von aktuellen und ehemaligen Zuwendungsempfängern in vier Programmen von BMBF, BMWi und BMVI mit spezifischen Fragen über die Auswirkungen von Corona ergänzt. Dabei wurden/werden sowohl Projekte in der Startphase, am Ende der Projektlaufzeit sowie in der Verwertungsphase befragt. Zudem wurde in einer Evaluation ein Workshop zu den Auswirkungen bei den geförderten Projekten umgesetzt. Im Rahmen dieses Beitrags wurden erste Ergebnisse der Befragungen vorgestellt und die Befragung konzeptionell in ein erstes Modell der Wirkung des externen Schocks „Corona“ auf laufende Innovationsprozesse eingeordnet. Teil des Beitrags war auch eine Skizzierung möglicher weiterer Forschungsbedarfe und Strategien. Die Vortragsfolien finden Sie hier.
Ihr FTI-Team
Marianne Kulicke, Leo Wangler und Peter Kaufmann