Aktuelles

Die diesjährige Frühjahrstagung des DeGEval Arbeitskreises Entwicklungspolitik und Humanitäre Hilfe fand am 15. und 16. Mai 2024 statt. Die Veranstaltung wurde zusammen mit der SYSPONS GmbH ausgerichtet, Tagungsort war das Syspons-Büro in Berlin Kreuzberg.

Entsprechend der im Frühjahr 2023 verabschiedeten Strategie „Feministische Entwicklungspolitik“ des Bundeministeriums für Wirtschaftliche Zusammenarbeit und Entwicklung¹ (BMZ) und den Leitlinien „Feministische Außenpolitik gestalten“ des Auswärtigen Amtes² (AA) setzten sich die Teilnehmer:innen durch verschiedene Vorträge und Workshops mit den Implikationen derer für die Arbeit von Evaluator:innen auseinander. Hier wurden sowohl theoretische Einführungen und Konzepte ausgearbeitet als auch verschiedene Beispiele aus der Praxis vorgestellt und diskutiert. Bei der Tagung waren verschiedene Perspektiven durch freie Evaluator:innen, Mitarbeiter:innen von staatlichen und nicht-staatlichen Organisationen und verschiedene Akteur:innen der Privatwirtschaft vertreten.

1. Tag (15.05.2024, 09:00 – 18:00 Uhr) 

Begrüßung und Grußwort Syspons. 

Dr. Christoph Emminghaus (SYSPONS GmbH), Thorsten Bär (AK-Epol-HuHi, World Vision Deutschland e.V.) 

Die Tagung startete mit einer einführenden Begrüßungsrede von Dr. Christoph Emminghaus, Geschäftsführer der SYSPONS GmbH.

Feministische Entwicklungs- und Außenpolitik: Begriffsklärungen, unterschiedliche Ansätze, wissenschaftlich-theoretische Einführung.  

Prof. Dr. Toni Haastrup (University of Manchester) 

Der Begrüßung folgend bot Prof. Dr. Toni Haastrup der University of Manchester mit ihrem Einführungsvortrag einen akademischen Einstieg in feministische Entwicklungs- und Außenpolitik (FAP). Sie hob hervor, dass Deutschland das einzige Land mit einer umfassenden FAP ist und betonte die Bedeutung der Entwicklung von Evaluationswerkzeugen für diese Politik, da bisher wenig Forschung in diesem Bereich existiert. Sie erklärte, dass feministische Außenpolitik eine bedeutende politische Veränderung darstellt, deren Erfolg stark vom jeweiligen nationalen Kontext abhängt. Sie betonte, dass feministische Außenpolitik darauf abzielt, den Status quo zu hinterfragen und zu verändern, indem die Interessen marginalisierter Gruppen in den Mittelpunkt gestellt werden. 

Haastrup diskutierte die Prinzipien feministischer Evaluierung, die als politisch und nicht neutral betrachtet werden sollten, und unterstrich die Notwendigkeit intersektionaler Ansätze. Sie thematisierte die strukturellen Probleme, die oft in der globalen Nord-Süd-Dynamik verankert sind, und forderte eine kritische Auseinandersetzung mit kolonialen Kontinuitäten. Trotz der Herausforderungen sah Haastrup die feministische Außenpolitik als Aufruf zum Handeln für diejenigen, die bestehende Systeme hinterfragen und verändern möchten. Sie betonte, dass die Institutionalisierung feministischer Politik entscheidend ist, um nachhaltige Veränderungen zu gewährleisten. Abschließend stellte sie fest, dass feministische Außenpolitik nicht nur Geschlechtergleichheit anstrebt, sondern auch strukturelle Ungerechtigkeiten adressieren muss, um echte Transformation zu erreichen.

Vortrag: Ansprüche und Ziele vom Auswärtigen Amt und BMZ an feministische Außen- und Entwicklungspolitik sowie deren Evaluierung. 

Johanna Below da Cunha und Azani Tschabo (BMZ), Afra Herr und Philipp Sander (AA) 

 Darauffolgend wurden die Ansprüche und Ziele vom Auswärtigen Amt (AA) und dem Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) an feministische Außen- und Entwicklungspolitik sowie deren Evaluierung von Vertreter:innen der entsprechenden Ministerien beleuchtet.  

Johanna Below da Cunha und Azani Tschabo stellten als Vertreterinnen des BMZ zuerst die Grundsätze der feministischen Entwicklungspolitik vor, die auf die gesellschaftliche Teilhabe aller abzielt und den Abbau von Ungleichheiten fördert. Hier wurde besonders auch der explizite Fokus auf die drei R (Rechte, Repräsentation, Ressourcen) plus D (Diversität) betont. Weiterhin wurde die dritte und damit aktuelle Version des Gender-Aktionsplan erwähnt, welcher die obige Strategie in der Implementierung begleitet und auch verschiedene Indikatoren und Deskriptoren enthält. Die Evaluierung dieser Politik basiert auf dem BMZ-Evaluierungsleitfaden, der ethische und menschenrechtliche Standards betont und intersektionale Ansätze fördert. Hier ist auch besonders hervorzuheben, dass die Inklusion von Evaluierenden aus dem Landeskontext weiter gefordert wird. Weitere wichtige Aspekte sind hierbei die kritische Reflexion von Machtstrukturen und die Anwendung partizipativer Methoden. Thematisch relevante Herausforderungen bestehen in der Datenlage und dem Ressourcenaufwand, wobei die Evaluierungssysteme den OECD DAC-Kriterien entsprechen müssen und man eine gute Balance zwischen verschiedenen Ansprüchen finden muss. 

Afra Herr und Phillip Sander stellten als Vertreter:innen des Evaluierungsreferats im AA verschiedene Aspekte des feministischen Außenpolitikkonzepts vor, das im Koalitionsvertrag festgehalten wurde. Die entsprechenden Leitlinien orientieren sich ebenfalls an den Prinzipien der drei R + D (Rechte, Repräsentation, Ressourcen, Diversität) und spiegeln den Versuch wider, strukturelle Benachteiligungen auszugleichen und eine Balance zwischen Prinzipien und Pragmatismus zu finden. Es wurde weiterhin das Evaluationsmodell des AA vorgestellt, das sich vom BMZ unterscheidet. Das AA schreibt Evaluierungen grundsätzlich aus und unterscheidet zwischen Programm-/Strategie- und Projektevaluierungen. Das Evaluierungsreferat konzentriert sich eher auf Programme, ist jedoch den Bedarfen entsprechend aktiv ohne eine feste thematische Agenda zu verfolgen. Bei der Ausarbeitung der Terms of Reference (TORs) sollen auch postkoloniale und machtkritische Perspektiven berücksichtigt werden. Der Fokus liegt auf Zielgruppensensibilität, regionalen Kenntnissen sowie der Umsetzung und Nachverfolgung der Ergebnisse. Zuletzt wurde die Verantwortung des Referats für die Rechenschaftspflicht des Hauses betont und die neuen Leitlinien erwähnt, die auch für die Evaluierung des eigenen Referats vorgesehen sind.

Kommentierung: Ideengeschichtlicher Hintergrund  

Dr. Birte Rodenberg (freie Gutachterin) 

Dr. Birte Rodenberg, Soziologin und freie Gutachterin und feministische Gender-Expertin, kommentierte die Beiträge der Ministerien mit einer bewegungspolitischen Einschätzung zur feministischen Außen- und Entwicklungspolitik. Neben der Wertschätzung des Engagements der Ministerien für die Weiterentwicklung der institutionellen Ansätze, identifiziert sie drei neuralgische Punkte: Erstens das notwendige Verständnis des Geschlechts als nicht-binäre soziale Kategorie. Zweitens die Verwässerung von Begriffen, die durch institutionelle Prozesse die ursprünglichen Bewegungen und ihre erkämpften Konzepte kompromittieren. Drittens die Veränderungen von Machtverhältnissen und die Abwertung genderresponsiver Ansätze, die über Jahre genutzt wurden. Dr. Rodenberg betonte die Notwendigkeit, Stimmen aus Krisengebieten zu berücksichtigen und neokoloniale Normexporte sowie die Reviktimisierung von Frauen zu vermeiden. Sie kritisierte, dass feministische Außenpolitik oft versäumt, tiefgreifende Problemanalysen in Strategien zu integrieren, und warnte vor symbolischen Handlungen wie dem "Pinkwashing" autoritärer Regime. Abschließend hob Dr. Rodenberg die Bedeutung feministischer Evaluation und ihrer kritischen Selbstreflektion hervor, welche eine politische Normativität und bewusste Parteilichkeit für die Unterdrückten anerkennen sollte und würdigte damit die Arbeit der im letzten Jahr verstorbenen renommierten Soziologin und Feministin Maria Mies.

Eine ausführlichere Version des Vortrags von Birte Rodenberg findet sich auf den Seiten der Heinrich-Böll-Stiftung.

Vortrag: Chancen und Herausforderungen feministischer Evaluierungen. 

Miriam Engeler und Johanna Schaefer-Kehnert (SYSPONS GmbH) 

Miriam Engeler und Johanna Schaefer-Kehnert von der SYSPONS GmbH schlugen die theoretische Brücke zur Praxis und diskutierten die Bedeutung von Evaluationen als Instrument zur Erfolgsbewertung und für evidenzbasiertes Handeln. Feministische Evaluierungen bewegen sich demnach zwischen feministischen Zielsetzungen und einem neutralen Mandat, wobei sie nicht neutral sein können. Diese Konflikte müssten transparent gemacht werden, um Machtstrukturen abzubauen und geschlechterspezifische Ungleichheiten zu adressieren. Sie schlugen Prinzipien wie geschlechtergerechte, intersektionale und postkoloniale Perspektiven so wie inklusive, partizipative Ansätze vor. In der Praxis erfordere dies kontinuierliches Mitdenken verschiedener Prinzipien, umfassendere Expertise durch Triangulation und den Einsatz diverser Methoden wie Feminist Participatory Action Research. Herausforderungen bestehen in der Datenverfügbarkeit und im Umgang mit Datenschutz sowie in der Balance zwischen quantitativen und qualitativen Methoden. Feministische und dekoloniale Ansätze sollen Wissen generieren, statt es nur zu extrahieren, und die Inklusion von Kindern und Jugendlichen berücksichtigen. Die Referentinnen betonten die Chance, Netzwerke zu stärken und Kategorien zu hinterfragen. Sie hoben die Bedeutung kreativer Ergebnisaufbereitung und der Verantwortung der Teilnehmenden für die Verbreitung des Wissens hervor. Abschließend stellten sie fest, dass feministische Außenpolitik feministische Evaluierungen erfordert, die neue Evidenzgrundlagen schaffen, aber auch die Grenzen der Umsetzbarkeit berücksichtigen müssen.

Gruppenarbeiten: Verschiedenen Aspekte von Monitoring und Evaluierung im Bereich der humanitären Hilfe und Entwicklungszusammenarbeit im Kontext von feministischer Entwicklungs- und Außenpolitik. 

Um die praxisnahen Perspektiven zu vertiefen, fanden verschiedene Gruppenarbeiten statt. Diese wurden jeweils durch einen kurzen Input verschiedener Referent:innen zu den entsprechenden Gruppenthemen angeleitet, welcher die Basis für eine thematische Ausarbeitung wichtiger Schlüsselpunkte formte.

Gruppe 1: Programme feministisch evaluieren – Erfahrungsbericht aus der Praxis. 

Petra Kiel (Christoffel-Blindenmission), Anja Scherkus (Rosa-Luxemburg-Stiftung) 

Die Gruppe diskutierte feministische Evaluation basierend auf Praxisbeispielen, die durch die Referentinnen eingebracht wurden. Petra Kiel betonte die Notwendigkeit, feministische Evaluierungen in den Rahmenbedingungen und Terms of Reference (TORs) fest zu verankern, weswegen ein Leitfaden zur Erstellung entsprechender TOR entwickelt wurde. Anja Scherkus berichtete von feministischen Evaluationen in Westafrika und Südostasien, die durch nationale Expertinnen durchgeführt wurden. In der Diskussion wurde unter anderem der Ressourcenaufwand für feministische Evaluationen thematisiert, teilweise wurde auch die Objektivität der Evaluationen, insbesondere bei feministischen Ansätzen, hinterfragt. Auch die Nachweisbarkeit feministischer Kompetenzen und die Notwendigkeit eines neuen Labels für bestehende Expertise wurden diskutiert.

Gruppe 2: Berücksichtigung von feministischer Entwicklungspolitik in den Zentralen Projektevaluierungen der GIZ. 

Benjamin Bräuer (GIZ) 

Der Beitrag von Benjamin Bräuer von der GIZ zur Metaevaluation, die Gender und das "Leave no one behind"-Prinzip analysierte, zeigte, dass bisherige Evaluierungen einige positive, aber verbesserungswürdige Ergebnisse in diesen Bereichen ergaben. Spezifischere Evaluierungsfragen und Wirkungshypothesen im Bereich Gender wurden als Empfehlung genannt. Methodische Herausforderungen und die Möglichkeiten zum Einsatz von Textmining und AI sowie Machtfragen und die Rolle der Evaluierenden wurden diskutiert. Zuletzt wurde auch die Notwendigkeit von Partizipation bei der Planung hervorgehoben.

Gruppe 3: Intersektionalität in der Evaluationspraxis. 

Prof. Dr. Melanie Judge (University of Cape Town) 

Der Input zu Intersektionalität als Prinzip der feministischen Außenpolitik von Prof. Dr. Melanie Judge betonte die Bedeutung des Verständnisses verschiedener Machtstrukturen und Diskriminierungsformen. Intersektionalität erfordert eine Auseinandersetzung mit den eigenen Perspektiven und Einstellungen und zielt auf die Änderung von Machtstrukturen ab. Die Gruppe diskutierte, wie kognitive Verzerrungen in Evaluierungen berücksichtigt werden können und hob die Bedeutung partizipativer Methoden und Storytelling hervor. Die Einbindung von LGBTQI+ Rechten und Aktivist:innen in kontextuell herausfordernden Umgebungen wurde ebenfalls thematisiert, wobei die Nutzung der eigenen Machtposition zur Unterstützung dieser Gruppen betont wurde.

Paneldiskussion: Wie sind die Zielsetzungen einer feministischen Entwicklungs- und Außenpolitik in den M&E-Systemen unterschiedlicher Organisationen (aus Zivilgesellschaft, staatlichen Durchführungsorganisationen, Stiftungen) verankert? Welche Herausforderungen bestehen? Welche Ansprüche an Evaluator*innen gehen damit einher?  

Benjamin Bräuer (GIZ) 

Carla Dietzel (Care)  

Claudia Volk (KfW) 

Michaela Raab (Evaluation Facilitation) 

Lennart Raetzel (Syspons)  

2. Tag (16.05.2024, 09:00 – 13:30 Uhr)

Vortrag: Geschlechtergerechte und menschenrechtsbasierte Evaluierung in der feministischen EZ. 

Dr. Martin Bruder (DEval), Lena Taube (DEval) 

Dr. Martin Bruder und Lena Taube begannen ihren Vortrag mit einer Übung, in der verschiedene Perspektiven („Brillen“) für Gender, Menschenrechte und Evaluierung verteilt wurden, um deren Bedeutung hervorzuheben. Diese sollten die Teilnehmer:innen in der Evaluierung einnehmen und reflektieren, wofür KI-generierte Suchbilder verwendet wurden. Die Diskussion verdeutlichte, dass die Trennung von Menschenrechten und Gender oft künstlich ist und Evaluierungen häufig auf Zahlen fokussiert sind, was viele Aspekte vernachlässigen kann. Ein zentraler Punkt war hierbei also der notwendige Perspektivwechsel, bei dem Stakeholder als Rechteinhaber und Pflichtentragende betrachtet werden. Transformative Ansätze zielen darauf ab, Missstände zu analysieren und Lösungen zu finden. Die OECD DAC-Kriterien und eine Skala zur Einordnung menschenrechtsbasierter Ansätze wurden vorgestellt. Diese reicht von menschenrechtssensibel über progressiv bis transformativ und kann auf verschiedene Evaluierungsphasen angewendet werden. Schließlich wurde betont, dass geschlechtergerechte Evaluierungen nicht auf „Gender“ verkürzt werden sollten, um die Sichtbarkeit zu gewährleisten, und dass eine transparente Praxis sowie die Einbeziehung Betroffener in die Datenerhebung und Analyse essenziell sind.

Werkstattgespräche: 3 parallele Werkstattgespräche zu unterschiedlichen Aspekten. 

Den Hauptteil des zweiten Tages machten die sogenannten Werkstattgespräche aus. Hier konnte sich zwischen drei Themen entschieden werden, die dann durch Referent:innen angeleitet, gemeinsam ausgearbeitet und diskutiert wurden.

Werkstattgespräch 1: Herausforderungen und Spannungsfelder in der menschenrechtsbasierten Evaluierung im Kontext der feministischen EZ: Ansprüche, Schnittstellen und Umsetzung in der Praxis. 

Ilse Worm (freie Gutachterin), Lena Taube (DEval)

Das Werkstattgespräch thematisierte die Ansprüche, Schnittstellen und die praktische Umsetzung menschenrechtsbasierter Evaluierungen im Rahmen der feministischen Entwicklungszusammenarbeit. Dabei wurden sowohl die Perspektiven der Evaluierenden als auch der Auftraggebenden beleuchtet. Eine zentrale Fragestellung war, wie auf problematische Situationen im Feld vorbereitet werden kann. Es wurde betont, dass die Anforderungen an die Auftraggebenden klar kommuniziert werden müssen und dass Evaluierungen bereits in die Machbarkeitsstudien einbezogen werden sollten. Ein weiterer Diskussionspunkt war die Balance zwischen der Transparenz der Evaluationsprozesse und dem Schutz der beteiligten Personen, im Einklang mit den Möglichkeiten und der Rechenschaftspflicht. Zudem wurde die Problematik von Machtdynamiken innerhalb der Teams sowie die Gefahr einer Fortführung kolonialer Vorgehensweisen thematisiert.

Werkstattgespräch 2: Umsetzung von feministischem MEAL in der humanitären Projektarbeit. 

Carla Dietzel (Care), Kirstin Bostelmann und Annegreth Wittforth (Plan International) 

Das Werkstattgespräch betonte, dass feministische und gendertransformative Ansätze über die Evaluierung hinaus den gesamten Projektzyklus in der Humanitären Hilfe umfassen. In separaten Gruppenarbeiten wurden diese Ansätze diskutiert, wobei Themen wie Lokalisierung, Zielgruppen und Analysen im Mittelpunkt standen. Der Ansatz „Women Lead in Emergencies“ von Care, der die Phasen Reflektieren, Analysieren, Lernen, Ko-Kreieren und Handeln umfasst, wurde vorgestellt und evaluiert. Zudem wurde der „Rapid Gender Analysis – Adolescents“, ein anerkannter Standard in der Humanitären Hilfe, präsentiert, der nach Bedarf für Jugendliche angepasst wird, um Projekte zu evaluieren und zu verbessern. Es wurde auch auf die Komplementarität und Unterschiede zwischen gendertransformativen und feministischen Ansätzen eingegangen.

Werkstattgespräch 3: Berücksichtigung feministischer Ansätze und Zielsetzungen im Monitoring von Maßnahmen. 

Margarete Tanzmann, (Heinrich-Böll-Stiftung), Barbara Obst (OXFAM)

Im Fokus dieses Werkstattgesprächs stand nicht nur die Evaluierung, sondern der gesamte PMEL-Zyklus (Planning, Monitoring, Evaluation, and Learning). Feministische Ansätze und Zielsetzungen wurden dabei integrativ berücksichtigt. Macht und Einfluss wurden als Schlüsselfaktoren erkannt, wobei die Rolle der Evaluierenden kritisch hinterfragt wurde. Partizipation spielt laut dem Gespräch eine zentrale Rolle, und es wurde betont, dass es notwendig ist, die eigene Komfortzone zu verlassen, um eine wirklich transformative Wirkung zu erzielen. Dies erfordert eine kontinuierliche Reflexion und Anpassung der Methoden und Ansätze, um den feministischen Prinzipien gerecht zu werden.

Abschlussrunde und Ende der Tagung 

Die oben dargestellten Werkstattgespräche wurden in der Abschlussrunde vorgestellt und wichtige Ergebnisse wurden zusammengetragen.

Das von einer Arbeitsgruppe des AK entwickelte Arbeitspapier 7 Gütekriterien für Monitoring ist ab sofort auch in einer englischen und einer spanischen Version verfügbar. Zu allen bisher veröffentlichten Arbeitspapieren geht es hier.

Die Anmeldung zur Frühjahrstagung des AK Epol-HuHi vom 15.-16. Mai in Berlin in Kooperation mit Syspons ist noch bis zum 8. Mai 2024 unter folgendem Link möglich: https://www.conftool.net/ak-epol-fjt24/index.php?page=login

Eine aktuelle Version des Programms finden Sie hier.

Die Frühjahrstagung 2024 des AK Entwicklungspolitik und Humanitäre Hilfe zum Thema Feministische Außen- und Entwicklungspolitik: Implikationen für Monitoring und Evaluierung wird vom 15.05-16.05.2024 in Berlin stattfinden. Merken Sie sich gern den Termin und den Ort bereits jetzt vor.

Weitere Informationen folgen zeitnah an dieser Stelle sowie über die AK-Mailings und weitere Verteiler.

Bereits jetzt der Hinweis: Zum genannten Termin finden in Berlin verschiedene größere Veranstaltungen statt, weshalb die Verfügbarkeit von nahe gelegenen Hotelzimmern knapp werden könnte. In unmittelbarer Nähe zum Veranstaltungsort befindet sich das Motel One Berlin Mitte (Prinzenstraße), wo wir ein begrenztes Zimmerkontingent reserviert haben (159,-€/Nacht).   Für eine Zimmerreservierung klicken Sie bitte auf folgenden Link: Zimmerreservierung DeGEval Frühjahrstagung 2024

Die Frühjahrstagung fand am 20. und 21. Juni 2023 in Stuttgart an der Universität Hohenheim statt. Die Veranstaltung wurde gemeinsam mit FAKT Consult for Management, Training and Technologies ausgerichtet, sowie von WebMo finanziell unterstützt.

Die Teilnehmer:innen der Tagung befassten sich mit der Bedeutung sowie den Möglichkeiten und Grenzen von Partizipation in Monitoring und Evaluation in der Entwicklungszusammenarbeit und humanitären Hilfe. Neben einer theoretischen Herleitung und Begriffsklärung wurde der Frage nachgegangen, wie Partizipation in verschiedenen Phasen von Evaluation und Monitoring von Vorhaben konkret ausgestaltet werden kann, welche Erfahrungen es mit dem Einsatz unterschiedlicher Evaluationsansätze und Methoden gibt und wo Herausforderungen sowie Potenziale für Partizipation bestehen.

Dienstag, 20. Juni 2023

Yvonne Zahumensky (Forschungszentrum für Globale Ernährungssicherung und Ökosysteme der Universität Hohenheim (GFE)), Christine Lottje (FAKT) und Sprecherin des AK-Epol-HuHi Kirsten Vorwerk (DEval) begrüßten zunächst die Teilnehmer:innen der Frühjahrestagung.

11:30 – 12:15 Participatory Evaluation: An Introduction, Marina Apgar (IDS)

Marina Apgar vom Institute of Development Studies (IDS) führte in die Veranstaltung mit einem theoretischen Input zu Partizipation in Evaluation ein. Dabei ging sie auf die Bedeutung von partizipativer Evaluation im Kontext der Debatte um Dekolonialisierung und Lokalisierung ein. Zudem brachte sie wesentliche Fragen zum Thema Partizipation in Evaluation und Monitoring auf die Agenda: Wer soll eingebunden werden und warum? An welchen Stellen sollen die Menschen eingebunden werden? Wie teilt man das Eigentum/die Ergebnisse? Wer hat die Macht im Evaluationsprozess? In Bezug auf die letzte Frage zeigte sie verschiedene Formen von Macht (sichtbare, verborgene und unsichtbare Macht) auf und regte dazu an, diese im Evaluierungsprozess zu reflektieren. Die Einbeziehung der Erfahrungen und Geschichten von Beteiligten und Betroffenen sei ein wichtiger Aspekt, um unterschiedliche „Wahrheiten“ zu erfassen. Dafür verwies sie auf die Verwendung verschiedener Methoden.

Ein Beitrag von Marina Apgar über die Tagung findet sich auf der IDS Homepage.

12:15 – 14:30 Stationen Café: Wann ist wie viel Partizipation in Evaluation möglich und sinnvoll?

An verschiedenen Stationen wurde in Gruppenarbeiten die Frage „Wann ist wie viel Partizipation in Evaluation möglich und sinnvoll?“ für unterschiedliche Phasen der Evaluierung betrachtet. Nach dem Mittagessen bestand Zeit durch die einzelnen Stationen zu schlendern, um sich die Ergebnisse anzuschauen.

14:30 – 15:15 Participatory Impact Assessment by communities with the PRA-based MAPP Approach, Regine Parkes (FAKT Consult for Management, Training and Technologies)

Regine Parkes von FAKT präsentierte den partizipativen MAPP-Ansatz (Method for Impact Assessment of Programmes and Projects). Nachdem sie den Entstehungsprozess sowie Hintergrund der Methode präsentierte, stellte sie die einzelnen Schritte bzw. Tools vor. Die Methode wurde von Susanne Neubert entwickelt. MAPP ist ein methodischer Ansatz, der eine Reihe von partizipativen Instrumenten zur Identifizierung und Messung von Veränderungen in Projekten inkludiert. Im Fokus stehen Gruppendiskussionen. Regine Parkes wies darauf hin, dass MAPP in Kombination mit weiteren Methoden verwendet werden sollte.

15:15 – 16:45 Barcamp-Methode: Vorstellung sowie Themensammlung

Der Nachmittag des ersten Tages der Tagung wurde mit Gruppenarbeiten im Rahmen der Barcamp-Methode gefüllt. Nikolai Hergt (freier Evaluator und Berater), Sprecher des AK-Epol-HuHi, stellte die Methode und Vorgehensweise vor. Dem Tagungsthema entsprechend handelt es sich dabei um eine partizipative Methode, die den Teilnehmer:innen die Möglichkeit bot, zusätzlich zu den im Programm bereits festgelegten Themen eigene Themenvorschläge für die Gruppenarbeit einzubringen.

Nach einer Abstimmung zu den Themen gab es sechs Arbeitsgruppen zu unterschiedlichen Themen, in zwei Runden zu je 45 Minuten.

16:45 – 17:30 Barcamp-Arbeitsgruppen – Runde 1

• Gruppe 1: Gütekriterien für Monitoring, Referentinnen: Susanne von Jan (smep-consult) und Marie-Carin von Gumppenberg (freie Beraterin und Evaluatorin)

Im Rahmen dieser Arbeitsgruppe wurden die neuen Gütekriterien für Monitoring sowie das dazu von der Arbeitsgruppe „Monitoring“ des AK-Epol-HuHi veröffentlichte Arbeitspapier vorgestellt und diskutiert.

• Gruppe 2: Meaningful participation in evaluation of long and complex impact pathways, Referentinnen: Adinda Van Hemelrijck und Eva Wuyts (beide Collaborative Impact)

Anhand eines Beispiels stellten die beiden Referentinnen vor, bei welchen Schritten in komplexen Evaluationen Partizipation möglich und sinnvoll ist. Dabei wurden Fragen aus der Key Note aufgegriffen: Wer wird einbezogen und warum, von wem, wer berichtet und profitiert am Ende? Unter anderem wurden Aspekte der Dekolonialisierung und Deinstrumentalisierung diskutiert.

Ein Ergebnis der Diskussion war, dass es aufgrund begrenzter Zeit und Ressourcen meist nicht möglich ist, eine komplette Evaluation partizipativ zu gestalten. Daher sollte bereits im Vorfeld der Evaluierung überlegt werden, zu welchem Zeitpunkt partizipativ gearbeitet wird. Zudem wurde auf Literatur zum Thema hingewiesen.

• Gruppe 3: Weitere Einführung in die MAPP-Methode, Referent:innen: Regine Parkes und Bernward Causemann (beide FAKT Consult for Management, Training and Technologies)

Das Barcamp wurde genutzt, um offene Fragen zur zuvor vorgestellten MAPP-Methode zu klären, sowie diese detaillierter zu besprechen. Betont wurde, dass MAPP als Teil eines Methodenmix verstanden werden sollte. Innerhalb der Gruppe fand unter anderem ein Austausch über die Wichtigkeit der Zusammensetzung der Gruppen, welche partizipieren, statt.

17:30 – 18:15 Barcamp-Arbeitsgruppe – Runde 2

• Gruppe 4: Conditions for success in participatory evaluation - conceptual examples and empirical experience from development education and awareness raising (DEAR), Referent:innen: Bernward Causemann (FAKT Consult for Management, Training and Technologies) und Susanne Höck (selbständige Evaluatorin, Beraterin und Trainerin)

In dieser Gruppe wurde eine Evaluation im Bereich der entwicklungspolitischen Bildungsarbeit vorgestellt, die in hohem Maße partizipativ durchgeführt wurde. Unter dem Einsatz unterschiedlicher Methoden wurde Partizipation in der Planung, Durchführung und Analysephase der Evaluation ermöglicht. Dabei wurde auf die drei Dimensionen von Partizipation nach Daigneault et al. eingegangen: Ausmaß der Beteiligung, Vielfalt der Teilnehmer:innen und Kontrolle über den Evaluationsprozess (Daigneault et al. 2012). Die beiden Referent:innen erläuterten die einzelnen Methoden und veranschaulichten, wie Partizipation die Validität von Ergebnissen stärken kann.

• Gruppe 5: Participation of children & youth / children led participation experiences, challenges, best-practices? Organisatorin: Verena Himmelreich (Kindernothilfe)

Im Barcamp erfolgte ein Austausch zur Beteiligung von Kindern und Jugendlichen im Rahmen von Evaluierungen (siehe z. B. Dialogue Works) und damit verbundenen Methoden, Herausforderungen und ethischen Fragestellungen. Einigkeit bestand darüber, dass Kinder und Jugendliche einerseits durch die Partizipation in Evaluation „empowert” werden können. Andererseits kann das Erzählen von beispielsweise Gewalterfahrung retraumatisierend wirken. Diskutiert wurden auch die in der Key Note angesprochenen Formen von Macht.

• Gruppe 6: What is bricolage? Marina Apgar (Institute of Development Studies (IDS))

Die Gruppe setzte sich mit dem Thema „Bricolage“ auseinander. Marina Apgar stellte hierbei die Ergebnisse einer Studie vor, in der - basierend auf einer strukturierten Analyse von 33 qualitativen Methoden - die Anwendung unterschiedlicher Multimethoden-Designs diskutiert wird, um die Rigorosität von komplexen Evaluierungen zu erhöhen. Ein Austausch erfolgte insbesondere zu der Frage, inwieweit die Kombination unterschiedlicher Methoden in der Praxis bereits erfolgt und wie diese systematischer gestaltet werden kann.

18:15 – 18:45 Barcamp-Methode: Berichte aus den Barcamp-Gruppen

Als Abschluss für den Tag wurden die Ergebnisse bzw. wichtigsten Punkte aus den Barcamp-Gruppen zusammengetragen.

Mittwoch, 21. Juni 2023

09:00– 10:45 Begrüßung und Werkstattgespräche

Nach der Begrüßung durch Thorsten Bär, Sprecher des AK-Epol-HuHi (World Vision Deutschland) konnten die Teilnehmer:innen zwischen drei unterschiedlichen Werkstattgesprächen wählen.

1. Partizipative Methoden in der Evaluierung.

Participatory Impact Assessment & Learning Approach (PIALA). Referentinnen: Adinda Van Hemelrijck, Eva Wuyts (beide Collaborative Impact)

PIALA „[i]t’s an APPROACH for combining methods (not a particular method) to ASSESS for learning and increasing value (not just to evaluate/judge) of progress and contribution towards COLLECTIVE IMPACT as system change (beyond attribution / individual impact) using PARTICIPATORY processes to co-generate knowledge (not to extract data)” (vgl. Präsentation Folie 4).

PIALA umfasst fünf adaptive methodische Elemente, die während verschiedener Evaluationsphasen, in denen jeweils Design-Entscheidungen getroffen werden müssen, angewendet, sowie von den Qualitätsstandards Rigorosität, Inklusion und Machbarkeit eingerahmt werden. Dies ermöglicht eine systematische Strukturierung und Entscheidung hinsichtlich des Grads von Partizipation. Die Referentinnen erläuterten wesentliche Aspekte inklusiver und bedeutsamer Partizipation, stellten verschiedene partizipative Methoden vor und gingen auf die Grenzen des Ansatzes ein. Nach einer Einführung zum methodischen Ansatz von PIALA erprobten die Teilnehmer:innen den Ansatz anhand von Beispielen in Kleingruppen.

Im Rahmen der Fishbowl (siehe unten) wurde PIALA als sehr gutes Beispiel für ein strukturiertes Evaluationsdesign sowie die Anwendung von „Bricolage“ bewertet. Dieser Ansatz verdeutlicht, dass Partizipation im gesamten Evaluationsprozess reflektiert werden sollte.

2. Partizipation in der humanitären Hilfe.

• Einführung: Wie definiert sich Partizipation in der humanitären Hilfe, Referent: Marc Herzog (World Vision Deutschland e. V.)
• Bedeutung von Partizipation in der Arbeit bei Malteser International, Referent: Julian Fellendorf (Malteser International)
• Experiences in participatory monitoring, Referentin: Alice van Caubergh (Johanniter-Unfall-Hilfe e. V.)

Das Werkstattgespräch wurde von Marc Herzog geleitet. Er begann mit einer Einführung in das Thema und stellte vor, wie Partizipation im humanitären Sektor operationalisiert und gestaltet werden kann. Marc Herzog hob hervor, dass Geber und Hilfsorganisationen sich dafür einsetzen sollten, dass die Stimmen der am meisten gefährdeten Gruppen unter Berücksichtigung von Geschlecht, Alter, ethnischer Zugehörigkeit, Sprache und besonderen Bedürfnissen gehört und berücksichtigt werden. Anschließend präsentierten Julian Fellendorf und Alice van Caubergh Beispiele aus ihrer Arbeit bei Malteser International und Johanniter-Unfall-Hilfe.

Im Rahmen der Fishbowl (siehe unten) wurde als zentrales Ergebnis dieses Werkstattgesprächs hervorgehoben, dass Partizipation ein Prozess ist. Der humanitäre Hilfe-Sektor hingegen ist sehr technisch und diagnostisch. Partizipation braucht jedoch Energie, Zeit und Engagement. Hierzu sind Vertrauen, Verpflichtung und Organisationen, die längerfristig aktiv und gewillt sind in den Prozess einzusteigen, notwendig. Ein partizipativer Ansatz in diesem Bereich wäre eine Veränderung, die bisher noch nicht stattgefunden hat.

3. Partizipation im Monitoring.

• Monitoring als Empowerment-Ansatz, Referentin: Karola Block (freie Organisationsberaterin und Evaluatorin)
• Partizipatives Wirkungsmonitoring mit NGO-IDEAs: Wunschdenken, Annahmen und Voraussetzungen? Referentin: Dagny Skarwan (freie Beraterin und Evaluatorin)

Anhand eines Rollenspiels erprobten die Teilnehmer:innen eine partizipative Vorgehensweise im Rahmen von Monitoring. Die übergreifende Frage war, wie das Monitoring lokaler/kommunaler Aktivitäten von Gruppen gestaltbar ist. Nach einer kurzen Einführung in die Situation wurden verschiedene Fragen beantwortet. Im Anschluss wurde das Erlebte diskutiert und analysiert. Als Fazit ist festzuhalten, dass die Erhebung von Monitoringdaten zwar im Vordergrund steht, durch den vorgestellten Ansatz aber zusätzlich Partizipation gefördert wird. Zudem war mehr Ownership durch diesen Gruppenprozess beobachtbar.

Im zweiten Teil des Werkstattgesprächs wurde NGO-IDEAS vorgestellt. IDEAS bedeutet Impact on Development, Empowerment and Actions. Bei diesem Monitoring-Ansatz steht das Lernen und nicht die Rechenschaftslegung im Vordergrund. Dafür werden qualitative und quantitative Methoden kombiniert. Der Ansatz ermöglicht es lokalen Gruppen ihre gemeinsamen Ziele zu erkennen und die Umsetzung zu überprüfen. Dies soll Selbstwirksamkeitserfahrungen schaffen. NGO-IDEAS muss frühzeitig im Projektzyklus eingesetzt werden, bevor die Ziele festgelegt sind. Wichtig sei es, die Ergebnisse zu dokumentieren und zu sichern sowie den Beteiligten Zugang dazu zu schaffen. Zudem müssten die verfügbaren Kapazitäten geklärt und Trainings zu den Methoden angeboten werden.

Im Rahmen der Fishbowl wurde hervorgehoben, dass es bei partizipativem Monitoring wichtig sei, die Ziele und Kriterien der Teilnehmer:innen zu verwenden, auch wenn diese nicht mit der ursprünglichen Planung übereinstimmen. Aufgrund des Perspektivwechsel sei die verwendete Methode sehr relevant.

11:00 – 12:15 Fishbowl: Lernerfahrung, Zusammenfassung und Ausblick

Die Frühjahrstagung endete mit einer Fishbowl-Diskussion. Feste Teilnehmer:innen waren Marina Apgar, Susanne von Jan und Marc Herzog, die zunächst aus den Werkstattgesprächen berichteten (siehe oben).

In der weiteren Diskussion wurde unter anderem auf die Rahmenbedingungen von Evaluationen eingegangen. Enge Rahmenbedingungen führten aus Sicht der Beteiligten dazu, dass Partizipation in Evaluation und Monitoring nur eingeschränkt möglich ist. Einerseits müssten bestehende Grenzen anerkannt, gleichzeitig aber auch Veränderungen angestrebt werden. Flexibilität könne durch den Verweis auf bestehende Positionspapiere und Richtlinien erhöht werden. Hervorgehoben wurde, dass nicht nur aufgrund der Rechenschaftspflicht gegenüber dem Geber evaluiert wird.

Als ein wesentliches Ergebnis der Tagung wurde festgehalten, dass Partizipation im gesamten Projektzyklus von Bedeutung ist. Dabei müsse sich die Frage gestellt werden, wer partizipiert und wie repräsentativ der ausgewählte Personenkreis ist. Hier werden die drei Dimensionen von Partizipation nach Daigneault et al. deutlich: Ausmaß der Beteiligung, Vielfalt der Teilnehmer:innen und Kontrolle über den Evaluationsprozess (Daigneault et al. 2012).

Ein Lernerfolg der Tagung ist, dass Partizipation tiefgehendes Wissen ermöglicht. Partizipative Ansätze in der Entwicklungszusammenarbeit können auch in der humanitären Hilfe genutzt werden. Wichtig ist dabei die Verbindung von Theorie und Praxis. Dazu zählt auch ein Austausch über Ethik, Absicherung und Vertrauen. Zudem gilt es, die unterschiedlichen Formen von Macht zu reflektieren und aufzubrechen. Dies kann durch Partizipation, vor allem in der Entscheidungsfindung, geschehen.

12:15 – 13:15 Mittagsimbiss, Ende der Tagung

Mittendrin statt nur dabei! Partizipation in M&E

Partizipation ist ein wesentliches Element zahlreicher Evaluationsansätze, wobei Art und Umfang der Partizipation stark variiert. Insbesondere bei der Frage nach dem Nutzen von Evaluation wird der Beteiligung von Interessensgruppen eine wichtige Rolle zugeschrieben: Durch die Mitwirkung der Betroffenen und Beteiligten wird eine höhere Akzeptanz und letztlich bessere Nutzung der Evaluationsergebnisse angestrebt. Je nach Ziel, Gegenstand und Evaluationsansatz kann die Ausgestaltung von Partizipation sehr unterschiedlich ausfallen und eine umfassende Einbindung unterschiedlicher Interessengruppen in allen Phasen der Evaluation oder auch lediglich die Einbindung spezifischer Gruppen zu einem bestimmten Zeitpunkt beinhalten. Eine Konzeptionalisierung von Partizipation, die Daigneault et al. für die Bewertung von partizipativer Evaluation zugrunde legen, unterscheidet drei wesentliche Dimensionen von Partizipation: Ausmaß der Beteiligung, Vielfalt der Teilnehmer und Kontrolle über den Evaluationsprozess (Daigneault et al. 2012).

Im Rahmen der Frühjahrstagung werden wir uns mit der Bedeutung sowie den Möglichkeiten und Grenzen von Partizipation in Monitoring und Evaluation in der Entwicklungszusammenarbeit und Humanitären Hilfe befassen. Neben einer theoretischen Herleitung und Begriffsklärung möchten wir insbesondere der Frage nachgehen, wie Partizipation in verschiedenen Phasen von Evaluation sowie im Monitoring von Vorhaben konkret ausgestaltet werden kann, welche Erfahrungen es mit dem Einsatz unterschiedlicher Evaluationsansätze und Methoden gibt und wo Herausforderungen sowie Potenziale für Partizipation bestehen.

Außerdem werden wir Partizipation auch ganz praktisch anwenden: Die Teilnehmer:innen der Tagung werden die Gelegenheit bekommen, einen Teil der Tagung durch eigene Inputs mitzugestalten.

Bitte beachten Sie, dass manche Vorträge in englischer Sprache gehalten werden, ohne Übersetzung.

>> Zum Programm (PDF)