Bisherige Aktivitäten
des AK Epol/HuHi
Frühjahrstagung 2022 des Arbeitskreises Entwicklungspolitik und Humanitäre Hilfe
Im Folgenden finden Sie eine kurze Zusammenfassung der Frühjahrstagung 2022 des Arbeitskreises Entwicklungspolitik und Humanitäre Hilfe.
Die Frühjahrstagung fand am 28. Juli 2022 online statt. Die Veranstaltung wurde vom Arbeitskreis Entwicklungspolitik und Humanitäre Hilfe der DeGEval in Kooperation mit dem Verband Entwicklungspolitik und Humanitäre Hilfe (VENRO) ausgerichtet.
Thorsten Bär vom AK Epol/HuHi begrüßte zunächst die Teilnehmenden der Frühjahrstagung.
- 14:35 – 14:50 Uhr „Einführung in das Veranstaltungsthema“
Zu Beginn der Veranstaltung gab Sebastian Schuster als Sprecher der VENRO AG Wirkungsorientierung eine kurze Einführung in das Veranstaltungsthema. Hierbei gab er einen Überblick zum Verständnis von „Partizipation“ sowie „Remote Evaluierung“ und welche Möglichkeiten und Herausforderungen „Partizipation in Remote Evaluierungen“ mit sich bringt.
- 14:50 – 15:35 Uhr “Participatory Evaluation: Theories and Methods for Remote Work“
Elizabeth DiLuzio von der Evaluation + Learning Consulting (EVALLEARN) stellte in ihrem Vortrag Ansätze und Erfahrungen zum Einsatz von partizipativen Methoden in Remote Evaluierungen vor. Nach einer einführenden Definition zu “participatory evaluation“ ging Elizabeth DiLuzio auf die Voraussetzungen für Partizipation in Remote Evaluierungen ein und zeigte Möglichkeiten auf, wie Partizipation in den verschiedenen Phasen einer Remote Evaluierung umgesetzt werden kann.
- 15:45 – 17:00 Uhr „World Café“
Nach einer kurzen Einführung von Susanne von Jan, Sprecherin des AK Epol/HuHi, teilten sich die Teilnehmenden der Tagung in Gruppen auf und diskutierten an drei „Tischen“ (Break-Out Rooms) unterschiedliche Fragen. Im Sinne des World Cafés konnten die Teilnehmenden an den „Tischen“ jeweils 15 Minuten zu den vorgegebenen Fragen diskutieren, danach wechselten sie an den nächsten „Tisch“. Insgesamt gab es drei Diskussionsrunden. Die Moderator:innen der Tische blieben in den jeweiligen Räumen und dokumentierten die Ergebnisse auf einem virtuellen Whiteboard (Mural). Nach Abschluss der dritten Runde wurden die Ergebnisse der Diskussionen von den Moderator:innen kurz im Plenum vorgestellt. Folgende Fragen wurden diskutiert:
Tisch 1 (Moderation Natascha Pancic, Welttierschutzstiftung):
Warum ist Ihnen Partizipation in Remote Evaluierung wichtig? Gibt es auch Aspekte, die gegen Partizipation sprechen? Inwieweit hängt die Einschätzung von unterschiedlichen Phasen der Evaluation ab?
Die Diskussion befasste sich sowohl mit den Grenzen für Partizipation (Ressourcen, Unabhängigkeit) als auch mit den Chancen (bessere Erreichbarkeit von Zielgruppen, virtuelle Teilnahme an gemeinsamen Veranstaltungen). Die Teilnehmenden waren sich einig, dass der Grad der Partizipation auch von Gegenstand und Zweck der Evaluierung abhängt.
Tisch 2 (Moderation Sebastian Schuster, AG Wirkungsorientierung, VENRO):
Welche Herausforderungen sehen Sie bei der Implementierung von Partizipation in Remote Evaluierungen? Inwieweit sind die Herausforderungen abhängig von den verschiedenen Stakeholdergruppen, die Sie einbeziehen wollen? Welche Lösungsvorschläge fallen Ihnen ein?
In der Diskussion wurde deutlich, dass eine wesentliche Herausforderung für die Partizipation in Remote Evaluierungen in der Einbeziehung marginalisierter Gruppen sowie in der gemeinsamen Datensammlung mit nationalen Gutachter:innen oder Zielgruppen gesehen wird. Zudem bestehen Herausforderungen für die Erzielung eines umfassenden Kontextverständnisses, da Informationen zum lokalen Kontext oder „spontane Kontakte“ schwieriger zu erhalten sind. Lösungsvorschläge bezogen sich insbesondere auf die enge Zusammenarbeit mit nationalen Gutachter:innen und die intensive Einbeziehung lokaler Expertise.
Tisch 3 (Moderation Jens Koy, freier Gutachter und Berater):
Wie ist es Ihnen gelungen, Partizipation in Remote Evaluierungen umzusetzen? Welche konkreten Ideen haben Sie? Welche Tools kennen Sie, die sich für Partizipation in Remote Evaluierungen eignen?
Die Ergebnisse des Tisches 3 zeigen, dass virtuelle Workshops und Interviews gängige Tools bei Remote Evaluierungen sind. Insgesamt hat sich die Nutzung dieser Tools in den letzten Jahren weit verbreitet. Dadurch bestünde z. B. auch die Möglichkeit gemeinsame Kick-off-Workshops mit Partnern zu Beginn einer Evaluierung durchzuführen, ebenso wie Treffen zur gemeinsamen Diskussion von Ergebnissen.
- 17:10 – 17:55 Uhr: „Praxisbeispiel zu partizipativer Remote Evaluierung: Remote Evaluierung mit Outcome Harvesting“
Abschließend stellte Konny Rassmann, freiberufliche Evaluatorin und Beraterin, ein Praxisbeispiel zu einer Remote Evaluierung vor, in der die Methode des „Outcome Harvesting“ zur Anwendung kam. Dabei handelte es sich um die Evaluierung eines komplexen, länderübergreifenden Vorhabens im Themenbereich „Gute Regierungsführung“. In ihrer Präsentation stellte Konny Rassmann zunächst die Grundlagen von Outcome Harvesting vor, um im zweiten Schritt darauf einzugehen, wie Partizipation bei der Remote Datenerhebung und -analyse mit Outcome Harvesting in der vorgestellten Evaluierung umgesetzt wurde.
- 17:55 – 18:00 Uhr: Verabschiedung
Session des AK Epol/HuHi bei der 24. DeGEval-Jahrestagung 2021
Evaluation 2.0? Die Corona-Pandemie als Anstoß für Wandel in der Evaluation in der Entwicklungszusammenarbeit und humanitären Hilfe
Vor dem Hintergrund des übergreifenden Tagungsthemas „Wandel durch Evaluation und Wandel der Evaluation“ befasste sich die Veranstaltung des AK mit der Frage, welche Veränderungen in der Evaluation in der EZ und humanitären Hilfe im Zuge der Corona-Pandemie stattgefunden haben und inwieweit diese Veränderungen im Sinne eines langfristigen Wandels auch zukünftig Bestand haben sollten.
In einem einführenden Vortrag „Evaluation approaches under Covid-19: what have we learned“ stellte Jos Vaessen, Methodenberater der Independent Evaluation Group (IEG) der Weltbank, Methoden und Ansätze, die im Zuge der Pandemie entwickelt wurden, sowie Erfahrungen der IEG mit deren Umsetzung vor. Im Anschluss an den Vortrag diskutierten die Teilnehmenden in vier virtuellen Kleingruppen auf Basis ihrer eigenen Erfahrungen, welche der aus der Corona-Pandemie resultierenden Veränderungen bei der Planung und Durchführung von Evaluationen langfristig beibehalten werden sollten.
Die Diskussion orientierte sich an folgenden Leitfragen:
- Inwieweit hat sich Evaluation im Zuge der Pandemie verändert?
- Welche Veränderungen sind nur temporär, welche sollten beibehalten und weiterentwickelt werden?
Die Ergebnisse der Diskussion in den vier Gruppen wurden auf virtuellen Whiteboards festgehalten. Zum Abschluss der Gruppenarbeiten wurden zudem die jeweils wichtigsten 3 Veränderungen, die aus Sicht der Kleingruppen beibehalten werden sollten, auf einem Whiteboard gesammelt und anschließend im virtuellen Plenum gemeinsam betrachtet und von Jos Vaessen kommentiert.
Wichtige Veränderungen, die identifiziert wurden, waren u. a. die größere Nutzung von Sekundärdaten sowie die Zusammenarbeit mit nationalen Evaluator:innen und damit verbunden die stärkere Einbeziehung der „lokalen Perspektive“. Insbesondere wurde auch die Bedeutung von hybriden Formaten hervorgehoben, um die positiven Aspekte virtueller Formate stärker zu nutzen und mit „traditionellen“ Formaten der Datenerhebung (Projektbesuche, persönliche Interviews und Befragungen, Gruppendiskussionen etc.) zu kombinieren. Einigkeit bestand dahingehend, dass Projektbesuche und persönliche Erhebungen vor Ort auch in Zukunft wichtige Bestandteile von Evaluationen bleiben werden. Die Dokumentation der Ergebnisse findet sich hier.
Protokoll des Treffens des Arbeitskreises Entwicklungspolitik und Humanitäre Hilfe am 16.09.2021
1. Begrüßung
Thorsten Bär begrüßte die Teilnehmenden an der Sitzung und stellte die Agenda vor. Insgesamt nahmen 26 Personen am AK-Treffen teil.
2. Neues aus den Institutionen
Unter diesem Programmpunkt wurde über organisationale und personelle Veränderungen beim Auswärtigen Amt berichtet. Zudem wurde das Fortbildungsangebot des PME-Campus vorgestellt.
3. Präsentation AG Qualitätskriterien für Monitoring
Bernward Causemann stellte die Arbeit der AG Qualitätskriterien für Monitoring vor, die sich im Anschluss an die Frühjahrstagung 2020 gebildet hat und dort besprochene Themen weiter ausarbeitet. Die AG trifft sich regelmäßig zum Austausch und erstellt, auf Basis einer umfassenden Literaturauswertung, derzeit ein Paper zum Thema. Darin werden u. a. Ziele, verschiedene Gütekriterien sowie Voraussetzungen für ein gelungenes Monitoring besprochen.
4. Präsentation AG Remote Evaluierung
Birgit Laue stellte die AG Remote Evaluierung vor. Die AG hat sich nach der Frühjahrstagung im Mai 2020 gegründet und dient unter anderem dem Austausch zu Erfahrungen mit Remote Evaluierungen. Die AG hat zudem eine Handreichung verfasst, die von Mitgliedern des AK kommentiert wurde und in den nächsten Monaten fertiggestellt werden soll. Zudem gab es verschiedene Treffen, zu denen externe Expert:innen eingeladen wurden, die ihre Erfahrungen mit Remote Evaluierungen vorgestellt haben. Das nächste Treffen der AG findet am 19. Oktober statt. Alle Interessierten sind eingeladen, daran teilzunehmen. Gerne können sich auch Personen melden, die einen Input liefern möchten.
5. Vorstellung des p2p + Netzwerks
Elba Estrada stellte das Netzwerk p2p+ vor. Das Netzwerk stellt eine Plattform für junge Evaluator:innen bereit, um sich auszutauschen und Unterstützung für den beruflichen Einstieg zu bekommen. Die Plattform bietet Beratungsleistungen durch erfahrene Evaluator:innen an, um Nachwuchsevaluator:innen in Bezug auf Job-Möglichkeiten, sowie technische oder methodische Fragestellungen zu unterstützen. Darüber hinaus kann die Plattform auch genutzt werden, um Nachwuchsevaluator:innen für Evaluationsaufträge zu rekrutieren. Die Präsentation von Elba Estrada finden Sie hier.
6. Ideensammlung: Themen für die FJT 2022 und ausrichtende Organisation
Für die Frühjahrstagung 2022 wurde eine Abfrage zu Themenvorschlägen gestartet. Neben den Vorschlägen, die bereits im Vorfeld des AK-Treffens eingereicht wurden, wurden weitere Vorschläge von den Teilnehmenden gesammelt. Über folgende Vorschläge wurde abgestimmt und die TOP 3-Themen identifiziert:
- Vorschlag A: „Unterschied Wissenschaft und Evaluierung, was kann geleistet werden?“
- Vorschlag B: „Partizipative Evaluierung - was heißt das?“ (TOP 1, 48%)
- Vorschlag C: Nachhaltigkeit (Dauerhaftigkeit und Dimensionen)
- Vorschlag D: Theoriebasierte Ansätze (inkl. Kontributionsanalyse)
- Vorschlag E: Bewertungskriterien im Humanitarian-Development-Peace Nexus (TOP 3, 13%)
- Vorschlag F: Zusammenarbeit mit lokalen Gutachter:innen (auch als Teilthema eines anderen Themas)
- Vorschlag G: Remote Evaluierung/ Evaluation in der Post Covid-Situation unter einem „building back better“-Paradigma (TOP 2, 22%)
Für den weiteren Prozess wurde vereinbart, dass die drei TOP-Themen auch mit der ausrichtenden Organisation abgestimmt werden, um auf dieser Basis eine Entscheidung zu treffen. Eine weitere Ausarbeitung erfolgt dann durch das Sprecher:innen-Team. Eine ausrichtende Organisation für die Frühjahrstagung des AK konnte im Rahmen des AK-Treffens nicht identifiziert werden. Das Sprecher:innen-Team wird hierzu in den nächsten Monaten Organisationen anfragen.
7. Wahl des Sprecher:innen-Teams
Susanne von Jan, Thorsten Bär und Kirsten Vorwerk wurden erneut als Sprecher:innen-Team des AK gewählt. 23 TN stimmten für das aktuelle Sprecher:innen-Team und 3 Personen enthielten sich.
8. Verabschiedung
Dokumentation der Frühjahrstagung 2021 des Arbeitskreises Entwicklungspolitik und Humanitäre Hilfe
(Von Teilnehmenden der Frühjahrstagung erarbeite Aspekte zum Satz „Menschenrechte bedeuten für mich…“, versinnbildlicht am Beispiel des „Menschenrechtsbaums“)
Im Folgenden finden Sie eine kurze Zusammenfassung der Frühjahrstagung 2021 des Arbeitskreises Entwicklungspolitik und Humanitäre Hilfe.
Die Frühjahrstagung fand am 24. und 25. Juni 2021 aufgrund der aktuellen COVID-19 Situation online statt. Die Veranstaltung wurde vom Arbeitskreis Entwicklungspolitik und Humanitäre Hilfe des DeGEval in Kooperation mit dem Deutschen Institut für Menschenrechte (DIMR) und dem Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) ausgerichtet.
Donnerstag, 24. Juni 2021
Jörg Faust (DEval), Anna Würth (DIMR), sowie ein Sprecher des AK-Epol-HuHi, Thorsten Bär (World Vision) begrüßten zunächst die Teilnehmenden der Frühjahrstagung.
09:50 – 10:15 Uhr „Menschenrechte bedeuten für mich …“
Noch vor dem ersten inhaltlichen Vortrag zum Thema der diesjährigen Frühjahrstagung wurden die Teilnehmenden im virtuellen Veranstaltungsraum gebeten, eigene Überlegungen aufzustellen, was Menschenrechte sind und welche Werte diesen zugrunde liegen. Am Beispiel von zwei „Menschenrechtsbäumen“ (Verlinkung hier und hier) trugen die Teilnehmenden der Frühjahrstagung somit aktiv zum Diskurs über Fragen der Menschenrechte bei.
10:15 – 11:00 Uhr Menschenrechte: Definition, Abgrenzung, Kontextualisierung
Anna Würth (DIMR) stellte in ihrer einführenden Präsentation zum Thema Menschenrechte vor, wie der Begriff der Menschenrechte definitorisch gefasst werden kann. Durch ihre Darstellung der Meilensteine der Menschenrechte, beginnend bei der Allgemeinen Erklärung der Menschenrechte durch die UN-Generalversammlung von 1948, wurde in Bezug auf das heutige Verständnis von Menschenrechten deutlich, dass eine Neukontextualisierung und Spezifizierung von Menschenrechten prozessual stattfinden. Sie betonte, dass Staaten die Menschenrechte achten, schützen und gewährleisten müssen. In Bezug auf die Verbindung von Menschenrechten und Entwicklungszusammenarbeit gab Anna Würth an, dass Durchführungsorganisationen und NGOs ihre Sorgfaltspflicht beachten müssen und ging auf die Unterscheidung von Pflichten-Tragenden und Rechte-Inhabenden ein.
11:15 – 12:00 Uhr Menschenrechtsbasierte Ansätze in Evaluation – Vorstellung und Reflexion
Lena Taube und Martin Bruder (DEval) gaben in ihrem Vortrag einen Überblick über Menschenrechtsbasierte Ansätze explizit innerhalb der Evaluationsarbeit. Sie zeigten auf, dass innerhalb der evaluatorischen Arbeitsprozesse Menschenrechte und menschenrechtliche Prinzipien eine große Rolle spielen können. In allen Phasen der Evaluation, von Planung und Design über Erhebung und Analyse bis zur Disseminierung können Menschenrechte systematisch einbezogen werden. Dafür bieten Taube und Bruder in ihrem Vortrag verschiedene Entscheidungspunkte an, die wie Regler verstanden und mehr oder weniger spezifisch umgesetzt werden können. So kann beispielweise innerhalb der Planung einer Evaluation die menschenrechtliche Situation im Fallstudienland anhand von relevanten ratifizierten Menschenrechtsverträgen untersucht werden. Abschließend beschrieben die Vortragenden menschenrechtsbasierte Evaluierung als ein Qualitätsmerkmal einer erfolgreichen Evaluation, welche eher durch eine Haltung getragen wird und weniger durch das Abhaken von Checklisten.
13:30 – 15:30 Gruppenarbeiten
Die Teilnehmenden der Frühjahrstagung nahmen im weiteren Verlauf an einem von zwei parallel stattfindenden Workshops teil.
Workshop A zu Menschenrechten als Querschnittsthema in Evaluation: Standards, Leitfragen und Vorgehensweise
Referierende: Ilse Worm (freie Evaluatorin) und Marco Hanitzsch (CoResult)
Dieser Workshop beschäftigte sich mit dem Thema der Menschenrechte als Querschnittsthema in Evaluationen und es wurden Standards, Leitfragen und Vorgehensweisen diskutiert. In einer einführenden Präsentation durch die Referierenden wurde anhand von Beispielen die Integration von Leitfragen zu Menschenrechten in die OECD DAC-Evaluierungskriterien sowie spezifische Fragestellungen zu wirtschaftlichen und sozialen Rechten vorgestellt. In zwei Gruppenübungen mit Fallbeispielen aus der staatlichen Entwicklungszusammenarbeit sowie der humanitären Hilfe analysierten die Teilnehmenden die Vorhaben hinsichtlich menschenrechtlicher Aspekte. Dies beinhaltete beispielsweise auch die Identifizierung von Rechteinhaber*innen und Pflichtenträger*innen. In einem zweiten Schritt wurden entlang der DAC-Evaluierungskriterien spezifische Evaluierungsfragen entwickelt und diskutiert, wie zentrale Menschenrechtsprinzipien im Evaluierungsprozess berücksichtigt werden sollten. Aus den Gruppenübungen wurde deutlich, wie menschenrechtliche Normen und Prinzipien systematisch in Evaluationen berücksichtigt werden können, sowohl bei der Bewertung von Vorhaben, als auch im Rahmen des Evaluationsprozesses. Diskutiert wurde dabei unter anderem die Umsetzung des Prinzips der Nicht-Diskriminierung sowie die Rolle von lokalen NGOs, die zum Teil sowohl Pflichtenträger*innen sind als auch Vertreter*innen von Rechteinhaber*innen.
Workshop B: Trauma-informed approach to evaluations - sharing of experiences with evaluations in trauma related contexts: Challenges identified and practical
Referierende: Berenice Meintjes (Jikelele Consultancy, South Africa), Ulrike Weinspach (Misereor) und Kirsten Wienberg (medica mondiale)
Kirsten Wienberg und Berenice Meintjes haben in zwei Präsentationen (hier und hier) in diesem Workshop vier Schlüsselprinzipien von Trauma-sensiblen Ansätzen vorgestellt: Sicherheit, Empowerment, Solidarität und Selbstschutz/Organisationaler Schutz. Darüber hinaus haben sie für die Bedeutung eines Trauma-sensiblen Vorgehens sensibilisiert und Erfahrungen von Evaluationen in traumabezogenen Kontexten vorgestellt sowie Empfehlungen gegeben. Die Teilnehmenden des Workshops diskutierten darauffolgend in Kleingruppen über die Inhalte der Präsentationen und machten deutlich, dass einerseits das Design und die Auswahl von partizipativen Methoden und ein gesteigertes Empowerment positive Auswirkungen auf sowohl Evaluationsprozesse als auch auf die beteiligten Stakeholder haben könnte und andererseits eine ausreichende Qualifizierung der Evaluierenden in solchen Trauma-sensiblen Bereichen notwendig ist.
16:00 – 17:15 Uhr Erfahrungsaustauch und Diskussion zu den beiden Workshops
In Flüstergruppen tauschten die Teilnehmenden der beiden Workshops sich miteinander aus und erörterten Ergebnisse sowie offenen Fragen. Im Anschluss haben die Referenten*innen im Plenum aus den Flüstergruppen resultierende Fragen beantwortet.
Freitag, 25. Juni 2021
Um 09:00 Uhr begann der zweite Tagungstag und die Teilnehmenden wurden durch Kirsten Vorwerk, Sprecherin des AK-Epol HuHi (DEval) begrüßt.
09:00 – 10:45 Uhr World Café
Die Teilnehmenden der Frühjahrstagung versammelten sich an drei virtuellen Tischen und diskutierten dabei unterschiedliche Fragestellungen.
Unter der Moderation von Simon Freund diskutierten die Teilnehmenden am ersten virtuellen Tisch folgende Fragen: Was müssen wir verändern, um Menschenrechte in Evaluierungen ernst zu nehmen? Wie können wir menschenrechtsbasierte Ansätze in der Praxis umsetzen? Und was benötigen Auftraggeber*innen und Evaluator*innen dafür? Ein Ergebnis dieser Diskussion war, dass es das Bewusstsein braucht, dass es sich bei Menschenrechten um Rechte handelt und gute Evaluierungen das Thema bearbeiten und Menschenrechtsprinzipien selbst umsetzen müssen (Qualitätsmerkmal). Außerdem müssen menschenrechtsbezogene Fragestellungen für den Evaluierungsgegenstand als Evaluierungsfragen konkret operationalisiert werden. Auch wurde die Bedeutung von menschenrechtsbezogenen Kompetenzen seitens der Evaluierenden besonders hervorgehoben.
Evelyn Funk moderierte die Gesprächsrunde am zweiten virtuellen Tisch mit folgenden Leitfragen: Inwieweit muss im Globalen Süden bei der Beachtung von Menschenrechten in Evaluierung kultursensibel vorgegangen werden? Inwieweit kann und sollte der universale Anspruch der Menschenrechte lokal konkretisiert werden? Die darauffolgende Diskussion konzentrierte sich zuerst auf das Verständnis von Kultursensibilität. Hierbei wurde festgehalten, dass ein Umgang mit Menschenrechten dann kultursensibel ist, wenn aus der Perspektive einer Kultur angemessene Fragen, Formulierungen und Vorgehensweisen für die Evaluierung gewählt werden. So können Menschenrechte ein kultursensibles Framing bekommen, wobei der inhaltliche Kern nicht verändert wird. Zudem müssen die Wertvorstellungen der Evaluierenden reflektiert und nach außen transparent gemacht werden. Außerdem wurde diskutiert, dass konkrete Strategien für einen kultursensiblen Umgang mit Menschenrechten mit Gutachtenden-Tandems entwickelt werden sollten. Gutachtende sollten eine Kulturexpertise mitbringen und ein kultursensibles Framing/Wording beachten. Zudem sollten regionale Menschenrechtskonventionen berücksichtigt und Partnerorganisationen sowie Stakeholder und Rechteinhaber*innen angemessen miteinbezogen werden
Am dritten virtuellen Tisch diskutierten die Teilnehmenden unter der Moderation von Steffen Schimko die folgenden Fragen: Wie können wir mit einer potenziellen Überfrachtung von Evaluationen umgehen, wenn neben den Fragen zu den OECD/DAC-Kriterien noch Querschnittsthemen wie SDG, Menschenrechte, Gender, Inklusion oder ökologische Aspekte beachtet werden sollen? Welche Möglichkeiten für einen Umgang mit diesen Herausforderungen gibt es? Die Diskussion zu diesen Fragen zeigte die Bedeutung der Terms of Reference für eine Evaluierung auf, in denen der Auftrag deutlich gemacht werden muss. Die Verantwortung für eine Fokussierung und Schwerpunktsetzung (im Rahmen der Vorgaben der Mittelgebenden) liegt dabei v.a. bei den Auftraggeberinnen und Auftraggebern. Menschenrechte können hier als Referenzrahmen dienen, da diese bereits viele gängige Querschnittsthemen miteinbeziehen.
11:15 – 12:15 Uhr Evaluation von Menschenrechtsprojekten: Die Förderbereichsevaluierungen Menschenrechte der kirchlichen Träger
In ihrem gemeinsamen Vortrag präsentierten Friederike Subklew-Sehume (Brot für die Welt) und Michael Steinfelder (Misereor) die Förderbereichsevaluationen ihrer beiden Organisationen zum Thema Menschenrechte. Hierbei fokussierten die Referierenden sich auf den Prozess, die zugrunde liegenden Wirkungsmodelle, die methodischen Aspekte der Evaluation von Menschenrechtsprojekten sowie auf die Schritte der Organisationen, um die Verbreitung der Ergebnisse und das Lernen zu fördern. Dabei wurden Gemeinsamkeiten und Unterschiede bei der Vorgehensweise der beiden Organisationen dargestellt und erörtert Ein für beide Organisationen wichtiges Thema war beispielweise die Verbreitung der Ergebnisse und das Lernen aus der Evaluation, jedoch unterschieden sich die Herangehensweisen u.a. dadurch, dass auf der einen Seite mit Lern-Teams aus Mitgliedern verschiedener Hauptabteilungen gearbeitet wurde und auf der anderen Seite durch und mit Workshops gemeinsam mit Partnerorganisationen.
12:15 – 13:00 Uhr Bewertung und Impulse: Perspektiven auf die Tagung
In der die Frühjahrstagung abschließenden Podiumsdiskussion unter der Moderation von Susanne von Jan (Sprecherin AK-Epol-HuHi, smep-consult) bewerteten die Teilnehmenden die diesjährigen Frühjahrstagung abschließend und gaben Impulse für die weitere Arbeit. Mit Michael Herbst (CBM), Jonas Schubert (TDH, Forum Menschenrechte) und Justine Hunter (freie Evaluatorin) als Podiumsteilnehmende konnten verschiedene Perspektiven in die abschließende Diskussion eingebracht werden. In der Diskussion wurde positiv bemerkt, dass durch die Tagung verschiedene Communities zusammengebracht wurden, z.B. Experten für Menschenrechte mit Evaluierenden und dass ein engerer Kontakt für beide Seiten gewinnbringend wäre. Zudem zeigte sich ein Podiumsteilnehmer überrascht, dass das Thema Menschenrechte und menschenrechts-basierte Ansätze in Evaluierung noch relativ neu zu sein scheine. Hinsichtlich der Impulse wurde empfohlen, in Evaluierungen keinen zu technokratischen Blick auf Menschenrechte zu werfen und über Indikatoren nicht zu sehr in ein Schema-Denken zu verfallen. In diesem Kontext wurde auch die Nutzung von Proxy-Indikatoren angeregt. Weiterhin wurde hinsichtlich vulnerabler Gruppen darauf hingewiesen, dass es hier nicht nur darum gehen dürfe, Personen nicht auszuschließen, sondern eine aufholende Entwicklung zu ermöglichen. Schließlich ist sowohl das Prinzip der Nicht-Diskriminierung, als auch die generelle Einbindung von benachteiligten Menschen ist für eine menschenrechtsbasierte Evaluation von enormer Wichtigkeit, um die Diversität und Qualität von Evaluationen zu fördern.
13:00 – 13:15 Verabschiedung und Ende der Tagung
Treffen des AK Epol/HuHi bei der 23. DeGEval-Jahrestagung 2020
Bei der ersten virtuellen Jahrestagung der DeGEval konnte auch der AK Epol/HuHi ein virtuelles AK-Treffen mit spannenden Themen abhalten. Nach einer kurzen Begrüßung und dem Programmpunkt „Neues aus den Institutionen“ stand das „Update zur BMZ-Orientierungslinie der Evaluierungskriterien“ auf der Agenda.
Hierbei präsentierten Berthold Hoffmann (BMZ) und Martin Noltze (DEval) den aktuellen Stand der Orientierungslinie der Evaluierungskriterien und gaben einen Überblick über den Umgang des BMZ mit den Kommentaren von VENRO, den deutschen EZ-Evaluierungseinheiten sowie dem AK Epol/HuHi der DeGEval (s. Präsentation).
Daraufhin berichtete das Sprecher:innen-Team des AK Epol/HuHi zum Stand der Planung der Frühjahrstagung 2020. Im Rahmen der Tagung wird das Thema „Evaluation und Menschenrechte“ bearbeitet. Diese wird am 24. und 25. Juni im Uni-Club in Bonn stattfinden und gemeinsam mit DEval und dem Deutschen Institut für Menschenrechte (DIMR) ausgerichtet.
Im Anschluss wurden die AGs „Gütekriterien für Monitoring“ und „Remote Evaluierung“ vorgestellt und zum Mitmachen eingeladen. Bernward Causemann stellte die AG „Gütekriterien für Monitoring“ vor und gab einen kurzen Überblick über den aktuellen Stand. Birgit Laue stellte anschließend die AG „Remote Evaluierung“ und erste Arbeitsergebnisse vor. Beide AGs haben sich bereits mehrmals getroffen. Personen, die gerne bei den AGs mitwirken möchten, sind herzlich eingeladen sich bei den Koordinator:innen zu melden (gerne per Mail an das Sprecher:innen-Team des AK, wir leiten das dann weiter).
Des Weiteren stellte Nikolai Hergt das Austauschformat „Evaluator:innen unter sich“ vor. Dies ist ein offenes Austauschformat für alle Personen, die selbst Evaluationen durchführen. Die Treffen finden ca. alle 2 Monate statt und es gibt eine LinkedIn-Gruppe zum Thema. Die Termine für die Treffen werden im Newsletter des AK veröffentlicht.
Das AK-Treffen endete mit dem Programmpunkt „Verschiedenes“, hier wurde unter anderem über Möglichkeiten der CO2-Einsparung im Kontext von Evaluierungen (z.B. durch remote-Verfahren) gesprochen.
Evidenzbasierte internationale Zusammenarbeit in Zeiten der Corona-Pandemie
Dokumentation zur virtuellen Veranstaltung DEval/AK Epol/HuHi am 03.06.2020 von 10:00 bis 12:00 Uhr
Mit der Ausbreitung der Corona-Pandemie in Entwicklungs- und Schwellenländern steht die internationale Gemeinschaft vor neuen globalen Herausforderungen. Viele der in der Entwicklungszusammenarbeit, humanitären Hilfe und Stabilisierung tätigen Organisationen haben Maßnahmen ergriffen, um die negativen Folgen der Pandemie in den betroffenen Ländern einzudämmen. Vor diesem Hintergrund ergeben sich auch neue Rahmenbedingungen für die Evaluierung in der EZ und humanitären Hilfe. Auf der einen Seite steht Evaluierung vor der Aufgabe Evidenz für eine wirksame Gestaltung der Maßnahmen bereitzustellen, gleichzeitig ergeben sich weitreichende Konsequenzen für die Umsetzung von Evaluierungen - sowohl für die inhaltliche und methodische Ausrichtung, als auch aus ethischen und finanziellen Gesichtspunkten.
Die Veranstaltung zielte darauf ab, konkrete Auswirkungen von COVID-19 auf die Evaluierung in der Entwicklungszusammenarbeit, humanitären Hilfe und Stabilisierung aus unterschiedlichen Perspektiven zu beleuchten und mit einem breiten Publikum zu diskutieren. Eingeladen waren Vertreter:innen aus Ministerien, staatlichen Durchführungsorganisationen, Wissenschaft, nicht staatlicher Zusammenarbeit und Evaluator:innen, die in Kurzvorträgen auf folgende Fragestellungen eingingen:
- Welche inhaltlichen Veränderungen bzw. Verschiebungen von Prioritäten ergeben sich für die Arbeit in der EZ, humanitären Hilfe und Stabilisierung aufgrund der Corona-Pandemie?
- Welche Auswirkungen haben diese Veränderungen auf die Umsetzung von (laufenden und geplanten) Evaluierungen?
- Gibt es gute/innovative Beispiele für die Durchführung von Evaluierungen vor dem Hintergrund der Corona-Pandemie?
Den Auftakt machte Daniel Ramge, Referatsleiter S 06 (Evaluierung) im Auswärtigen Amt, der auf die Veränderungen bei Evaluierungen in der humanitären Hilfe und Stabilisierung einging. Nachfolgend berichtete Claudia Gottmann, Referentin Ref. 105 (Evaluierung und Ressortforschung, DEval, DIE) im Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) zu den Auswirkungen der Pandemie auf die Evaluierungen in der staatlichen Entwicklungszusammenarbeit.
Die Sichtweise der Wissenschaft wurde von Jörg Faust, Direktor des Deutschen Evaluierungsinstituts der Entwicklungszusammenarbeit (DEval) vertreten, der sowohl über Anpassungen bei laufenden Evaluierungen des DEval als auch über die Aktivitäten in der internationalen Evaluierungscommunity berichtete.
Anschließend stellte Jochen Kluve, Head of Evaluation der KfW Entwicklungsbank, als Vertreter einer der großen Durchführungsorganisationen die Veränderungen und Reaktionen auf COVID-19 im Evaluierungssystem der KfW Entwicklungsbank vor. Für die nichtstaatliche Entwicklungszusammenarbeit berichteten Kirsten Wienberg, Sprecherin VENRO AG Wirkungsorientierung und Klaus Heinle, Leiter L4 Evaluierung in der Hanns-Seidel-Stiftung, über die Herausforderungen, welche die Pandemie für Evaluierungen der Nichtregierungsorganisationen und bei der politischen Hanns-Seidel-Stiftung mit sich bringt. Den Abschluss bildeten die Vorträge von Michael Lieckefett, Evaluation Manager bei Particip GmbH, und Marie-Carin von Gumppenberg, freie Gutachterin, die als Auftragnehmende und Durchführende von Evaluierungen über konkrete Erfahrungen in der Umsetzung von Evaluierungen in Zeiten der Pandemie berichteten.
Die Teilnehmenden der Veranstaltung hatten die Möglichkeit über den Chat Rückfragen an die Vortragenden zu stellen. Zu jedem Vortrag wurde eine Frage ausgewählt, die direkt beantwortet wurde, die anderen Fragen wurden nachträglich von den Vortragenden schriftlich bearbeitet. Die vollständige Dokumentation der Fragen und Antworten kann hier nachgelesen werden.
Frühjahrstagung 2020 des Arbeitskreises Entwicklungspolitik und Humanitäre Hilfe
Im Folgenden finden Sie eine kurze Zusammenfassung der Frühjahrstagung 2020 des AK Entwicklungspolitik und Humanitäre Hilfe.
Am 5. und 6. März 2020 fand in Bonn die Frühjahrstagung statt, welche vom Deutschen Akademischen Austauschdienst (DAAD) ausgerichtet wurde.
Donnerstag, 5. März 2020
Christiane Schmeken (DAAD) sowie der Sprecher des AK Epol/HuHi, Thorsten Bär (World Vision), begrüßten zunächst die Teilnehmenden der Frühjahrstagung.
10:20 - 11:00 Uhr: The frontier of Monitoring for development and humanitarian goals
Masahiro Igarashi (UNEG/FAO) gab in seinem Vortrag einen Überblick über wichtige Aspekte eines qualitativ hochwertigen Monitoringansatzes. Er wies darauf hin, dass im Monitoring sowohl qualitative als auch quantitative Informationen erhoben werden müssen. Zudem sollten Wechselbeziehungen zwischen Maßnahmen, Ergebnissen, Wirkungen sowie anderen verbundenen Faktoren im Blick gehalten werden. Dabei sei es wichtig, den dynamischen Wandel eines Kontextes zu monitoren. Monitoring sollte in Wissensmanagementsprozesse eingebettet sein. Ein erfolgreiches Monitoringsystem ist nach Igarashi eine Grundvoraussetzung eines Adaptive-Programming-Ansatzes, welcher auch verschiedene Risikoszenarien miteinbezieht.
11:00 - 12:30 Uhr: Gruppenarbeit „Posterzeit“
Anschließend an den ersten Vortrag erarbeiteten die Teilnehmenden in interaktiver Gruppenarbeit Poster zu Gütekriterien, Standards und Anforderungen an Monitoring. Diese wurden zuerst getrennt von den Gruppen der Gutachtenden und Auftraggeber erarbeitet. Im Anschluss präsentierten die Gruppen sich gegenseitig in Kurzvorträgen die Ergebnisse.
14:00 - 14:45 Uhr: Wie digitales Denken als methodischer Ansatz das heutige Projektmonitoring verbessert
Felipe Isidor Serrano und Olaf Haasner von MainLevel präsentierten in ihrem Vortrag, inwiefern die Kluft zwischen Anspruch und Realität von Projektmonitoring mit der Theorie des digitalen Denkens zu verringern ist. Gemäß den Referierenden kann digitales Denken die in der Projektarbeit häufig fehlenden Verknüpfungen zwischen Indikatoren und Daten verbinden. Indem die Datenstruktur mitbedacht wird, werden die Indikatoren operationalisierbar. Durch den Aufbau eines digitalen Monitoringsystems kann zudem erreicht werden, die Datenstrukturen für das Projektmonitoring aufzubauen und die benötigten Daten für jeweilige Indikatoren im Voraus zu bestimmen. Zudem können über digitale Tools (z. B. Dashboards) jederzeit Auswertungen der Indikatoren mit den bereits vorhandenen Daten umgesetzt werden.
14:45 - 15:30 Uhr: Wissensmanagement: Grundlagen, Tipps und Maximen
Ulrich Schmidt von der Gesellschaft für Zwischenlagerung (BGZ) beleuchtete in seinem Vortrag verschiedene Ansätze und Perspektiven auf die Konzeption und Realisierung von Wissensmanagement. In seinem Vortrag präsentierte Schmidt sieben Leitlinien für einen erfolgreichen Umgang mit Wissen und erläuterte beispielsweise, dass Wissen immer an den Menschen gebunden ist, ohne den aktiven Menschen wird nur Information gemanagt. In einer Zusammenfassung nannte er zwei verschiedene Ansätze zur Umsetzung von Wissensmanagement: Wissen einerseits verstanden als Erkenntnisstand und andererseits im Sinne eines Lösungswegs. Die sieben Leitlinien sollen darüber hinaus dazu dienen, eine wissensorientierte Unternehmensorganisation zu ermöglichen.
16:00 - 16:45 Uhr: Wirkungsorientiertes Monitoring auf institutioneller Ebene – Herausforderungen und Lösungsansätze
Ruth Fuchs, Daniel Lechner und Mareike Fehling vom Deutschen Akademischen Austauschdienst (DAAD) legten in ihrer Präsentation dar, welche Kernelemente das institutionelle wirkungsorientierte Monitoring im DAAD ausmachen und inwiefern ein Mehrwert in diesem zu finden ist. Die Referierenden haben die verschiedenen Prozessschritte dargestellt von der Ausgangssituation bis hin zur Projektkonzeption und einem Ausblick über nächste Schritte und Herausforderungen. Da es sich um einen komplexen Veränderungsprozess auf Ebene der Gesamtorganisation handelt, ist beispielweise eine klare Steuerungsstruktur von Nöten. Ebenso sind passgenaue IT-Lösungen von großer Wichtigkeit für den Erfolg des M&E-Systems.
16:45 - 18:00 Uhr: Monitoring im Realitätscheck: Zwischen Anspruch und Umsetzbarkeit
In einer von Susanne von Jan (Sprecherin des AK Epol/HuHi) geführten Fishbowl-Diskussion wurden die wichtigsten Aspekte des ersten Tages zusammengetragen und mit dem Plenum diskutiert. Es wurden insgesamt 3 Fragen gestellt, zu denen sich die Teilnehmenden positionieren konnten. Die Fragen richteten sich an (1) die Rolle von qualitativen Daten im Monitoring, (2) die Rechtzeitigkeit qualitativ hochwertiger Daten und (3) die Möglichkeit, Empowerment der Zielgruppen durch das Monitoring selbst zu ermöglichen. So wurde unter anderem festgestellt, dass durch einen Fokus auf qualitative Daten ein stärkerer Bezug zur Projekt- und Feldebene hergestellt werden kann und Narrative beispielsweise für die politische Kommunikation besser genutzt werden können. Wenn es um die Rechtzeitigkeit qualitativ hochwertiger Daten geht, so wurde unter anderem erörtert, dass der Zeitpunkt der Evaluationen entscheidend ist, damit während eines noch laufenden Projekts ggf. Umsteuerungsmaßnahmen greifen können. Als letzter Punkt in der Diskussion wurde erörtert, dass im besten Fall die Fähigkeit der Zielgruppen zur Selbststeuerung durch das Monitoring gefördert wird.
18:00-18:15 Uhr: Ausblick & Organisatorisches
Freitag, 06. März 2020
Um 09:00 Uhr begann der zweite Tagungstag und die Teilnehmenden wurden durch Kirsten Vorwerk, Sprecherin des AK Epol/HuHi (DEval), begrüßt.
09:15 - 10:00 Uhr: Monitoringdaten: Nutzung und Lernen
David Schmid von der GIZ referierte über den Nutzen von Monitoringdaten und zeigte, dass nicht nur die Bereiche Rechenschaft und Steuerung durch Monitoring abgedeckt werden können, sondern insbesondere auch das Lernen. Hierbei muss unterschieden werden, wer zu welchem Zweck lernen soll, was Schmid durch das Aufzeigen von Kompetenz- und Kompetenzstufenmodellen der GIZ verdeutlichte. Darüber hinaus stellte er verschiedene Ansätze zum Lernen aus Monitoringdaten vor, u. a. durch Standardisierung, Digitalisierung, interaktive Lernformate (z. B. auch Blended Learning), strategische Kompetenzentwicklung sowie auch durch agilere Anwendungen (siehe z. B. Prinzipien von Kooperation und Führung).
10:30 – 12:00 Uhr: Werkstattgespräche:
a) Monitoring in der HuHi: Status Quo und Überlegungen für die Zukunft
- Thomas Rottland (CARE): Monitoring im Kontext von humanitärer Hilfe am Beispiel von CARE in Nordwestsyrien
- Moderation: Peter Hermes (Auswärtiges Amt)
b) Tools und Tipps: Erfahrungen zum Aufbau von Monitoring-Kapazitäten
- David Vossebrecher (Rosa Luxemburg-Stiftung): „Mühsam ernährt sich das Eichhörnchen“ - Monitoring-Capacity-Aufbau im ZID
- Britta Gentsch (GFA) und Julia Krömer (Europäische Kommission/GFA): Strengthening EC DEVCO systems for monitoring and reporting
- Moderation: Robert Heine (energypedia-consult)
c) Was kommt nach dem Bericht? Wirkungsmodelle und Monitoring von Evaluierungsarbeit
- Dorothea Giesen-Thole (GIZ): Theorie des Wandels für Evaluierungen der GIZ
- Line Winterhoff (DEval): Wirkungsgefüge als Grundlage für Monitoring-Systeme: Wie kann ein Wirkungsgefüge in der Evaluierung genutzt werden?
- Moderation: Claudia Gottmann (BMZ)
Unter folgendem Link können Sie eine Fotodokumentation der vorgestellten Poster aus diesem Werkstattgespräch einsehen.
12:30 - 13:00 Uhr: Abschluss-Session: Podiumsdiskussion zur Zusammenfassung der Erkenntnisse
In der abschließenden Podiumsdiskussion wurden die zentralen Thesen und Erkenntnisse der Veranstaltung reflektiert und zusammengefasst. Sowohl die Teilnehmenden der Frühjahrstagung, als auch die Podiumsgäste hatten die Möglichkeit unter einer Vielzahl von Schlagworten zentrale Standards und Anforderungen, welche an Monitoring zu stellen sind, auszuwählen.
Die wichtigsten Schlagworte in der Online-Umfrage beim Plenum waren:
• Partizipation
• Angemessenes Aufwand-Nutzen-Verhältnis
• Datenqualität
• Nützlichkeit für das Lernen
• Nützlichkeit für Steuerung
Durch die Podiumsgäste wurden die folgenden Schlagworte ausgewählt: Nützlichkeit, Datenqualität, Pragmatismus, Partizipation und Ethik und Empowerment. Diese wurden dann im Kontext von verschiedenen Positionen - beispielsweise aus Consulting-Perspektive oder aus NRO-Perspektive – erörtert und kontextualisiert.