Über die Evaluationsplattform

Die Online-Evaluationsplattform der Impact Unit

Wissenschaftskommunikation (im Folgenden: Wisskomm) gewinnt immer mehr an Bedeutung. Umso wichtiger ist, dass diese auch bei ihren Zielgruppen ankommt und Wirkung entfaltet. Es stellt sich also die Frage, in welchen Formaten und auf welchen Kanälen besonders effektiv mit wem über wissenschaftlichen Inhalte kommuniziert werden kann. Hierfür spielen Evaluationen eine wichtige Rollen, denn sie ermöglichen es, die Wirkung eines Wisskomm-Projekts genauer zu beleuchten, seine Stärken und Schwächen zu identifizieren und daraus für die Zukunft zu lernen.

Neben anderen Methoden zur Erhebung von Evaluationsdaten wie Interviews oder Beobachtungen bieten Fragebogen die Möglichkeit, standardisiert Daten zu erheben, diese quantitativ auszuwerten und werden daher zur Evaluation von Wisskomm aus Teilnehmenden- oder Publikumssicht viel eingesetzt. Vielen Praktiker*innen in der Wisskomm fehlt es jedoch an der Zeit, den finanziellen Ressourcen oder der methodischen Expertise, gute Fragebogen zu gestalten.

Die Impact Unit, ein Projekt von Wissenschaft im Dialog, gefördert vom Bundesministerium für Bildung und Forschung, hat daher eine kostenfrei nutzbare Online-Evaluationsplattform entwickelt, die Praktiker*innen der Wisskomm Schritt für Schritt durch den Prozess einer standardisierten Befragung von Teilnehmenden führt: vom Entwurf des Fragebogens über die Erhebung der Daten bis hin zu einer ersten deskriptiven Auswertung der Ergebnisse. Um diesen Prozess möglichst effektiv zu gestalten, werden auf der Evaluationsplattform eine Reihe ausgewählter Fragestellungen in Form eines Fragenkatalogs angeboten, die die Perspektive von an Wisskomm-Formaten teilnehmenden Bürger*innen erheben.

Der Fragenkatalog der Evaluationsplattform

Der Fragenkatalog der Evaluationsplattform unterstützt die Nutzer*innen bei der Erstellung ihrer Fragebogen, indem sie auf eine fundierte Auswahl an vorformulierten Fragestellungen zurückgreifen können, die bereits eine möglichst eindeutige und klare Sprache aufweisen, gleichzeitig aber über bewusst generisch gehaltene Formulierungen auch einen breiten Anwendungsbereich (unabhängig von Kontext und Erhebungszeitpunkt der Befragung) ermöglichen. Auf diese Weise können sie einerseits Zeit bei der Formulierung eigener oder Recherche geeigneter Fragestellungen für ihre Befragung einsparen und andererseits von der methodischen Expertise der Impact Unit profitieren. Darüber hinaus haben die Nutzer*innen so die Möglichkeit, die Ergebnisse ihrer Befragungen auf der Evaluationsplattform mit den Befragungsergebnissen ähnlicher Wisskomm-Formate entlang der standardisierten Evaluationsfragen zu vergleichen. So können sie Rückschlüsse darüber ziehen, ob andere Projekte mit vergleichbaren Wisskomm-Formaten mit ähnlichen Herausforderungen konfrontiert waren und wo es noch Potenziale zur Verbesserung des eigenen Projekts gibt.

Bei der Erstellung des Fragenkatalogs standen für die Impact Unit drei wesentliche Kriterien im Vordergrund:

• Über den Fragenkatalog sollen nur solche Fragestellungen angeboten werden, deren Formulierung den Standards quantitativer Sozialforschung etwa hinsichtlich erschöpfender und disjunkter Antwortkategorien oder der Vermeidung von Suggestivfragen so weit wie möglich gerecht wird. Gleichzeitig sollte aber auch Komplexität von Fragestellungen gering gehalten werden, in dem bspw. Itemblöcke nicht zu lang gestaltet wurden, um auch für Selbstevaluationen mit geringem Aufwand geeignet zu sein.

• Inhaltlich soll der Fragenkatalog den thematische Bedarf der Praxis in der Wisskomm nach aussagekräftigen Evaluationen so weitreichend wie möglich abdecken und für alle diese thematischen Bedarfe gut formulierte Fragestellungen zur Verfügung stellen.

• Zentrale Ziele von Wisskomm-Projekten, in denen es oft um eine Wirkung auf die Teilnehmenden geht, sollen mit den im Katalog enthaltenen Fragestellungen möglichst aussagekräftig überprüft werden können. So sollen Rückschlüsse auf potenzielle Wirkungen ermöglicht werden.

Entstehung des Fragekatalogs

Damit der Fragenkatalog diesen Ansprüchen möglichst gerecht werden kann, wurde eine breit angelegte Recherche verschiedener Befragungen durchgeführt, sowohl aus der deutschen als auch internationalen Wisskomm-Landschaft. Hierfür wurden zum einen zahlreiche Fragebogen von Wisskomm-Evaluationen gesichtet, darunter sowohl Selbstevaluationen in der Praxis als auch umfangreiche wissenschaftliche Begleitforschungen. Zum anderen wurden Instrumente zur Erhebung von Einstellungen gegenüber Wissenschaft und Forschung berücksichtigt, die beispielsweise im Kontext bevölkerungsrepräsentativer Surveys zum Einsatz kommen. Gleichzeitig wurden verschiedene konzeptionelle Ansätze herangezogen, die es ermöglichten, die so gesammelten Fragestellungen sinnvoll zu gruppieren und theoriegeleitet zu bestimmen, welche Fragestellungen welchen Evaluationsbedarfen der Wisskomm-Praxis entsprechen. Hierfür konnte unter anderem auf die Erkenntnisse bisheriger Recherchen und Analysen im Rahmen der Impact Unit zurückgegriffen werden:

• Über die im Zuge der Analyse der strategischen Ziele relevanter Akteure für die institutionelle Wissenschaftskommunikation in Deutschland identifizierten vier Zieldimensionen konnte eine erste Strukturierung der recherchierten Fragen und Items vorgenommen werden.

• Die Betrachtung veröffentlichter Evaluationsberichte im deutschsprachigen Raum ermöglichte eine Einschätzung, welche Evaluationsbedarfe es in der deutschen Wisskomm-Landschaft gibt und ob die bisher zusammengetragenen Fragen und Items diese Bedarfe bereits abdecken.

Wo Bedarfslücken identifiziert wurden und auch durch weitere Recherchen keine passenden Fragestellungen identifiziert werden konntenn, wurden auf Grundlage bisheriger Recherchen eigene Formulierungen für Fragen und Items gewählt, die so weit möglich den oben beschriebenen Ansprüchen genügen und diese Lücken füllen. Gleichzeitig mussten manche der ursprünglichen Formulierungen aus der Recherche angepasst werden, um einen zeitlich und kontextuell unabhängigen Einsatz auf der Evaluationsplattform zu ermöglichen. Der daraus hervorgegangene Entwurf des Katalogs wurde daraufhin noch einmal mit Evaluations- und Wisskomm-Expert*innen kritisch diskutiert und angepasst.

Als Resultat bietet die Evaluationsplattform der Impact Unit einen umfangreichen Fragenkatalog an ausgewählten Fragestellungen, die sich maßgeblich sowohl an Standards quantitativer Sozialforschung (etwa hinsichtlich erschöpfender und disjunkter Antwortkategorien oder der Vermeidung von Suggestivfragen) als auch an der Evaluationspraxis in der Wissenschaftskommunikation orientieren. Dabei deckt der Fragenkatalog vier zentrale Bereiche ab, die bei der Befragung von an Wisskomm-Formaten teilnehmenden Bürger*innen regelmäßig von Bedeutung sind:

1. Einstellungen der Teilnehmenden gegenüber Wissenschaft: Evaluationsfragen zu möglichenWirkungen der Wisskomm-Maßnahme bspw. hinsichtlich potentiell gesteigertem Interesse, veränderten Ansichten o. Ä.

2. Bewertung der Inhalte durch die Teilnehmenden: Evaluationsfragen zur Wahrnehmung der behandelten Themen

3. Bewertung des Erlebnisses durch die Teilnehmenden: Evaluationsfragen zur Wahrnehmung der Teilnahmeerfahrung

4. Beschreibung der Teilnehmenden: Evaluationsfragen zur Erfassung von Zielgruppen

Wenngleich diese vor allem theoriegeleitete Kategorisierung der Evaluationsfragen für die Erstellung des Katalogs relevant war und ist, spielt sie bei praktischen Verwendung der Fragen und Items auf der Plattform nur eine untergeordnete Rolle. Stattdessen werden die die Evaluationsfragen hier anhand sogenannter Themenblöcke vorsortiert und mit verschiedenen Befragungsarten und potentiellen Wirkungszielen verknüpft, sodass insbesondere Fragen aus der ersten Dimension (Einstellungen der Teilnehmenden gegenüber Wissenschaft) von der Plattform zielführend vorgeschlagen werden können. Um auch auf die sich womöglich verändernden Bedarfe der Evaluationspraxis zu reagieren, wird der Katalog darüber hinaus stetig weiterentwickelt. Die auf der Evaluationsplattform gegebene Möglichkeit, Katalogfragen anzupassen oder gänzlich neue Fragen zu erstellen, bietet hierfür eine einzigartige Gelegenheit, häufig vorkommende Evaluationsbedarfe von Praktiker*innen zu erfassen und bestimmte Fragen und Items des Katalogs ggf. gezielt anzupassen oder neue Evaluationsfragen in den Katalog aufzunehmen.

Weiterentwicklung der Evaluationsplattform

Mit Blick auf sich potentiell verändernde Bedarfe der Wisskomm-Community hinsichtlich der Evaluation ihrer Projekte wird die Evaluationsplattform darüber hinaus stetig weiterentwickelt. So soll bspw. der Fragenkatalog im weiteren Verlauf um neue Evaluationsfragen erweitert werden. Zum anderen werden neue inhaltliche Dimensionen integriert, die bis dato aus Ressourcen- oder Technikgründen vorerst nicht umgesetzt werden konnten. Dazu zählen bspw. Evaluationsfragen, die auf die Wahrnehmung der veranstaltenden Institution(en) abzielen oder eine noch genauere Identifikation der Teilnehmenden ermöglichen, insbesondere mit Blick sogenannte schwer erreichbare Zielgruppen. So soll sich der Fragenkatalog - wie auch die Evaluationsplattform im Ganzen - den Bedarfen der Wisskomm-Community hinsichtlich der Evaluation von Wisskomm-Formaten stetig anpassen, um fortwährend zu einer noch besseren Evaluationspraxis in der deutschen Wissenschaftskommunikation beizutragen.