TAXONOMIE DER EVALUATION
NACH STANDARDS
WAS IST EINE TAXONOMIE?
Es gibt eine breite Palette von Modellen in der PR- und Kommunikationsevaluierung mit einem breiten Spektrum von Begriffen, einschließlich Inputs, Outputs, Outtakes, Outflows, Outgrowths, Effekte, Ergebnisse und Auswirkungen. Für jede Stufe wird ein noch breiteres Spektrum an Metriken und Bewertungsmethoden vorgeschlagen. Das Feld ist für viele Praktizierende verwirrend.
Diese Seite präsentiert eine auf strategische öffentliche Kommunikation zugeschnittene Taxonomie der Evaluation – eine Taxonomie ist eine Kartierung eines Feldes mit dem Ziel eine Kategorisierung von Konzepten und Begriffen zu schaffen – um zu zeigen, wie die Dinge liegen und wo sie zueinander passen. Diese Taxonomie identifiziert:
- Die wichtigsten Stadien der Kommunikation (wie Inputs, Outputs, etc.);
- Die wichtigsten Schritte in jedem Stadium (wie die Verbreitung von Informationen, Rezeption durch das Publikum, etc.);
- Beispiele für Metriken und Wegmarken, die in jeder Phase als Teil der Evaluation generiert oder identifiziert werden können; und
- Die am häufigsten verwendeten Methoden zur Erstellung dieser Metriken und Wegmarken.
Eine Taxonomie ist nicht das Gleiche wie ein Modell, da eine Taxonomie versucht, ALLE Hauptkonzepte, Begriffe, Metriken, Methoden usw. in einem Feld aufzulisten, während ein Modell die Abbildung eines spezifischen Programms oder einer Handlung, die in der Praxis angewendet werden soll, ist. Allerdings sollten Modelle auf den Konzepten und Methoden basieren, die im entsprechenden Feld als legitim identifiziert und angewandt werden.
Ein wichtiger Nutzen einer Taxonomie ist, dass sie Konzepte, Metriken, Methoden usw. an ihre richtige Stelle stellt – z. B. vermeidet sie, dass Output-Metriken mit Outcome-Metriken verwechselt werden. Die Autoren des weit verbreiteten PR-Texts Effective Public Relations, Cutlip, Center und Broom haben in den Ausgaben von 1985 bis Ende der 2000er Jahre wiederholt festgestellt, dass “der verbreitete Fehler bei der Programm Evaluierung ist das Ersetzen von Maßnahmen einer Ebene mit denen einer anderen Ebene” (1985, S. 295; 1994, S. 44; Broom, 2009, S. 358). Der emeritierte Professor für Öffentlichkeitsarbeit Jim Grunig erklärt auf ähnliche Weise, dass viele Praktizierende “eine auf einer Analyseebene gesammelte Metrik verwenden, um ein Ergebnis auf einer höheren Ebene der Analyse zu zeigen” (2008, S. 89). PR und strategische Kommunikation sind dabei nicht allein. Der weit verbreitete Leitfaden für Pogrammlogikmodelle für die Evaluation der Universität Wisconsin (UWEX) sagt zum Beispiel, dass “Menschen oft mit dem Unterschied zwischen Outputs und Outcomes kämpfen” (Taylor-Power & Henert, 2008, S. 19).
Eine Taxonomie ist niemals vollständig, aber die hier Vorgestellte stützt sich auf eine breite Palette von Forschungsstudien, die so umfassend wie möglich sind (siehe “Einführung in das AMEC Integrated Framework für Evaluation” für Einzelheiten des Ursprungs und der Grundlage dieser Taxonomie und des Rahmens selbst).
ANMERKUNGEN ZUR NUTZUNG DIESER TAXONOMIE
- Die wichtigsten Schritte, Metriken, Wegmarken und Methoden sind nicht erschöpfend. Auch sind nicht alle in jedem Programm erforderlich. Sie sind ein Indikator für gemeinsame und typische Ansätze in der Evaluation öffentlicher Kommunikation wie Werbung, Öffentlichkeitsarbeit, Marketingkommunikation usw. Praktiker sollten relevante Metriken und Wegmarken und Methoden auswählen und im Idealfall mindestens eine Wahl auf jeder Stufe treffen.
- Die Anordnung von Inputs, Aktivitäten, Outputs usw. sollte nicht als einfacher linearer Prozess interpretiert werden. Feedback von jeder Stufe sollte angewendet werden, um Anpassungen und Feinabstimmungen vorzunehmen, und Strategie und Taktik zu ändern wenn nötig. Evaluation ist ein iterativer Prozess.
- Nicht jede Evaluation kann Impact zeigen, insbesondere wenn sie innerhalb einer relativ kurzen Zeitspanne nach der Kommunikation stattfindet. Impact tritt oft mehrere Jahre nach der Kommunikation auf. Zudem ist das Ziel öffentlicher Kommunikation häufig ein Bewusstsein zu schaffen (Outtake oder kurzfristiges Outcome) oder Vertrauen aufzubauen (ein Zwischen-Outcome) [xii]. Allerdings sollte die Evaluierung grundsätzlich weit über Outtakes und Outcomes hinausgehen. Evaluierung sollte mindestens Outcomes identifizieren und bennen, und wenn möglich, auch Impact ausweisen.
- Ein wichtiges Merkmal dieser Taxonomie ist, dass Impact Organisations-, Stakeholder- und gesellschaftliche Impacts/Outcomes beinhalt. Dies ist an Programmevaluationstheorie und Programmlogikmodellen (e.g., Kellogg Foundation, 1998/2004; Taylor-Power & Henert, 2008; Wholey, 1979; Wholey, Hatry, & Newcomer, 2010) und an der Excellence Theory of PR ausgerichtet, die dafür eintritt, dass alle Evaluation auf (a) Programmebene; (2) Funktionsebene (e.g., Bereich oder Abteilung); (3) Organisationsebene; and (4) Gesellschaftsebene (L. Grunig, J. Grunig & Dozier, 2002, pp. 91–92) durchgeführt wird.
Von Professor Jim Macnamara für AMEC entwickelt.
| STUFEN MACRO-EBENE | INPUTS2 | AKTIVITÄTEN | OUTPUTS | OUT-TAKES3 | OUTCOMES4 | IMPACTS5 |
|---|---|---|---|---|---|---|
| Kurzdefinition | Was Sie zur Vorbereitung der Kommunikation brauchen | Dinge, die Sie tun, um Ihre Kommunikation zu planen und umzusetzen | Was sie produzieren, das von Zielgruppen empfangen wird | Was das Publikum mit Ihrer Kommunikation tut und daraus mitnimmt | Auswirkungen, die Ihre Kommunikation auf das Publikum hat | Die Ergebnisse, die ganz oder teilweise durch Ihre Kommunikation verursacht werden |
| SCHLÜSSEL-SCHRITTE MESO-LEVEL | • Ziele • Budget • Ressouren (z.B. Personal, Agenturen, Einrichtungen, Partnerschaften) | • Formative Untersuchung • Planung7 • Produktion (z.B. Design, Schreiben, Medienkauf, Medienbeziehungen, Medienpartnerschaften, etc.) | • Distribution • Exposure • Rezeption8 | • Aufmerksamkeit • Bewusstsein • Verständnis • Interesse/Gefallen • Engagement • Partizipation • Erwägung | • Lernen/ Wissen9 • Einstellungs-änderung • Zufriedenheit • Vertrauen • Vorliebe • Intention • Befürwortung | • Reputation • Beziehungen • Compliance/befolgende Handlungen • Organisationswandel • Öffentlicher/sozialer Wandel |
| BEISPIELE METRIKEN & WEGMARKEN
MICRO-LEVEL | • SMART Ziele • Ziele/KPIs | • Baselines/ Benchmarks (z.B. derzeitige Aufmerksamkeit) • Zielgruppenbedürfnisse, Präferenzen, etc. • Strategischer Plan • Bewertungsplan • Vorabtestdaten (z.B. kreative Konzepte) • Produzierte Inhalte (z.B. Prreseerklärungen, Websites) • Medienbeziehungen | • Publicity-Volumen • Medienreichweite • Impressions/OTS • Share of Voice • Tonalität/ Stimmung/Günstigkeit • Platzierte Nachrichten • Posts, Tweets, etc. • Werbungs TARPs • E-marketing Volumen • CPM • Click-Throughs • Zahl der Veranstaltungsteilnehmer | • Unique Visitors • Views • Response (z.B. Follows, Likes, Tags, Shares, Retweets) • Wiederkehrende Besuche/Views • Recall (ohne Hilfe, unterstützt) • Positive Kommentare • Positive Antworten in Umfragen, etc. • Abonnenten (z.B. RSS, Newsletter) • Anfragen | • Botschafts-akzeptanz • Vertrauensstufen • Unterstützungs-bekundung oder -absicht • Leads • Registrierungen (z.B. Organspenderliste) • Markenvorliebe • Testen • Beitreten • Bekräftigen (z.B. Mitarbeiterzufriedenheit) | • Öffentlich-keit/Unterstützung • Ziele erreichen (z.B. Blutspenden; Krebs Screening-Mitgliedschaft etc.) • Umsatzsteigerung • Spendensteigerung • Kosteneinsparung • Mitarbeiterbindung • Kundenbindung/ Loyalität • Lebensqualität / erhöhen des Wohlbefindens |
| METHODEN OF EVALUATION | • Interne Analyse • Environmental Scanning • Machbarkeitsanalyse • Risikoanalyse | • Metadatenanalyse (z.B. vorangegangene Forschung und Metriken) • Markt/Publikums- Forschung (z.B. Umfragen, Fokusgruppen, Interviews) • Stakeholder-Beratung • Fallstudien (z.B. Best Practice) • SWOT Analyse (oder PEST, PESTLE, etc.) • Pre-Test Panels • Peer Review / Expertenbericht | • Medienkenmetriken (z.B. Zuschauerstatistik, Impressions, CPM) • Media-Monitoring • Medieninhaltsanalyse (quant) • Medieninhaltsanalyse (qual) • Social Media Analyse (quant and qual) • Tätigkeitsberichte (z.B. Events, Sponsorships) | • Web Statistiken (z.B. Views, Downloads) • Social Media Analyse (qual – z.B. Kommentare) • Feedback (z.B. Kommentare, Zuschriften) • Ethnographie10 (observation) • Netnography11 (online Ethnographie) • Publikumsbefragungen (z.B.zu Wahrnehmung, Verständnis, Interesse, Meinung) • Fokusguppe (wie oben) • Interviews (wie oben) | • Social Media Analyse (qual) • Datenbankstatistik (z.B. Anfrageverfolgung, Identifizierung von Quellen) • Ethnographie (Observation) • Netnographie (Online Ethnographie) • Meinungsumfragen • Stakeholderumfragen (z.B. zu Zufriedenheit, Vertrauen) • Fokusgruppen (siehe oben) • Interviews (siehe oben) • Net Promoter Score (NPS)12 | • Datenbankeinträge (z.B. Blutspenden, Gesundheitsresultate, Mitgliedschaft, etc.) • Verkaufsverfolgung • Spendenverfolgung • CRM Daten • Mitarbeiterbefragungsdaten • Reputationsstudien • Kosten-Nutzen-Analyse / Nutzen-Kosten-Verhältnis • ROI (wenn es finanzielle Ziele sind) • Ökonometrie13 • Lebensqualitätsskalen & Wohlbefindensmaßnahmen |
UNTERSTÜTZENDE FUSSNOTEN FÜR DIE TAXONOMIE DER EVALUATION
- Vertrauen wird als Zwischen-Outcome angesehen, weil es angestrebt wird, um eine längerfristige Wirkung zu erzielen, wie zum Beispiel als Regierung gewählt zu werden, Kunden, dauerhaft an ein Unternehmen zu binden usw., es ist kein Sebstzweck.
- Einige Programmlogikmodelle bezeichnen diese erste Stufe als Inputs/Ressourcen.
- Fortgeschrittene Outtakes überschneiden sich mit, oder können deckungsgleich mit den kurzfristigen Outcomes sein. Deshalb verwenden die am häufigsten eingesetzten Programmlogikmodelle Outtakes nicht als Stufe. Outtakes und Outcomes können kognitiv und/oder affektiv (emotional) und/oder konativ (behavioral) sein.
- Langfristige Ergebnisse überschneiden sich mit und werden manchmal als deckungsgleich mit Impacts gesehen .
- Impacts werden oft nur in Bezug auf die Organisation bewertet. Allerdings sollten, wie in der Einleitung erwähnt, die Impacts auf die Akteure, die Öffentlichkeit und die Gesellschaft als Ganzes betrachtet werden. Dies ist für Regierungs-, Nichtregierungs- und Non-Profit-Organisationen, die auf das öffentliche Interesse ausgerichtet sind, von zentraler Bedeutung. Aber auch Impacts auf die Stakeholder und die Gesellschaft beeinflussen und prägen das Umfeld, in dem Unternehmen tätig sind (d.h. diese Evaluatuion ist Teil des Environmental Scannings, der Zielgruppenforschung und der Marktforschung, die zukünftige Planung unterfüttern soll).
- In vielen Fällen ist die Verursachung sehr schwierig, vor allem, wenn mehrere Einflüsse zur Wirkung beitragen (Ergebnisse), wie dies häufig der Fall ist. Die drei Hauptregelungen der Kausalität müssen angewandt werden: a) die behauptete Ursache muss der behaupteten Wirkung vorausgehen; (B) es muss eine klare Beziehung zwischen der behaupteten Ursache und Wirkung bestehen (z. B. muss es Beweise dafür geben, dass das Publikum auf die von Ihnen zur Verfügung gestellten und verwendeten Informationen zugreift); Und (c) andere mögliche Ursachen müssen so weit wie möglich ausgeschlossen werden.
- Einige enthalten Planung in Inputs. Wenn dies jedoch auftritt, muss auch die formative Untersuchung (die der Planung vorausgehen sollte) in die Inputs mit einbezogen werden. Jedoch identifizieren die meisten Programmbewertungsmodelle formative Untersuchung und Planung als Schlüsselaktivitäten, die als Teil des Kommunikationsprogramms durchgeführt werden sollen. Inputs gehen Kampagne/Programm in der Regel vorraus.
- Rezeption bezieht sich darauf, welche Informationen oder Botschaften von der Zielgruppe empfangen werden und unterscheidet sich geringfügig von Exposure. Zum Beispiel könnte ein Publikum durch konsumierte Medien Zugang (Exposure) zu einer Geschichte haben, diese aber überspringen und die Informationen somit nicht erhalten. Ebenso können sie an einem Ereignis, wie einer Messe, teilnehmen und dessen Inhalt ausgesetzt sein, aber keine Informationen oder Nachrichten empfangen (z. B. durch Unaufmerksamkeit oder Auswahl von Inhalten, auf die sie sich konzentrieren).
- Lernen (d.h. Erwerb von Wissen) ist nicht in allen Fällen erforderlich. Doch in einigen Kampagnen und Projekte öffentlicher Kommunikation ist es das. Gesundheits-Kampagnen zur Förderung Calcium-reicher Nahrung und Ergänzungmittel zur Verringerung der Osteoporose bei Frauen haben beispielsweise festgestellt, dass Frauen zunächst zu Osteoporose „gebildet“ (was es ist, seine Ursachen, etc.) werden mussten. Ähnlich, erfordert auch die Bekämpfung von Fettleibigkeit Bildung hinsichtlich Ernährung. Während sich Verständnis auf das Verstehen mitgeteilter Nachrichten bezieht, bezieht sich Lernen auf den Erwerb tieferer oder umfassenderer Kenntnisse, die zur Erreichung von Zielen notwendig sind.
- Ethnographie ist eine Forschungsmethode auf der Grundlage intensiver Beobachtungen aus erster Hand über einen längeren Zeitraum, oft ergänzt durch Interviews und andere Forschungsmethoden.
- Netnography ist Online-Ethnographie, in der Online-Nutzer eng überwacht werden, um Verhaltensmuster, Einstellungen, etc. über ihre Kommentare, Klick-Trails und andere digitale Metriken zu identifizieren.
- Net Promoter Score ist eine Punktzahl, von 1 bis 10, basierend auf einer einzigen Frage: „Wie wahrscheinlich ist es, dass Sie [Marke] einem Freund oder Kollegen empfehlen würden?“ Personen, die 0-6 angeben, gelten als „böse Zungen“/unzufrieden; 7-8 werden als zufrieden, aber unenthusiastisch eingeordnet; 9-10 sind treue Enthusiasten, Anhänger und Befürworter. (Siehe https://www.netpromoter.com/know)
- Ökonometrie ist die Anwendung von Mathematik und statistischen Methoden, um Hypothesen zu testen und die ökonomischen Beziehungen zwischen Faktoren auf der Grundlage empirischer Daten zu identifizieren (Siehe http://www.dummies.com/how-to/content/econometrics-for-dummies-cheat-sheet.html)
ABKÜRZUNGEN
CPM Cost per thousand (Kosten pro Tausend; mille = Latein für Tausend)
CRM Customer relationship management (Daten werden für Gewöhnlich in CRM Datenbanken gespeichert)
KPI Key Performance Indicator (see http://www.ap-institute.com/what-is-a-key-performance-indicator.aspx
OTS Opportunities to see („Gelegenheiten zu sehen“, normalerweise auf die gleiche Art berechnet wie „impressions“)
PEST Ein Bewertungsrahmen, der „political” (politische), „economic” (ökonomische), „social” (soziale), „technological” (technologische) Faktoren untersucht
PESTLE Ein Bewertungsrahmen, der „political” (politische), „economic” (ökonomische), „social” (soziale), „technological” (technologische), „legal” (rechtliche) und „environmental” (umweltbezogene) Faktoren untersucht (auch als PESTEL bezeichnet) (siehe http://pestleanalysis.com/how-to-do-a-swot-analysis)
ROI Return on investment
SMART Bezieht sich auf Ziele, die „specific” (spezifisch), „measureable” (messbar), „achievable” (erreichbar), „relevant” (relevant, d.h. mit organisationsbezogenen Zielen verknüpft) und „time-bound” (zeitgebunden, d.h. innerhalb einer spezifizierten Zeitspanne) sind
SWOT Strategische Planungsmethode die „strengths” (Stärken), „weaknesses” (Schwächen), „opportunities” (Chancen), „threats” (Bedrohungen) untersucht
TARPs Target Audience Ratings Points basierend auf einem Messsystem, dass in der Werbung zum Einsatz kommt (siehe http://www.multimediabuying.com.au/faq)
UWEX University of Wisconsin Extension program (siehe Taylor-Power & Henert, 2008)
QUELLEN & WEITERE INFORMATION
Broom, G. (2009). Cutlip & Center’s effective public relations (10th ed.). Upper Saddle River, NJ: Pearson.
Cutlip, S., Center, A., & Broom, G. (1985). Effective public relations (6th ed.). Englewood Cliffs, NJ: Prentice Hall.
Cutlip, S., Center, A., & Broom, G. (1994). Effective public relations (7th ed). Upper Saddle River, NJ: Prentice Hall.
Grunig, J. (2008). Conceptualizing quantitative research in public relations. In B. van Ruler, A. Tkalac Verĉiĉ, & D. Verĉiĉ (Eds.), Public relations metrics: research and evaluation (pp. 88–119). New York, NY: Routledge.
Grunig, L., Grunig J., & Dozier, D. (2002). Excellent organizations and effective organizations: A study of communication management in three countries. Mahwah, NJ: Lawrence Erlbaum.
Stacks, D., & Bowen, S. (Eds.). (2013). Dictionary of public relations measurement and research. Gainesville FL: Institute for Public Relations. Verfügbar: http://www.instituteforpr.org/topics/dictionary-of-public-relations-measurement-and-research
Taylor-Power, E., & Henert, E. (2008). Developing a logic model: Teaching and training guide. Verfügbar: http://www.uwex.edu/ces/pdande/evaluation/pdf/lmguidecomplete.pdf
Wholey, J. (1979). Evaluation: Promise and performance. Washington, DC: Urban Institute Press.
Wholey J., Hatry, H., & Newcomer, K. (Eds.). (2010). Handbook of practical program evaluation (3rd ed.). San Francisco, CA: Jossey-Bass.