O taxonomie a procesului de evaluare
Ce este taxonomia și la ce folosește?
O gamă largă de modele de evaluare a relațiilor publice și a comunicării există folosind diverși termeni cum ar fi inputs, outputs, outtakes, outflows, outgrowths, impact, efecte, rezultate. Pentru fiecare etapă se propune o diversitate și mai mare de matrici și metode de evaluare. Aceste unelte de evaluare pot fi confuzante pentru mulți practicieni.
Această pagină prezintă o taxonomie a evaluării adaptată comunicării publice strategice – taxonomia este o disciplină științifică care se ocupă cu stabilirea unor legi de clasificare și sistematizare în domeniul de interes – pe scurt, un sistem de clasificare și raportare a elementelor dintr-un domeniu specific. Această taxonomie identifică:
- Etapele importante ale comunicării (cum ar fi inputs, outputs etc.);
- Pașii esențiali necesari în fiecare etapă (cum ar fi distribuirea informațiilor, recepția lor de către public etc.);
- Exemple de valori și obiective care pot fi obtinute sau identificate ca parte a evaluării în fiecare etapă;
- Metodele utilizate cel mai frecvent pentru generarea acestor valori și repere.
Taxonimia nu este un model Taxonomia încearcă să enumere toate conceptele, toți termenii, valorile, metodele etc. într-un domeniu, în timp ce un model este o ilustrare a unui program sau a unei activități specifice care trebuie pusă în practică. Cu toate acestea, modelele ar trebui să se bazeze pe concepte și metode legitime în domeniu și să le aplice în mod corespunzător.
Un avantaj important al unei taxonomii constă în claritatea utilizării conceptelor, valorilor, metodelor etc. – de exemplu, evită confundarea metodelor de măsurare din outputs cu cele din outcome. Autorii textelor de PR utilizate pe scară largă, “Relații publice eficiente” – Cutlip, Center și Broom – au remarcat în mod repetat, în edițiile din 1985 până la sfârșitul anilor 2000, că “eroarea comună în evaluarea programelor este înlocuirea măsurătorilor de la un nivel pentru cele de la un alt nivel” , p. 295, 1994, p. 44, Broom, 2009, p. 358). Profesorul emerit Jim Grunig afirmă în mod similar că mulți practicanți folosesc “o metoda de măsurare al unui nivel de analiză pentru a evidenția un rezultat la un nivel superior de analiză.” (2008, p. 89). Domeniile relațiilor publice și cel al comunicării strategice nu sunt singurele care se confruntă cu dificultăți de evaluare și măsurare. Ghidul universitar folosit de Universitatea din Wisconsin, UWEX, utilizat la scara largă pentru a programa modele logice de evaluare spune, de exemplu, că “oamenii fac greu diferența dintre outputs și outcomes. ’’(Taylor-Power și Henert, 2008, p. 19).
Nu există taxonomie perfectă însă taxonomia prezentată aici are la bază o gamă largă de studii de cercetare pentru a o face cât de comprehensivă posibil. (vezi “Introducerea în Cadrul Integrat pentru Evaluare” pentru detalii legate de originea și baza acestei taxonomii și a cadrului de lucru în sine).
Indicații pentru a folosi taxonomia
- Pașii cheie, valorile și reperele și metodele nu sunt exhaustive și nu toate sunt necesare în evaluarea dorită. Acestea indică abordări des întalnite și tipice pentru evaluarea comunicării publice, cum ar fi publicitatea, relațiile publicul, comunicarea de marketing etc. Practicienii ar trebui să aleagă valori relevante, repere și metode, selectând în mod ideal cel puțin câte unul în fiecare etapă.
- Folosirea resurselor din inputs sau outputs, sau a activităților etc. nu trebuie interpretată ca un simplu proces liniar. Feedback-ul fiecărei categorii ar trebui aplicat pentru ajustarea și schimbarea strategiei și tacticilor, dacă este necesar. Evaluarea este un proces iterativ.
- Nu toate evaluările pot avea impact, în special atunci când evaluarea este efectuată într-o perioadă relativ scurtă de timp după comunicare. Impactul apare de multe ori după câțiva ani buni din momentul comunicării. De asemenea, obiectivele unei anumite comunicări publice sunt conștientizarea publicului (outtakes sau rezultatul pe termen scurt) sau construirea încrederii (outcome) [xii]. Cu toate acestea, ca regulă generală, rezultatul evaluarii ar trebui să prezinte un raport care să depășească ce exista în outtakes sau outputss. Evaluarea ar trebui să identifice și să raporteze rezultatele în concret și, atunci când este posibil, impactul.
- caracteristică importantă a acestei taxonomii constă în faptul că poate măsura impactul atât la nivel organizațional și social, cât și la nivelul părților interesate. Acestă caracteristică rezonează cu modelele de teorie a evaluării și cu modelele de logică în evaluare (de exemplu, Fundația Kellogg, 1998/2004; Taylor-Power și Henert, 2008; Wholey, 1979; Wholey, Hatry și Newcomer, 2010) și cu Teoria Excelenței în PR, astfel încât evaluarea să se realizeze la nivelul (a) programului; la (2) nivel funcțional (de exemplu, departament sau unitate); (3) nivel organizațional; și (4) la nivelul societății (L. Grunig, J. Grunig Dozier, 2002, pp. 91-92).
Dezvoltat de profesorul Jim Macnamara pentru AMEC.
| ETAPE – NIVEL MACRO | INPUTS |
ACTIVITĂȚI | OUTPUTS | OUTTAKES | EFECTE4 | IMPACT5 |
|---|---|---|---|---|---|---|
| Definiție |
Ceea ce ai nevoie în pregătirea comunicării |
Lucrurile pe care le faci pentru a planifica și produce comunicarea |
Ceea ce este distribuit și primit de publicul țintă |
Ce face publicul țău ca răspuns la campania de comunicare și ce retine din ceea ce i se comunică | Efectele comunicării asupra publicului țintă | Rezultatele obtinute în totalitate sau parțial prin campania de comunicare |
| Pași cheie La nivelul organizației | •Obiective • Buget •Resurse(ex. angajați, agenții, facilități, parteneriate) | • Cercetare formativă • Planificare • Producție (ex. design, scris, media platita, relații cu presa, parteneriate media, etc.) | • Distribuție • Expunere • Receptare | • Atenție • Vizibilitate • Înțelegere • Interes • Interacțiune • Participare • Considerare | • Învățare / cunoștere9 • Schimbarea atitudinii • Satisfacție • Încredere • Preferință • Intenție • Advocacy | • Reputație • Relații • Schimbări în cadrul organizației • Public/schimbare socială |
| EXEMPLE de metrici și repere La nivel individual | • Obiective SMART • Obiective/KPIs | • Elemente de bază/ valori de referință (ex. vizibilitate actuală) • Nevoile publicului țintă, etc. • Plan strategic • Plan de evaluare • Informații pre-testate (ex, concepte creative) • Conținut produs (comunicate de presă, site-uri) • Relații cu presa | • Volumul de publicitate • Reach Media • Impresii/OTS • Share of voice publicitate • Ton/sentiment/ favorabilitate • Plasarea de mesaje • Postări, tweet-uri, etc. • Advertising TARPs • Volum de E-marketing • CPM • Rata click-urilor • Prezență la evenimente | • Vizitatori unici • Views • Răspunsuri (ex. follows, likes, tags, shares, retweet-uri) • Return visits/views • Audiența își amintește informația (Recall) (ajutată/neajutată) • Comentarii pozitive • Răspunsuri pozitive la sondaje etc. • Abonați (e.x., RSS, newsletters) • Solicitări de informații | • Acceptarea mesajului • Niveluri de încredere • Declarații de susținere sau intenție • Lead-uri • Întregistrări (e.x. lista donatorilor de organe) • Preferințe de brand •Experimentare • Aderare • Reafirmare (e.x. satisfacția membrilor echipei) | • Sprijinul publicului • Atingerea obiectivelor (e.x. donații de sânge; screening de cancer, obținerea calității de membru într-un grup, etc.) • Creșterea vânzărilor • Creșterea donațiilor • Economii • Retenția angajaților • Retenția clienților/loializare • Calitatea vieții/ creșterea bunăstării |
METODE DE EVALUARE | • Analiză internă • Scanarea mediului • Analiza de fezabilitate • Analiza de risc | •Analiza metadatelor (ex. cercetări anterioare, metrici) • Cercetarea pieței/audienție (e.x. sondaje, focus-grupuri, interviuri) • Consultarea stakeholderilor • Studii de caz (e.x. cele mai bune practici) • analiza SWOT (sau PEST, • PESTLE, etc.) • Panouri de pre-testare • Revizuirea cercetării /revizuirea din partea experților | • Matrici media (e.x., statistici de audiență, impresii, CPM) • Monitorizare media • Analiza de conținut media (cant.) • Analiza de conținut media (cal.) • Analiza de social media (cant. și cal.) • Rapoarte de activitate (e.x, evenimente, sponsorizări) | • Statistici web (e.x., vizualizări, downloads) • Analiza social media (calitativ – e.x. comentarii) • Feedback (e.x. comentarii, scrisori) • Etnografie10 (observație) •Netnografie11 (etnografie online) • Sondaje de opinie (e.x. vizibilitate, înțelegere, interes, opinie) • Focus-grupuri (la fel ca mai sus) • Interviuri (la fel ca mai sus) | • Analiză social media (cal.) • Baze de date statistice (e.x. urmărirea cercetării, identificarea surselor) • Etnografie (observație) • Derivată din etnografie online • Sondaje de opinie • Sondaje în rândul stakeholder-ilor (e.x. satisfacție. încredere) • Focus – grupuri (la fel ca mai sus) • Interviuri (la fel ca mai sus) • Net Promoter Score (NPS)12 | • Arhiva bazei de date (e.x. donații de sânge, rezultate medicale, apartenența la un grup, etc.) • Evoluția vânzărilor • Evoluția donațiilor • date CRM • informații din sondajele în rândul angajaților • Studii reputaționale • Analiza cost-beneficiu /raportul cost-beneficiu • ROI (dacă există obiective financiare) • Econometrie13 • Calitatea vieții – dimensiuni și măsurarea bunăstării |
Informații suport pentru taxonomia evaluării
- Încrederea este considerată un rezultat intermediar, dezirabil în contexte cu impact pe termen mai lung, cum ar fi alegerile electorale, continuarea afacerilor dintre clienți și companie etc. Nu este un scop final în sine.
- Unele modele program de logică se referă la această primă etapă ca resursă.
- Ce regăsim în outtakes se poate suprapune cu outcomes pe termen scurt. Acesta este motivul pentru care cele mai frecvent utilizate modele de logică nu folosesc outtakes. Outtakes și outcomes pot fi cognitive și / sau afective (emoționale) și / sau conative (comportamentale).
- Rezultatele pe termen lung pe care le găsim în capitolul outcomes se suprapun și uneori sunt considerate a fi aceleași cu impactul.
- Impactul este adesea evaluat doar în raport cu organizația. Cu toate acestea, după cum este menționat în introducere, trebuie avut în vedere impactul asupra părților interesate, asupra publicului și asupra societății în ansamblu. Acest lucru este esențial pentru organizațiile guvernamentale, non-guvernamentale și non-profit, care se concentrează pe servirea interesului public. Totodată, impactul asupra părților interesate și a societății afectează și modelează mediul în care operează întreprinderile (adică această evaluare face parte din scanarea de mediu, cercetarea publicului și cercetarea pieței, care va servi drept informație pentru planificari ulterioare).
- Legătura de cauzalitate este dificil de stabilit în multe cazuri, în mod deosebit când există mai mulți factori ce contribuie la impact (rezultate). Trebuie aplicate cele trei reguli-cheie ale cauzalității: (a) presupusa cauză trebuie să fie precedată de presupusul efect / impact; (b) trebuie să existe o legătură clară între presupusa cauză și efect (de exemplu, trebuie să existe dovezi că publicul a accesat și a utilizat informațiile furnizate.); și (c) alte cauze posibile trebuie eliminate în măsura în care se poate.
- Unele includ partea de planificare în outputs. În eventualitatea acestui lucru, cercetarea formativă (care ar trebui să fie precedată de planificare) trebuie, de asemenea, să fie inclusă în outputs. Cu toate acestea, majoritatea modelelor de evaluare a programelor identifică cercetarea și planificarea formativă ca activități-cheie care trebuie puse în aplicare ca parte a programului de comunicare. Inputs intră în general la partea de pre-campanie / program.
- Recepția se referă la informațiile sau mesajele primite de publicul vizat și este ușor diferită de expunere. De exemplu, o audiență ar putea fi expusă unei pinformatii din mass-media pe care o accesează, dar să ignore povestea și să nu primească informațiile. În mod similar, aceștia pot participa la un eveniment cum ar fi o expoziție comercială, și pot fi expuși la conținut, dar nu primesc informații sau mesaje (de exemplu, prin neatenție sau selecție de conținut asupra căruia să se concentreze).
- Există cazuri în care etapa de învățare (dobândirea de cunoștințe), nu este necesară. Această etapă depinde de tipul de campanie și de tipul de proiect. De exemplu, cei care au organizat campanii de sănătate pentru promovarea alimentelor bogate în calciu și a suplimentelor pentru reducerea osteoporozei la femei au descoperit că, în primul rând, femeile trebuie “educate” în legătură cu osteoporoza (ce este, cauzele acesteia etc.). Similar, combaterea obezității necesită educație alimentară. În timp ce înțelegerea se referă la asumarea mesajelor comunicate, învățarea se referă la dobândirea de cunoștințe mai profunde sau mai extinse care sunt necesare pentru atingerea obiectivelor.
- Etnografia reprezintă o metodă de cercetare bazată pe o observație intensă pe o perioadă extinsă, adesea completată de interviuri și de altă metodă de cercetare.
- O derivată din etnografie translatată în mediul online în care utilizatorii sunt atent monitorizați pentru a le identifica comportamentele, atitudinile etc. prin intermediul comentariilor, urmelor digitala și a altor valori digitale.
- Net promoter score (NPS) este un scor din 10 puncte bazat pe o singură întrebare: “Cât de probabil este să recomanzi [brandul] unui prieten sau coleg?”. Cei cu scoruri de 0-6 sunt considerți “detractori” / nemulțumiți; cu scoruri de 7-8 sunt satisfăcuți, dar nu sunt entuziasmați; iar cu scoruri de 9-10 sunt entuziaștii loiali, suporteri și adepți (Vezi https: //www.netpromoter.com/know)
- Econometria este aplicarea matematicii și a metodelor statistice pentru testarea ipotezelor și identificarea relațiilor economice dintre factori pe baza datelor empirice (vezi http://www.dummies.com/how-to/content/econometrics-for-dummies-cheat-sheet.html)
Abrevieri
CPM – Cost per mii (mille = in latina înseamnă mii)
CRM – Managementul relației cu clienții (datele sunt înregistrate de obicei într-o bază de date CRM)
KPI – Key Performance Indicator ( vezi http://www.ap-institute.com/what-is-a-key-performance-indicator.aspx)
OTS – Oportunități de vizibilitate (sau Impresii)
PEST – un cadru de evalure care analizează factori politici, economici, sociali și tehnologici
PESTLE – un cadrul de evalure care analizează factori politici, economici, sociali și tehnologici, legali și de mediu (uneori și PESTEL, în funcție de ordinea factorilor) (vezi http://pestleanalysis.com/how-to-do-a-swot-analysis)
ROI – return on investment – cat ai castigat comparatic cu cat ai investit
SMART – Se referă la obiectivele specifice, masurabile, realizabile și relevante (ex. legat de obiectivele organizaționale), și care să țină cont de timp (i.e. într-o perioadă specifică)
SWOT – o metodă de planificare strategică ce evaluează punctele forte, punctele slabe, oportunitățile, amenințările
TARPs – puncte de rating specifice audienței pricipale, se bazeaza pe un sistem de evaluare din advertising (http://www.multimediabuying.com.au/faq)
UWEX- Program derivat din cel al Universității Wisconsin- (vezi Taylor-Power și Henert, 2008)
Referințe și informații suplimentare
Broom, G. (2009). Cutlip & Center’s Relații publice eficiente (a 10-a ed.). Upper Saddle River, NJ: Pearson.
Cutlip, S., Center, A., & Broom, G. (1985). Relații publice eficiente (a 6-a ed.). Englewood Cliffs, NJ: Prentice Hall.
Cutlip, S., Center, A., & Broom, G. (1994). Relații publice eficiente (a 7-a ed.). Upper Saddle River, NJ: Prentice Hall.
Grunig, J. (2008). Conceptualizarea cercetării cantitative în relațiile publice. În B. van Ruler, A. Tkalac Verĉiĉ, & D. Verĉiĉ (Eds.), Metrici în relații publice: cercetare și evaluare (p. 88–119). New York, NY: Routledge.
Grunig, L., Grunig J., & Dozier, D. (2002). Organizații excelente și organizații eficiente. Un studiu al managementului comunicării în trei țări. Mahwah, NJ: Lawrence Erlbaum.
Stacks, D., & Bowen, S. (Eds.). (2013). Dicționar al măsurării relațiilor publice și cercetării. Gainesville FL: Institutul pentru Relații Publice. Disponibil la – http://www.instituteforpr.org/topics/dictionary-of-public-relations-measurement-and-research
Taylor-Power, E., & Henert, E. (2008). Dezvoltarea unui model logic: Ghid de învățare și training. Regăsit și în
http://www.uwex.edu/ces/pdande/evaluation/pdf/lmguidecomplete.pdf
Wholey, J. (1979). Evaluation: Promisiuni și performanță. Washington, DC: Urban Institute Press.
Wholey J., Hatry, H., & Newcomer, K. (Eds.). (2010). Manual de evaluare a unui program practic (a 3-a ed.). San Francisco, CA: Jossey-Bass.