A taxonomia de avaliação para os padrões
O que é a taxonomía e para que serve?
Uma vasta gama de modelos de RP e avaliação de comunicação existem usando uma ampla gama de termos, incluindo entradas, saídas, reações, outflows e outgrowths, efeitos, resultados e impacto. Uma gama ainda maior de métricas e métodos de avaliação são propostas para cada fase. O campo é confuso para muitos profissionais.
Esta página apresenta uma taxonomia de avaliação personalizada para comunicação pública estratégica – taxonomia é um mapa de campo para produzir uma categorização de conceitos e termos – em suma, para mostrar onde as coisas vão e onde elas se encaixam em relação às outras. Esta taxonomia identifica :
- As principais etapas da comunicação (tais como entradas, saídas , etc.);
- As principais etapas em cada fase (como a distribuição de informações, recepção do público , etc.);
- Exemplos de métricas e marcos que podem ser criados ou identificados como parte da avaliação em cada fase e
- Os métodos mais usados para gerar essas métricas e marcos.
A taxonomia não é o mesmo que um modelo, enquanto a taxonomia tenta listar todos os principais conceitos, termos, métricas, métodos, etc. em um campo, um modelo é uma ilustração de um programa ou atividade específica a ser aplicada na prática. No entanto, os modelos devem basear-se nos conceitos e métodos identificados como legítimos na área e aplicá-los de forma adequada.
Um importante benefício de uma taxonomia é que ela coloca conceitos, métricas , métodos, etc. no seu devido lugar – por exemplo , evita-se confundir métricas de saída com métricas de resultados . Os autores do texto “PR Effective Public Relations, Cutlip, Center and Broom” notaram repetidamente nas edições de 1985 até o final dos anos 2000 que ” o erro comum na avaliação do programa é substituir as medidas de um nível para aqueles em outro nível (1985, p. 295; 1994, p. 44; Broom, 2009, p. 358).
Professor Emérito de Relações Públicas Jim Grunig semelhantemente diz que muitos praticantes usam ” uma métrica obtida em um nível de análise para mostrar um resultado em um nível superior de análise ” (2008, p. 89). RP e comunicação estratégica não estão sozinhos nessa. O amplamente usado guia da University of Wisconsin (UWEX)para programar modelos lógicos de avaliação diz, por exemplo , “as pessoas muitas vezes lutam com a diferença entre saídas e resultados ” (Taylor-Power & Henert, 2008, p. 19).
Nenhuma taxonomia é sempre completa, mas a taxonomia aqui apresentada baseia-se em uma ampla gama de estudos de investigação para ser tão abrangente quanto possível (ver “INTRODUÇÃO AO QUADRO DE AVALIAÇÃO INTEGRADA AMEC”) para obter detalhes sobre a origem e base desta taxonomia e do quadro si).
NOTAS PARA UTILIZAR ESTA TAXONOMÍA
- Os principais passos, métricas e metas, e métodos não são exaustivos nem todos são necessários em todo programa. Eles são indicativos de abordagens comuns e típicos para avaliação da comunicação pública, tais como a publicidade, relações públicas, comunicação de marketing , etc. Os profissionais devem escolher métricas relevantes, metas e métodos, e idealmente selecionar pelo menos um em cada etapa.
- A organização de entradas, atividades, saídas, etc. não deve ser interpretada como um processo linear simples. Um feedback de cada fase deve ser aplicado para ajustar, afinar e mudar de estratégia e táticas, caso seja necessário. A avaliação é um processo interativo.
- Nem toda avaliação pode mostrar um impacto, particularmente quando a avaliação é realizada dentro de um período de tempo relativamente curto após a comunicação. Impacto ocorre frequentemente vários anos após a comunicação. Além disso, os objetivos de algumas comunicações públicas são criar consciência (um resultado a curto prazo) ou construir confiança ( um resultado intermediário) [ xii ] . No entanto, como regra geral, a avaliação deve comunicar bem além de saídas e eliminações. A avaliação deve identificar e informar os resultados no mínimo e, quando possível, o impacto.
- Uma característica importante desta taxonomia é que inclui os resultados de impacto organizacional, dos acionistas e da sociedade. Isso alinha com a teoria de avaliação e com o programa de modelos lógicos Excellence Theory of PR, que pede que a avaliação seja realizada pelo ( a) nível do programa ; (2) nível funcional (por exemplo, departamento ou unidade ); (3) nível organizacional ; e nível social (4) (L. Grunig, J. Grunig & Dozier, 2002, pp. 91–92).
Developed by Professor Jim Macnamara for AMEC.
| Estágios nível macro | Entradas2 | Atividades | Saídas | Reações3 | Resultados4 | Impactos5 |
|---|---|---|---|---|---|---|
| Definição breve | O que você precisa preparar para a comunicação | Coisas que você faz para planejar e produzir a sua comunicação | O que você levou ao público-alvo? | O que o público faz com e tira da sua comunicação | Efeito da sua comunicação no público-alvo | Os resultados causados, no todo ou em parte, pela sua comunicação |
| KEY STEPS nível médio | • Objetivos • Orçamento • Recursos (p.ex., funcionários, agências , instalações, parcerias) | • Pesquisa formativa • Planning7 • Produção (p.ex., design, escrita, compra de mídia, relações com a mídia, parcerias de mídia , etc.) | • Distribuição • Exposição • Recepção8 | • Atenção • Awareness • Compreensão • Interesse/like • Engajamento • Participação • Consideração | • Aprendizado/ conhecimento9 • Mudança de atitude • Satisfação • Confiança • Preferência • Intenção • Advocacy | • Reputação • Relacionamentos • Compliance / cumprimento de ações • Mudança organizacional • Mudança social/pública |
| EXAMPLE METRICS & MILESTONES
MICRO-LEVEL | • SMART objectives • Metas/ KPIs | • Baseline/ benckmarks (p.exp.: percepção atual) • Necessidades do público, preferências, etc • Plano estratégico • Evaluation plan • Dados pré-teste (p.ex.: conceitos criativos) •Produção de conteúdo (p.ex.: press releases, websites) • Relações com a mídia | • Volume de publicidade • Alcance de mídia • Impressões/ OTS • Share of voice • Tom/ sentimento/ favorabilidade • Messages placed • Volume de posts, tweets e e-marketing • Publicidade TARPs • E-marketing volume • CPM • Clickthroughs • Event attendance | • Visitantes únicos • Views • Resposta (p.ex.: follows, likes, tags, compartilhamentos, retweets) • Return visits/views • Recall (unaided, aided) • Comentários positivos • Respostas positivas nas pesquisas, etc • Assinantes (p.ex.: RSS, newsletters) • Investigações | • Message aceptance • Níveis de confiança ou intenção • Statements of support or intent • Leads • Registrations (e.g., organ donor list) • Preferência de marca • Trialling • Participação • Reafirmação (p.ex., satisfação dos funcionários) | • Suporte do público • Metas de adesão (p.ex.:, doações de sangue, etc) • Aumento das vendas • Aumento das doações • Economia de custos • Retenção de funcionários • Retenção de cliente/ fidelização • Qualidade de vida/ melhoria do bem-estar |
| Métodos de Avaliação | • Análise interna • Digitalização Ambiental • Análise de viabilidade • Análise de risco | • Análise de metadados (p.ex.: pesquisas anteriores e métricas) • Pesquisa de audiência/mercado (p.ex.: pesquisas, grupo focal, entrevistas) • Consulta das partes interessadas • Estudos de caso (p.ex.: boas práticas) • Análise SWOT (ou PEST, PESTEL, etc) • Painéis pré-teste • Peer review / expert review | • Métricas de mídia (p.ex.: estatísticas de audiência, impressões, CPM) • Monitoramento de mídia • Análise de conteúdo de mídia (qualitativo) • Análise de conteúdo de mídia (quantitativo) • Análise de mídias sociais (quali e quanti) • Relatórios de atividade (p.ex., eventos, patrocínios) | • Estatísticas da web (p.exp.: views, downloads) • Análise de mídias sociais • Feedbacks de monitoramento (p.ex.: comentários, cartas) • Etnografia10 (observação) • Netnografia 11(etnografia online) • Pesquisas de audiência (p.ex.: re awareness) • Focus group (as above) • Entrevistas (as above) | • Análise de mídias sociais (qual) • Estatísticas de database (pesquisa de identificação de fontes) • Etnografia (observação) • Netnografia (etnografia online) • Pesquisa de opinião • Pesquisa com acionistas (e.g., re satisfaction, trust) • Focus groups (as above) • Entrevistas (as above) • Net Promoter Score (NPS)12 | • Registros de dados (p.ex.:, doações de sangue, resultados de saúde, filiações, etc.) • Acompanhamento das vendas • Acompanhamento das doações • CRM • Dados de pesquisa da equipe • Estudos de Reputação • Análise de custo-benefício/Relação custo benefício ROI (se houver objetivo financeiro) • Econometrics13 • Qualidade de vida & bem-estar |
Nota de apoio de Taxonomia de Avaliação
- Confiança é considerado um resultado intermediário, porque é procurado a fim de conseguir um impacto a longo prazo, como o de ser eleito para o governo, os clientes continuam a fazer negócios com uma empresa , etc. Não é um objetivo final em si.
- Alguns modelos lógicos de programa referem-se a esta primeira etapa como entradas/ recursos.
- Reações avançadas sobrepoem-se ou podem ser o mesmo que os resultados a curto prazo . É por isso que os modelos lógicos de programas mais comumente usados não usam reações como um a etapa. Reações e resultados podem ser cognitivo e/ ou afetivo ( emocional) e / ou conative ( comportamental) .
- Os resultados a longo prazo se sobrepõem com e são por vezes considerados o mesmo que impacto.
- Impacto é frequentemente avaliado apenas em relação à organização. No entanto, como referido na introdução, o impacto sobre os acionistas, públicos e sociedade como um todo deve ser considerado. Isto é essencial para organizações governamentais , não- governamentais e sem fins lucrativos focados em servir ao interesse público. Mas também, o impacto nos acionistas e na sociedade afeta e molda o ambiente em que as empresas operam (ou seja , esta avaliação faz parte da exploração ambiental, pesquisa de audiência e pesquisa de mercado que irá informar o planejamento futuro ).
- A causa (causation) é muito difícil estabelecer, em muitos casos, particularmente quando múltiplas influências contribuem para impactar (resultados ), como é frequentemente o caso. As três principais regras devem ser aplicadas: ( a) a suposta causa deve preceder o alegado efeito / impacto ; ( B) deve haver uma clara relação entre a alegada causa e efeito (por exemplo , deve haver evidência de que o público acessou e usou a informação fornecida ); e ( c) outras possíveis causas devem ser excluídas tanto quanto possível.
- Alguns incluem planejamento de entradas. No entanto, se isso ocorrer, a pesquisa formativa (que deve preceder o planejamento ) também precisa ser incluída nas entradas . No entanto, a maioria dos modelos de avaliação de programas identificam pesquisa formativa e planejamento como principais atividades a serem realizadas como parte do programa de comunicação. Entradas são geralmente pré- campanha / programa.
- A recepção se refere às informações ou mensagens que são recebidas pelo público-alvo e é ligeiramente diferente de exposição. Por exemplo, uma audiência pode ser exposta a uma história na mídia que eles acessam , mas ignorar a história e não receber as informações. Da mesma forma , eles podem participar de um evento e ser exposto a conteúdo , mas não receber informações ou mensagens (por exemplo, através de desatenção ou seleção de conteúdo).
- Aprendizagem (isto é, aquisição de conhecimentos ) não é necessário em todos os casos . No entanto, torna-se em algumas campanhas de comunicação e projetos. Por exemplo, campanhas de saúde para promover alimentos e suplementos ricos em cálcio para reduzir a osteoporose entre as mulheres descobriu que, em primeiro lugar, as mulheres tinham de ser ‘ educadas’ sobre a osteoporose (o que é , suas causas , etc.) . De igual forma , combater a obesidade requer educação alimentar. Compreensão refere-se à compreensão das mensagens transmitidas, aprendizagem refere-se à aquisição de conhecimento mais profundo ou mais amplo que é necessário para atingir os objectivos.
- Etnografia é um método de pesquisa com base na observação intensiva em primeira mão durante um período prolongado, muitas vezes complementada por entrevistas e outro método de pesquisa .
- A netnografia é a etnografia online em que os usuários online são monitoradas de perto para identificar seus padrões de comportamento, atitudes , etc., através dos seus comentários e outras métricas digitais.
- Net Promoter Score é uma pontuação de 10 com base a uma única pergunta : ” Qual é a probabilidade de que você gostaria de recomendar [a marca ] a um amigo ou colega? ” De 0-6 são considerados insatisfeitos ‘ detratores ‘ / ; de 7-8 estãso satisfeito , mas sem entusiasmo ; e de 9-10 são aqueles considerados entusiastas fieis, simpatizantes e defensores . (veja https://www.netpromoter.com/know)
- Econometria é a aplicação de matemática e métodos estatísticos para testar hipóteses e identificar as relações econômicas entre fatores com base em dados empíricos. (veja http://www.dummies.com/how-to/content/econometrics-for-dummies-cheat-sheet.html)
ABREVIAÇÕES
CPM Cost Per Thousand (custo por mil)
CRM Customer Relationship Management
KPI Key Performance Indicator (see http://www.ap-institute.com/what-is-a-key-performance-indicator.aspx)
OTS Opportunities To See (normalmente calculado como ” impressões”)
PEST Um quadro de avaliação que analisa fatores “políticos”, “econômicos”, “sociais” e “tecnológicos”.
PESTLE Um quadro avaliação que examina fatores políticos, econômicos,
sociais, tecnológicos, legais e ambientais (também usado como PESTEL (veja http://pestleanalysis.com/how-to-do-a-swot-analysis)
ROI Return On Investment
SMART Refere-se a objetivos que são ‘específicos’, ‘mensuráveis’, ‘viráveis’, ‘ relevantes’ (por exemplo, relacionados com os objetivos organizacionais ) , e ‘com um tempo determinado’ (isto é, dentro de um período especificado)
SWOT Um método de planejamento estratégico que examina ‘pontos fortes’, ‘fraqueza’, ‘oportunidades’, ‘ameaças’.
TARPs Pontos de classificação do público-alvo baseado na classificação usada em propaganda. (veja http://www.multimediabuying.com.au/faq)
UWEX University of Wisconsin Extension Program (veja Taylor-Power & Henert, 2008)
REFERÊNCIAS & INFORMAÇÃO ADICIONAL
Broom, G. (2009). Cutlip & Center’s effective public relations (10th ed.). Upper Saddle River, NJ: Pearson.
Cutlip, S., Center, A., & Broom, G. (1985). Effective public relations (6th ed.). Englewood Cliffs, NJ: Prentice Hall.
Cutlip, S., Center, A., & Broom, G. (1994). Effective public relations (7th ed). Upper Saddle River, NJ: Prentice Hall.
Grunig, J. (2008). Conceptualizing quantitative research in public relations. In B. van Ruler, A. Tkalac Verĉiĉ, & D. Verĉiĉ (Eds.), Public relations metrics: research and evaluation (pp. 88–119). New York, NY: Routledge.
Grunig, L., Grunig J., & Dozier, D. (2002). Excellent organizations and effective organizations: A study of communication management in three countries. Mahwah, NJ: Lawrence Erlbaum.
Stacks, D., & Bowen, S. (Eds.). (2013). Dictionary of public relations measurement and research. Gainesville FL: Institute for Public Relations. Available at http://www.instituteforpr.org/topics/dictionary-of-public-relations-measurement-and-research
Taylor-Power, E., & Henert, E. (2008). Developing a logic model: Teaching and training guide. Retrieved from http://www.uwex.edu/ces/pdande/evaluation/pdf/lmguidecomplete.pdf
Wholey, J. (1979). Evaluation: Promise and performance. Washington, DC: Urban Institute Press.
Wholey J., Hatry, H., & Newcomer, K. (Eds.). (2010). Handbook of practical program evaluation (3rd ed.). San Francisco, CA: Jossey-Bass.