UNA TAXONOMÍA DE LA
EVALUACIÓN HACIA ESTÁNDARES
¿Qué es una taxonomía y para qué sirve?
Existe un amplio rango de modelos de RR. PP. y de evaluación de comunicación mediante el uso de un amplio espectro de términos que incluyen entradas, salidas, eliminaciones, productos, efectos, resultados e impacto. En cada etapa se propone un espectro aun más amplio de métricas y métodos para la evaluación. Este campo es confuso para muchos profesionales.
Esta página presenta una taxonomía de la evaluación hecha a medida para la comunicación pública estratégica –la taxonomía es el mapa de un campo para producir una categorización de conceptos y términos–, brevemente, para mostrar dónde van las cosas y dónde encajan unas con otras. Esta taxonomía identifica:
- Las etapas principales de la comunicación (como entradas, salidas, etc.);
- Los pasos principales en cada etapa (como ser distribución de información, acogida de parte del público, etc.);
- Ejemplos de métricas y de hitos que pueden ser creados o identificados como parte de la evaluación en cada etapa y
- Los métodos usados mas comúnmente para generar estas métricas e hitos.
Una taxonomía no es lo mismo que un modelo, ya que una taxonomía intenta hacer una lista de TODOS los conceptos principales, términos, métricas, métodos, etc., en un campo, mientras que un modelo es la ilustración de un programa o actividad específico para poner en práctica. Sin embargo, los modelos deberían estar basados en conceptos y métodos identificados como legítimos en el campo e implementados en forma apropiada.
Un importante beneficio de una taxonomía es que coloca conceptos, métricas, métodos, etc. en su justo lugar, por ejemplo, evita que se confundan métricas salientes con métricas resultantes. Los autores del ampliamente usado texto “PR Effective Public Relations, Cutlip, Center and Broom” han indicado repetidamente en ediciones desde 1985 hasta avanzados los 2000 que “es un error común en programas de evaluación sustituir medidas de un nivel por otras de otro nivel” (1985, p. 295; 1994, p. 44; Broom, 2009, p. 358). El Profesor Emérito de Relaciones Públicas Jim Grunig también dice que muchos profesionales usan “una métrica obtenida en un nivel de análisis para mostrar el resultado de un nivel más alto de análisis” (2008, p. 89). Las RR. PP. y las comunicaciones estratégicas no son las únicas en donde pasa esto. La muy utilizada Guía de la Universidad de Wisconsin (UWEX) para programar modelos lógicos de evaluación dice, por ejemplo, “la gente a menudo lucha con la diferencia entre salidas y resultados“ (Taylor-Power & Henert, 2008, p. 19).
Ninguna taxonomía es completa, pero la que presentamos aquí se basa en un amplio rango de estudios de investigación para ser lo más exhaustivos posibles (ver ‘Introduction to the AMEC Integrated Framework for Evaluation’) (Introducción al Marco Integrado para la Evaluación de AMEC) para ver detalles del origen y las bases de esta taxonomía y de la estructura misma.
NOTAS PARA UTILIZAR ESTA TAXONOMÍA
- Los pasos, métricas e hitos clave no son exhaustivos ya que no todos son requeridos en cada programa. Indican típicos acercamientos comunes a una evaluación de comunicaciones públicas como avisos, relaciones públicas, comunicaciones de mercadotecnia, etc. Aquellos que los practican deberían elegir métricas relevantes e hitos y métodos, idealmente seleccionando, por lo menos, uno de cada etapa.
- El arreglo de entradas, actividades, salidas, etc. no debería ser interpretado como un simple proceso lineal. Debería aplicarse una retroalimentación de cada etapa para ajustar, afinar y cambiar la estrategia y la táctica si fuese necesario. La evaluación es un proceso iterativo o repetitivo.
- No toda evaluación puede mostrar un impacto, especialmente cuando la evaluación se emprende dentro de un período relativamente corto después de la comunicación. El impacto a menudo se da “a la larga” luego de varios años después de la comunicación. También, el objetivo de algunas comunicaciones públicas es crear conciencia (un resultado a corto plazo) o construir confianza (un resultado intermedio) [xii]. Sin embargo, la regla general es que la evaluación debería informar mucho mas allá de salidas y eliminaciones. La evaluación debería identificar e informar resultados mínimos y en lo posible, un impacto.
- Un rasgo muy importante de esta taxonomía es que el impacto incluye los resultados de impactos organizativos, de accionistas y de la sociedad. Esto se alinea con la correcta teoría de la evaluación y con modelos lógicos de programas (por ejemplo, Kellogg Foundation, 1998/2004; Taylor-Power & Henert, 2008; Wholey, 1979; Wholey, Hatry, & Newcomer, 2010) y con Excellence Theory of PR, que pide que la evaluación sea llevada a (a) un nivel de programación (2) funcional (por ejemplo, Departamento de Unidad); (3) nivel de organización y (4) nivel societario (L. Grunig, J. Grunig & Dozier, 2002, pp. 91–92).
Desarrollado por el profesor Jim Macnamara de AMEC.
ETAPAS NIVEL MACRO | ENTRADAS2 | ACTIVIDADES | SALIDAS (OUTPUTS) | ELIMINACIONES3 | RESULTADOS4 | IMPACTO5 |
---|---|---|---|---|---|---|
Definición abreviada | Lo que Ud. necesita para preparar la comunicación | Cosas que Ud. hace para planificar y producir su comunicación | Lo que Ud. produce lo recibe la audiencia meta | Lo que la audiencia hace y asimila de su comunicación | El efecto que su comunicación tiene sobre la audiencia | Los resultados causados enteramente o en parte por su comunicación |
PASOS CLAVE MESO-NIVEL | • Objetivos • Presupuesto • Recursos (por ejemplo, personal, agencias, facilidades, asociaciones) | • Investigación formativa • Planeamiento7 • Producción (por ejemplo, diseño, escritura, compra de medios, relaciones de medios, asociaciones con medios, etc.) | • Distribución • Exposición • Recepción8 | • Atención • Percepción • Comprensión • Interés/agrado • Compromiso • Participación • Consideración | • Aprendizaje/conocimiento9 • Cambio de actitud • Satisfacción • Confianza • Preferencia • Intención • Apoyo | • Reputación • Relaciones • Conformidad/acciones de aceptación • Cambio en la organización • Cambio social público |
EJEMPLO DE MÉTRICAS E HITOS
MICRO-NIVEL | • Objetivos SMART • Metas / KPI | • Lineamientos básicos/punto de referencia (por ejemplo, percepción actual) • Necesidades de la audiencia, preferencias, etc. • Plan estratégico • Plan de evaluación • Información pre-pruebas (por ejemplo, Conceptos creativos • Contenido producido (por ejemplo, Emisiones de los medios, Sitios web • Relaciones de los medios | • Volumen de la publicidad • Alcance de los medios • Impresiones / OTS • Voz compartida • Tono/sentimiento/ favorabilidad • Mensajes colocados • Posts, tweets, etc. • Publicidad TARP • Volumen mercadotecnia E • CPM • Cliqueos • Presencia en eventos | • Visitantes ocasionales • Puntos de vista • Respuestas (por ejemplo, seguimientos, me gusta, tags, compartir, retweets) • Visitantes que vuelven/puntos de vista • Recuerdo (espontáneo, o no) • Comentarios positivos • Respuestas positivas en encuestas, etc. • Sucriptores (por ejemplo, RSS, boletines) • Preguntas | • Aceptación de mensajes • Niveles de confianza • Declaraciones de apoyo o intención • Guías • Registros (por ejemplo, listas de donantes de órganos) • Preferencia por una marca • Trialling • Asociándose • Reafirmando (por ejemplo, satisfacción del personal) | • Apoyo del público • Llegar a las metas (por ejemplo, donación de sangre, cáncer) Revisando lista de miembros, etc.) • Aumento de las ventas • Aumento en las donaciones • Ahorro de costos • Reteniendo al personal • Reteniendo a los clientes/lealtad • Aumento de la Calidad de vida / bienestar |
MÉTODOS DE EVALUACIÓN | • Análisis interno • Examen del entorno • Análisis de Posibilidades • Análisis de riesgo | • Análisis de meta información (por ejemplo, investigación y métricas pasadas) • Investigación de Mercado/audiencia (por ejemplo,encuestas, grupos objetivo, entrevistas) • Consultas a los interesados • Estudio de casos (por ejemplo, mejores prácticas) • Análisis SWOT (o PEST,• PESTLE, etc.) • Paneles pre-pruebas • Revisión entre pares/revisión de expertos | • Métricas de los medios (por ejemplo, audiencia estadísticas, impresiones, CPM) • Monitoreo de los medios • Análisis del contenido de los medios (cuant) • Análisis del contenido de los medios (cual) • Análisis de medios sociales (cuant.y cual.) • Informes sobre actividades (por ejemplo, eventos, patronazgos) | • Estadísticas de la Web (por ejemplo, descarga de puntos de vista) • Análisis de medios sociales (cual. – por ejemplo, comentarios) • Retroalimentación (por ejemplo,comentarios, cartas) • Etnografía10 (observación) • Etnografía net11 (etnografía online) • Encuesta de audiencia (por ejemplo, re Conciencia, comprensión, Interés, opinión) • Grupo enfocado (como arriba) | • Análisis del medio social (cual.) • Estadísticas de base de datos (por ejemplo, Siguiendo encuestas, identificando fuentes) •Etnografía (observación) • Etnografía en la red (etnografía online) • Consultas de opinión • Encuesta de agentes (por ejemplo, re-satisfacción, confianza) • Grupos objetivos (como arriba) • Entrevistas (como arriba) • Conteo de Promotor de Net (NPS)12 | • Registros de base de datos (por ejemplo, Donaciones de sangre, resultados en salud, membresía, etc.) • Llevando cuenta de las ventas • Llevando cuenta de las donaciones • Información sobre CRM •Información sobre encuesta al personal • Estudios sobre reputación • Análisis Costo Beneficio/Proporción Beneficio Costo • ROI (si hay objetivos financieros) • Econométricas13 • Escalas de calidad de vida & mediciones del bienestar |
NOTAS AL PIE DE APOYO A LA TAXONOMÍA DE LA EVALUACIÓN
- La confianza se considera un resultado intermedio porque es buscada para lograr un impacto a un plazo más largo, como ser elegido para gobernar, clientes que siguen haciendo negocios con una compañía, etc. No es una meta final en sí misma. Algunos modelos de programa lógico se refieren a ella como la primera etapa de Entradas/Recursos.
- Algunas retenciones avanzadas pueden sobrepasar o ser lo mismo que los resultados a corto plazo. Y esto es por qué los modelos lógicos de programa más usados no usan retenciones en esta etapa. Las etenciones y los resultados pueden ser cognitivos y/o afectivos (emocionales) y/o conativos (de conducta).
- Los resultados a largo plazo sobrepasan al impacto y a veces se consideran lo mismo.
- El impacto es a menudo evaluado solamente en relación con la organización. Sin embargo como se hizo notar en la introducción, los interesados, los públicos y la sociedad como un todo deben ser tenidos en cuenta. Esto es esencial para organizaciones gubernamentales, no gubernamentales y sin fines de lucro enfocadas en servir al interés público. Pero también el impacto sobre los interesados y la sociedad afecta y da forma al entorno en el cual operan los negocios. (es decir, esta evaluación forma parte del examen del entorno, investigación de audiencia, y de mercado que informarán a la planificación futura).
- La causalidad es muy difícil de establecer en muchos casos, especialmente cuando numerosas influencias confluyen en el impacto (resultados), como sucede a menudo. Las tres reglas clave de la causalidad deben ser aplicadas (a) la causa alegada debe preceder el efecto/impacto alegado, (b) debe haber una relación clara entre la causa alegada y efecto (por ejemplo, debe haber evidencia de que la audiencia tuvo acceso a y usó la información que Ud. le proveyó) y (c) otras causas posibles deben ser desechadas.
- Algunas personas incluyen planificación en entradas o alimentación. Sin embargo, si esto sucede, la investigación formativa (que debe preceder a la planificación) también debe ser incluida en entradas o alimentación. No obstante, la mayoría de los modelos de evaluación de programa identifican a la investigación y la planificación como actividades clave para ser llevadas a cabo como parte del programa de comunicación. Las entradas son generalmente pre-campaña y pre-programa.
- La recepción se refiere a la información o a los mensajes recibidos por la audiencia meta y es ligeramente diferente a la exposición. Por ejemplo, una audiencia puede estar expuesta a una historia en los medios a los cuales tiene acceso, pero puede pasar por alto la historia y así no recibir la información. De manera similar, pueden estar presentes en un evento como una feria comercial y estar expuestos a los contenidos, pero no recibir información o mensajes (por ejemplo, por falta de atención, o selección de contenidos en los cuales enfocarse).
- Aprender: (es decir, adquisición de conocimiento) no se lo requiere en todos los casos. Sin embargo, en algunas campañas de comunicación pública y proyectos sí se requiere. Por ejemplo, campañas de salud para promover alimentos ricos en calcio y suplementos para disminuir la osteoporosis en las mujeres encontraron que primero las mujeres debían ser instruidas sobre la osteoporosis (qué es, sus causas, etc.). De manera similar, combatir la obesidad necesita instrucción sobre dietas. Mientras que la comprensión se refiere a la comprensión de mensajes comunicados, aprender se refiere a la adquisición de conocimientos más profundos o más amplios, lo cual es necesario para lograr los objetivos.
- La etnografía es un método de investigación basado en la observación intensiva de primera mano a través de un período extenso, a menudo complementado con entrevistas y otros métodos de investigación.
- Etnografía “net” es etnografía online, en la cual los usuarios online son monitoreados atentamente para identificar sus patrones de conducta, actitudes, etc. a través e sus comentarios, rastro de clics, y otras métricas digitales.
- El conteo de promotor de la red es un conteo de hasta 10 basado en una única pregunta. ¿Qué tan posible es que Ud. le recomiende (una marca) a un amigo o colega? Los resultados que van de 0 a 6 se consideran detractores/insatisfechos, los resultados de 7-8 se consideran satisfechos pero no entusiastas y los resultados de 9-10 son los considerados seguidores leales, entusiastas y seguidores. (Ver https://www.netpromoter.com/know)
- La econométrica es la aplicación de matemáticas y métodos estadísticos para probar hipótesis e identificar las relaciones económicas entre factores basados en información empírica (ver http://www.dummies.com/how-to/content/econometrics-for-dummies-cheat-sheet.html)
ABREVIACIONES
CPM Costo por mil
CRM Manejo de la relación con los clientes (información comúnmente hallada en bases de datos CRM)
KPI Indicador clave del desempeño (ver http://www.ap-institute.com/what-is-a-key-performance-indicator.aspx)
OTS Oportunidades para ver (usualmente calculadas lo mismo que impresiones’)
PEST Estructura de evaluación que examina factores políticos, económicos, sociales y tecnológicos)
PESTLE Una estructura de evaluación que examina factores políticos, económicos sociales, tecnológicos, legales y de entorno (ver http://pestleanalysis.com/how-to-do-a-swot-analysis).
ROI Beneficio o ganancia de la inversión
SMART Se refiere a objetivos que son específicos, medibles, que se pueden llevar a cabo, relevantes (por ejemplo, relacionados con objetivos organizativos) y ligados a un período de tiempo (por ejemplo, dentro de un período de tiempo específico)
SWOT Método estratégico de planificación que examina puntos fuertes, puntos débiles, oportunidades, y amenazas.
TARP Puntaje de audiencia objetivo basado en un sistema de puntaje usado en publicidad. (ver http://www.multimediabuying.com.au/faq)
UWEX Programa de Extensión de la Universidad de Wisconsin (ver Taylor-Power & Henert, 2008)
REFERENCES & FURTHER INFORMATION
Broom, G. (2009). Cutlip & Center’s effective public relations (10th ed.). Upper Saddle River, NJ: Pearson.
Cutlip, S., Center, A., & Broom, G. (1985). Effective public relations (6th ed.). Englewood Cliffs, NJ: Prentice Hall.
Cutlip, S., Center, A., & Broom, G. (1994). Effective public relations (7th ed). Upper Saddle River, NJ: Prentice Hall.
Grunig, J. (2008). Conceptualizing quantitative research in public relations. In B. van Ruler, A. Tkalac Verĉiĉ, & D. Verĉiĉ (Eds.), Public relations metrics: research and evaluation (pp. 88–119). New York, NY: Routledge.
Grunig, L., Grunig J., & Dozier, D. (2002). Excellent organizations and effective organizations: A study of communication management in three countries. Mahwah, NJ: Lawrence Erlbaum.
Stacks, D., & Bowen, S. (Eds.). (2013). Dictionary of public relations measurement and research. Gainesville FL: Institute for Public Relations. Available athttp://www.instituteforpr.org/topics/dictionary-of-public-relations-measurement-and-research
Taylor-Power, E., & Henert, E. (2008). Developing a logic model: Teaching and training guide. Retrieved fromhttp://www.uwex.edu/ces/pdande/evaluation/pdf/lmguidecomplete.pdf
Wholey, J. (1979). Evaluation: Promise and performance. Washington, DC: Urban Institute Press.
Wholey J., Hatry, H., & Newcomer, K. (Eds.). (2010). Handbook of practical program evaluation (3rd ed.). San Francisco, CA: Jossey-Bass.