迈向标准化的评估分类法
分类法的定义及其应用目的
许多公关及传播效果评估方法中均使用了大量的术语,包括投入、产出、心得、流出、产物、效果、结果、影响等。评估的每个阶段又提供了更加广泛的指标及方法。这一领域对于许多公关从业人员来说是令人困惑的。
本页介绍了针对战略公关传播的评估分类法,对于概念和术语进行分类。简言之,用以显示事物的走向以及事物彼此之间的相互关系。通过分类法,我们可以找出:
传播的主要阶段(如:投入、产出等);在每个阶段中包括的主要步骤(如:信息的分配、受众接受等);在每个阶段中可以被设定或认定为评估指标和关键节点的范例;以及设定这些指标和节点最常用的方法。
法的目的在于试图列举出某一领域内所有的主要概念、术语、指标、方法等等。而模型是对一个具体项目或活动应用于实践的一种阐述。然而,模型应该是基于业内认可的合理的概念和方法建立起来的,并且需要合理利用。
分类法的一个重要好处在于合理地归纳概念、指标、方法等。例如,分类法避免了产出指标同成果指标混淆。被广泛使用的公共关系文本 “Effective Public Relations”的作者Cutlip, Center,以及Broom, G.在该书1985年至2000年之后的版本中反复强调“项目评估的一个常见错误是用某一层次的措施替代另一不同层次的措施。”(1985, p. 295; 1994, p. 44; Broom, 2009, p. 358) 公共关系的名誉教授吉姆·格鲁尼亚 (Jim Grunig) 也有过类似见解,其指出许多从业者使用“在某一分析层次上收集的指标去展示在更高的分析层次上的结果。” (2008, p. 89)在这一点上,公共关系和战略传播也不例外。例如,在被广泛应用的威斯康星大学(UWEX)针对项目逻辑模型的评价指导中指出, “从业者常常难以区分产出和成果”。(Taylor-Power & Henert, 2008, p. 19)
没有哪一个分类法是完整全面的,但是这里提出的分类法是吸收广泛的调查研究而形成的尽可能全面的分类体系(请参考‘Introduction to the AMEC Integrated Framework for Evaluation’以了解该分类法的起源和基础、以及框架本身等细节)。
使用本分类法的注意事项
- 本分类法的关键步骤、指标与节点、以及方法并非包罗万象,也并不要求体现在每一个项目中。它们代表了针对广告、公共关系、市场传播等形式的公共传播进行评估时所经常采用的典型方法。从业人员应当选择相关的指标、节点以及方法,比较理想的情况时,在每个阶段至少选择一项。
- 投入、活动、产出等的设置不应被理解为为一个简单的渐进过程。必要情况下,来自每一阶段反馈应该被应用于对战略战术的调整、微调甚至改变。评估是一个迭代过程。
- 并不是所有的评估都可以带来影响,尤其是当评估是在传播结束后较短的时间内进行的。影响经常发生于传播后若干年。此外,一些大众传播的目的是创造认知度(一种心得或短期成果)或是建立信任(一个中间成果)[xii]。然而,一般来说,评估应远超出对产出和心得的测量。评估至少应确定并报告成果,并在可能的情况下发现所产生的影响。
- 本分类法的一个重要特点是涵盖了对组织、利益相关者以及社会所产生的影响/成果。这符合程序评价理论以及程序逻辑模型(例如, Kellogg Foundation, 1998/2004; Taylor-Power & Henert, 2008; Wholey, 1979; Wholey, Hatry, & Newcomer, 2010)以及公共关系卓越理论,该理论要求在如下等级层次上进行评价(1)项目层面;(2)职能层面(例如,部门或单位);(3)组织层面;以及(4)社会层面 (L. Grunig, J. Grunig & Dozier, 2002, pp. 91–92) 。
由吉姆·麦克纳马拉教授(Jim Macnamara)为AMEC开发。
阶段-宏观层面 | 投入2 | 活动 | 产出 | 心得3 | 成果4 | 影响5 |
---|---|---|---|---|---|---|
简短定义 | 传播的事前准备工作 | 计划及实施传播所需要做的事 | 由你提供、由目标受众接收的内容 | 通过你的传播活动,观众获得何种的信息、如何处理 | 传播活动对于受众所产生的效果 | 全部或部分由你的传播活动所引起的结果 |
“主要步骤 中观层面” | • 目标 • 预算 •资源(例如,员工、代理、设施、合作关系) | •形成性研究 • 计划7 •生产(例如,设计、写作、媒体购买、媒体关系、媒体合作关系等) | • 分配 • 曝光 • 接收8 | • 注意力 • 意识 • 理解 • 兴趣/ 喜好 • 承诺 • 参与 • 考虑 | • 学习 / 知识9 • 态度转变 • 满意度 • 信任 • 偏好 • 意图 • 拥护 | • 声誉 •关系 • 顺应 / 遵从行动 •组织变化 •公共/社会变化 |
事例、指标&关键节点微观层面 | • SMART 目标原则 • 目标/关键业绩指标 | • 基准线/对比参照(例如,当前认知度) • 观众需求、偏好等 • 战略计划 • 评估计划 • 数据预测试、(例如:创意概念) • 内容制作 (例如:媒体发布、网站) • 媒体关系 | • 宣传量 •媒体到达率 • 印象/能见率 • 声音份额 •基调/情感度/喜好度 • 信息设置 • 帖子、推文等 •广告目标收视点 •电子营销量 • 千人成本 • 点击次数 • 活动出席 | • 独立访客 • 评论 • 回复 (例如, 粉丝数、赞、标签、分享、转发) •回访/意见 • 回忆起 (独立的, 受辅助的) • 积极评论 • 调查的积极回应等 • 订阅者 (例如, RSS、简报) • 咨询 | • 信息接受 • 信任等级 •支持声明或意图声明 •引导 •注册(例如, 器官捐赠名单) • 品牌偏好 •试用 • 加入 • 重新确认(例如, 员工满意度) | •公共/支持 • 达成目标 (例如, 献血;募捐;癌症筛查会员资格等) • 销售增加 • 捐赠增加 • 节约成本 • 员工维系 • 消费者维系/忠诚度 • 生活质量 / 福利提升 |
评估方法 | • 内部分析 • 环境扫描 • 可行性分析 • 风险分析 | •元数据分析 (例如, 过往的研究及指标) •市场/观众研究 (例如, 调查、焦点小组、面访) •利益相关者咨询 •案例分析(例如, 最佳实践) • SWOT 分析 (或PEST分析, • PESTLE分析等) •预测试小组 • 同行评议 / 专家评议 | •媒体指标(例如,观众统计、印象、千人成本) • 媒体监测 •媒体内容分析(定量) •媒体内容分析(定性) •社交媒体分析 (定量和定性) • 活动报告 (例如, 事件, 赞助) | •网站统计(例如,评论、下载) •社交媒体分析(定性 – 例如, 评论) • 反馈 (例如,评论, 信件) • 人种学10(观察) • 网络人种学11 (网络志) • 观众调查(例如, 认知度、理解、兴趣、意见) • 焦点小组(同上) •面访(同上) | •社交媒体分析(定性) •数据库统计 (例如,查询追踪识别来源) • 人种学(观察) • 网络志(线上人种学) • 民意调查 •利益相关方调查 (例如,满意度、信任度) • 焦点小组(同上) •面访(同上) • 净推荐值(NPS)12 | •数据库纪录(例如,献血、 健康结果、会员, 等) • 销售跟踪 • 捐献跟踪 • 客户关系管理数据 •员工调查数据 • 声誉研究 •成本效益分析/效益成本比率 • 投资回报率(若有财务目标) •计量经济学13 •生活品质量表及福利措施 |
关于评估分类法的注释
- 信任被认为是一种中间成果,原因在于其目的是产生一种长期影响,例如在政选中当选、客户继续同某一公司进行业务往来等,其本身并非是最终目标。
- 一些项目逻辑模型将第一阶段称为投入/资源。
- 高级心得可能会与短期成果重叠或与其一致。这就是为什么最常用的项目逻辑不会将心得作为一个阶段。心得和成果可以是认知的、情感的(感性的)、意动的(行动的)。
- 长期成果同影响重叠并且有时被认为同影响一致。
- 影响通常针对组织进行评估的。但是,正如介绍中指出的,对利益相关者、公众以及对社会的影响应作为一个整体考虑在内。这对于政府、非政府以及致力于提供公共服务的非营利组织而言至关重要。但是,对利益相关者和社会产生的影响又会影响并塑造企业经营环境(也就是说,这一评估会成为环境分析、受众调查以及市场调研的一部分,并为未来的规划提供信息)。
- 在很多案例中因果关系难以确立,尤其是在很多情况下,多重因素造成当前影响(结果)。因果关系的三条关键规则必须适用:(a)所陈述的原因必须发生在所陈述的效果/影响之前;(b)所陈述的原因和结果之间的关系必须清楚(例如,必须有证据表明受众接触并使用你所提供的信息);(c)其他的可能原因必须被尽可能排除。
- 有些项目将规划作为投入的一部分。但是,如果这样的话,形成性研究(应在规划之前进行)也需要被归入投入部分。然而,大多数的项目评估模型将形成性研究和规划认定为关键活动,作为传播项目中的一部分来实施。投入通常是在活动/项目开展之前。
- 接收是指受众接收的消息或信息,其与暴露略有不同。例如,一个观众可能被暴露于他们所接触的媒体的故事中,但是同样可以跳过这个故事,从而不会接收到其中的信息。同理,他们可能参加一场贸易展之类的活动并被暴露于各种信息内容之中,但不会接收任何信息。(例如,通过忽略或选择内容来关注)
- 学习(即,获得知识)并不要求在所有的案例中体现。但是,在一些公共沟通活动和项目中确实需要。例如,在女性群体中开展健康活动以鼓励人们对富含钙食物及营养品的摄取从而达到在这一群体中减少骨质疏松症发病率的目的。首先,女性必须接受有关骨质疏松症的教育(例如,什么是骨质疏松症及其发病原因等)。同理,战胜肥胖需要饮食教育。而理解是指对所传递的信息的理解,学习是指为了实现目标而获取更深层次、更广范围的知识。
- 人种学是一种基于长期密集型的第一手观察而形成的一种研究方法,经常辅以访谈或其他研究方法。
- 网络志是一种线上的人种学,其通过密切监测在线用户的评论、点击路径以及其他数字指标以确定他们的行为模式、态度等。
- 净推荐值是一种基于单个问题的评分体系(满分为10分)。例如:“你有多大可能将某一【品牌】推荐给你的一个朋友或同事?” 得分在0-6区间被认定为“批评者”;得分在7-8区间被认定为“满意但不积极热情”;得分在9-10区间被认定为“忠实、热情的支持者、拥护者”。(参考https://www.netpromoter.com/know)
- 计量经济学是应用数学和统计学的方法来测试假设并依据经验数据确定各因素间的经济关系。(参考http://www.dummies.com/how-to/content/econometrics-for-dummies-cheat-sheet.html)
缩略语
CPM Cost per thousand (mille =拉丁语“千”)千人成本
CRM Customer relationship management (数据通常存储于CRM数据库中) 客户关系管理
关键业绩指标(参考 http://www.ap-institute.com/what-is-a-key-performance-indicator.aspx)
能见几率(通常与印象(impressions)的计算方法相同)
PEST是一种评估框架,分析大环境中的政治、经济、社会与科技等四种因素。
PESTLE 是一种评估框架,分析大环境中的政治、经济、社会、科技、法律与环境等因素。(也被称作PESTEL,环境置于法律之前)(参考http://pestleanalysis.com/how-to-do-a-swot-analysis)
投资回报率
SMART目标原则是指所设定的目标应该是具体的、可衡量的、可实现的、相关性 (例如,与组织目标相关),以及有时限性的 (例如,在规定的期限内)
SWOT 是一种战略规划方法,分析企业的优势、劣势、以及所面临的机会和威胁
目标收视点是根据广告业使用的评分系统对目标受众进行评分(参考 http://www.multimediabuying.com.au/faq)
威斯康星大学扩建项目(参考Taylor-Power & Henert, 2008)
参考文献及补充信息
Broom, G. (2009). Cutlip & Center’s effective public relations (10th ed.). Upper Saddle River, NJ: Pearson.
Cutlip, S., Center, A., & Broom, G. (1985). Effective public relations (6th ed.). Englewood Cliffs, NJ: Prentice Hall.
Cutlip, S., Center, A., & Broom, G. (1994). Effective public relations (7th ed). Upper Saddle River, NJ: Prentice Hall.
Grunig, J. (2008). Conceptualizing quantitative research in public relations. In B. van Ruler, A. Tkalac Verĉiĉ, & D. Verĉiĉ (Eds.), Public relations metrics: research and evaluation (pp. 88–119). New York, NY: Routledge.
Grunig, L., Grunig J., & Dozier, D. (2002). Excellent organizations and effective organizations: A study of communication management in three countries. Mahwah, NJ: Lawrence Erlbaum.
Stacks, D., & Bowen, S. (Eds.). (2013). Dictionary of public relations measurement and research. Gainesville FL: Institute for Public Relations. Available athttp://www.instituteforpr.org/topics/dictionary-of-public-relations-measurement-and-research
Taylor-Power, E., & Henert, E. (2008). Developing a logic model: Teaching and training guide. Retrieved fromhttp://www.uwex.edu/ces/pdande/evaluation/pdf/lmguidecomplete.pdf
Wholey, J. (1979). Evaluation: Promise and performance. Washington, DC: Urban Institute Press.
Wholey J., Hatry, H., & Newcomer, K. (Eds.). (2010). Handbook of practical program evaluation (3rd ed.). San Francisco, CA: Jossey-Bass.