ТАКСОНОМИЯ ОЦЕНКИ ПО ОТНОШЕНИЮ К СТАНДАРТАМ
ЧТО ТАКОЕ ТАКСОНОМИЯ, И ДЛЯ ЧЕГО ОНА НУЖНА?
Существует целый ряд моделей оценки в области PR и коммуникаций, где используется широкий набор терминов, включая исходные данные (inputs), PR-результаты (outputs), PR-реакции (outtakes), долгосрочные PR-результаты (outflows), общий эффект PR-деятельности (outgrowths), последствия (effects), результаты (results) и конечный эффект (impact). Для каждого отдельного этапа разрабатывается еще более обширный набор метрик и методов оценки, что вызывает замешательство у многих специалистов.
Таксономия – схема классификации понятий и терминов с указанием их иерархической структуры. На данной странице представлена таксономия оценки стратегических публичных коммуникаций. В ней определены:
- Основные этапы коммуникации (исходные данные, PR-результаты и т.д.);
- Ключевые ступени внутри каждого отдельного этапа (распространение информации, восприятие со стороны получателей информации и т.д.)
- Примеры метрик и контрольных точек, которые вырабатываются или определяются в рамках оценки на каждом этапе;
- Наиболее распространенные методы для выработки показателей и контрольных точек.
Следует понимать, что таксономия – не то же самое, что модель. В рамках таксономии предпринимается попытка перечислить все основные понятия, термины, показатели, методы, и т.д., используемые в конкретной области, тогда как модель представляет собой иллюстрацию определенной программы или мероприятия, которое требуется реализовать на практике. Тем не менее, модели должны базироваться на понятиях и методах, признанных в качестве допустимых для данной области, и применять их надлежащим образом.
Важное преимущество таксономии состоит в том, что она выстраивает четкую структуру понятий, показателей и методов, в которой каждый элемент занимает четко отведенное ему место. Таким образом, например, это позволяет избежать путаницы между итоговыми и исходными показателями. Катлип, Центер и Брум, авторы широко известной книги по PR-тематике «Эффективные связи с общественностью», в изданиях с 1985 года по конец 2000-х неоднократно подчеркивали, что «распространенной ошибкой в области оценки программ является замена показателей, которые используются на одном уровне, на показатели, что должны применяться на другом» (1985, стр. 295; 1994, стр. 44; Broom, 2009, стр. 358). Почетный профессор в области связей с общественностью Джим Грюниг также отмечает, что многие специалисты используют «показатель, полученный на одном уровне анализа, для демонстрации результата на более высоком уровне анализа» (2008, стр. 89). В широко используемом руководстве по логическим моделям программ оценки, разработанном Университетом Висконсина, отмечается, что «часто возникает проблема в понимании разницы между PR-результатами и PR-последствиями» (Taylor-Power & Henert, 2008, стр. 19).
Очевидно, что ни одна таксономия не может быть абсолютно полной. Однако следует отметить, что при подготовке таксономии, представленной здесь, был использован целый ряд разнообразных научных исследований, что позволило достичь максимально всеобъемлющего и полного конечного результата. С деталями, которые касаются разработки и основ данной таксономии, а также ее непосредственной структуры, можно ознакомиться в разделе «Знакомство c Интегрированной системой оценки AMEC».
ПРИМЕЧАНИЯ ПО ИСПОЛЬЗОВАНИЮ ДАННОЙ ТАКСОНОМИИ
- Ключевые ступени, показатели, контрольные точки и методы не являются исчерпывающими, и не все из них необходимо применять в каждой программе. Они отражают наиболее распространенные и типичные подходы к оценке публичных коммуникаций, включая рекламу, связи с общественностью, маркетинговую коммуникацию и т.д. Специалисты должны подбирать подходящие показатели, контрольные точки и методики, желательно, как минимум, по одной на каждом этапе.
- Порядок расположения исходных данных, PR-результатов и мероприятий и т.д. не следует интерпретировать как простой линейный процесс. Результаты каждого этапа должны приниматься в расчет с целью корректировки, регулировки и изменения стратегии и тактики, если того требует ситуация. Процесс оценки носит итеративный (цикличный) характер.
- Не каждая процедура оценки способна выявить результаты воздействия (impact), особенно если она проводится в течение сравнительно короткого периода времени после самой коммуникации. Результаты воздействия часто обнаруживают себя лишь спустя несколько лет. Кроме того, в некоторых случаях публичная коммуникация осуществляется с целью сформировать осведомленность (PR-показатель или краткосрочное PR-последствие) или завоевать доверия (промежуточное последствие) [xii]. Однако, как правило, оценка не ограничивается PR-результатами и PR-измерениями и должна, как минимум, включать в себя информацию о PR-последствиях и, если возможно, о воздействии.
- Важной особенностью данной таксономии является то, что PR-воздействие рассматривается на организационном и общественном уровнях, а также на уровне заинтересованных лиц. Данный подход соответствует принципам теории оценки программ и логических моделей программ (напр., Kellogg Foundation, 1998/2004; Taylor-Power & Henert, 2008; Wholey, 1979; Wholey, Hatry, & Newcomer, 2010), а также Теории совершенства в области PR, которая требует проведения оценки на (1) программном; (2) функциональном (департамент или отдел); (3) организационном; и (4) общественном уровнях (L. Grunig, J. Grunig & Dozier, 2002, стр. 91–92).
Developed by Professor Jim Macnamara for AMEC.
| ЭТАПЫ определение | ИСХОДНЫЕ ДАННЫЕ2 | МЕРОПРИЯТИЯ | PR-РЕЗУЛЬТАТЫ | PR-ИЗМЕРЕНИЯ3 | PR‐ПОСЛЕДСТВИЯ4 | КОНЕЧНЫЙ ЭФФЕКТ5 |
|---|---|---|---|---|---|---|
| Краткое определение | То, что нужно подготовить до начала процесса коммуникации | Действия, предпринимаемые в рамках планирования и практической реализации коммуникационного продукта | Продукт PR-кампании, который может быть получен и воспринят представителями целевой | Оценка реакции представителей целевой аудитории на коммуникационные продукты PR‐кампании | Эффект, последствия, или влияние коммуникационных программ и продуктов на целевую аудиторию | Масштаб влияния, оказываемого (полностью или частично) вашими коммуникационными продуктами |
| КЛЮЧЕВЫЕ СТУПЕНИ МЕЗОУРОВЕНЬ | • Задачи • Бюджет • Ресурсы (напр., штат служащих, агентства/ведомства, инфраструктура, партнерство) | • Формативные исследования • Планирование7 • Производство (дизайн, написание, закупка средств рекламы, работа со СМИ, медиа-партнерства, и т.д.) | • Распространение • Экспозиция • Восприятие8 | • Внимание • Осведомленность • Понимание • Интерес / симпатия • Вовлеченность • Участие • Изучение (рассмотрение) | • Усвоение / знание9 • Изменение отношения • Удовлетворенность • Доверие • Предпочтение • Намерение • Приверженность (поддержка) | • Репутация • Взаимоотношения • Соблюдение установленных требований • Организационные изменения • Общественные/социальные изменения |
| ТИПОВЫЕ ПОКАЗАТЕЛИ И КОНТРОЛЬНЫЕ ТОЧКИ
МИКРОУРОВЕНЬ | • SMART-задачи • Целевые показатели / Ключевые показатели эффективности | • Исходные показатели / бенчмаркинг (напр., текущий уровень осведомленности) • Потребности, предпочтения и т.д. целевой аудитории • Стратегический план • План оценки • Данные предварительного тестирования (напр., творческие концепции) • Производимый контент (напр., пресс-релизы, вебсайты) • Работа со СМИ | • Объем информационной поддержки •Медиа-охват • Количество потенциальных контактов (OTS) • Упоминаемость • Тон /тональность/ благосклонность • Размещенные сообщения • Посты, твиты, и т.д. • Cуммарное количество рейтингов целевой аудитории (TARPs) • Объем электронного маркетинга • Стоимость 1000 «благоприятных контактов» (CPM) • Показатель кликабельности • Посещаемость мероприятий | • Уникальные посещения • Просмотры • Реакция (количество фолловеров, лайков, тегов, шеров, ретвитов) •Повторные посещения/просмотры • Воспроизведение в памяти (без подсказки, с подсказкой) • Положительные комментарии • Положительный отклик в опросах и т.д.. •Подписчики (RSS‐подписчики, подписчики на информационные рассылки) • Вопросы | • Принятие сообщений • Уровень доверия • Заявления о поддержке или намерениях • Лиды • Регистрации (напр., в списках доноров органов) • Брендовые предпочтения • Опробование • Вступление • Повторное подтверждение (напр., удовлетворенность сотрудников) | • Поддержка со стороны общественности • Выполнение поставленных целей (сдача крови; членство в программах скрининга на наличие онкологических заболеваний и т.д.) • Рост продаж • Рост пожертвований • Экономия средств • Удержание сотрудников • Удержание клиентов/ лояльность клиентов • Улучшение качества жизни/рост уровня благосостояния |
| МЕТОДЫ ОЦЕНКИ | • Внутренний анализ • Анализ внешней среды • Анализ осуществимости (выполнимости) • Анализ риска | • Анализ метаданных (напр., предыдущие исследования и метрики) • • Изучение рынка и аудитории (опросы, фокус-группы, интервью) • Проведение консультаций с заинтересованными сторонами • Изучение кейсов (напр., лучших практик) • SWOT-анализ (или PEST-анализ, PESTLE-анализ и т.д.) • Предварительное тестирование • Экспертная оценка | • Медиа-показатели (статистика аудитории, количество потенциальных контактов, стоимость 1000 «благоприятных контактов — CPM) • Анализ медиа-контента (количественный) • Анализ медиа-контента (качественный) • Анализ социальных сетей (количественный и качественный) • Отчеты о проделанной работе (мероприятия, спонсорские проекты и т.д.) | • Веб-статистика (просмотры, загрузки) • Анализ соцсетей (качественный – напр., комментарии) • Реакция/отклик (комментарии, письма) • Этнографические методы10 (наблюдение) • Нетнография11 (или онлайн-этнография) • Опросы аудитории (осведомленность, понимание, интерес, мнение) • Фокус-группы (см. выше) • Интервью (см. выше) | • Анализ соцсетей (качественный) • Статистика баз данных (отслеживание вопросов, установление источников) • Этнографические методы (наблюдение) • Нетнография (или онлайн-этнография) •Опросы общественного мнения • Опросы заинтересованных сторон (удовлетворенность, доверие) • Фокус-группы (см. выше) • Интервью (см. выше) • Индекс лояльности NPS 12 | • Записи в базе данных (донорство крови, показатели состояния здоровья, членство, и т.д.) • Отслеживание продаж • Отслеживание пожертвований • Данные CRM • Результаты опросов сотрудников • Исследования репутации • Анализ эффективности затрат/отношение «затраты-выгода» •Окупаемость инвестиций, ROI (при наличии финансовых задач) • Эконометрика 13 • Шкалы оценки качества жизни и уровня благосостояния |
СНОСКИ К ТАКСОНОМИИ ОЦЕНКИ
- Доверие считается промежуточным результатом, поскольку его пытаются завоевать для достижения более долгосрочных целей (победы на выборах, удержания клиентов в компании и т.д.). Доверие само по себе не является конечной целью.
- В некоторых логических моделях программ данный этап называется «Исходные данные/Ресурсы».
- PR-измерения на продвинутой стадии по смыслу совпадают с краткосрочными PR-последствиями и могут приравниваться к ним. Именно по этой причине в большинстве наиболее распространенных логических моделей программ PR-измерения не выделяют в отдельный этап. PR-измерения и PR-последствия могут подразделяться на когнитивные и/или аффективные (эмоциональные) и/или конативные (поведенческие).
- Долгосрочные последствия совпадают по смыслу с конечным эффектом и иногда приравниваются к нему.
- Конечный эффект часто оценивается исключительно по отношению к самой организации. Однако, как уже отмечалось во введении, эффект, оказываемый на заинтересованные стороны, общественность и общество в целом, также подлежит оценке. В особенности это касается правительственных, неправительственных и некоммерческих организаций, чья роль заключается в обслуживании общественных интересов. Помимо этого эффект на заинтересованные стороны и общество в целом способствует формированию среды, в рамках которой функционирует бизнес (т.е. данная оценка является частью анализа внешней среды и изучения аудитории и рынка, на данных которых и строится планирование).
- Часто бывает весьма трудно установить причинно-следственную связь, особенно в тех случаях, когда на конечный результат оказывают воздействие сразу целый ряд факторов (часто именно так и происходит). Должны применяться три ключевых правила каузальности: (a) предполагаемая причина должна предшествовать предполагаемому эффекту/воздействию; (b) между предполагаемыми причиной и следствием должна прослеживаться четкая связь (напр., должны быть доказательства того, что аудитория имела доступ к предоставлявшейся вами информации и пользовалась ею); и (c) другие возможные причины должны жестко исключаться.
- Иногда планирование включают в исходные данные. В этом случае в исходные данные также должны быть включены и формативные исследования (которые должны предшествовать планированию). Однако в большинстве моделей оценки программ формативные исследования и планирование фигурируют как ключевые мероприятия, осуществляемые в рамках программы коммуникации. Под исходными данными обычно понимают действия, предпринимаемые на предварительном этапе подготовки программы или кампании.
- Восприятие относится к той информации и сообщениям, которые были получены и осмыслены целевой аудиторией, и тем самым немного отличается от экспозиции. Например, аудитория может увидеть материал в газете или на ТВ, но проигнорировать его и не получить содержащуюся в нем информацию. Аналогичным образом, можно посетить мероприятие, вроде торговой выставки, но не получить какую-либо важную информацию или сообщение (из-за невнимательности или сосредоточения внимания на чем-то другом).
- Усвоение (или приобретение знаний) не является обязательным элементом. Однако в некоторых кампаниях или проектах публичной коммуникации оно необходимо. Например, в ходе кампаний по продвижению пищевых продуктов и добавок, обогащённых кальцием, с целью снижения заболеваемости остеопорозом среди женщин выяснилось, что для начала необходимо проводить разъяснительную работу о данном заболевании (его природе, причинах и т.д.). Аналогичным образом, борьба c ожирением требует проведения просветительской работы по вопросам подбора диеты. Если понимание обозначает постижение непосредственно смысла передаваемых сообщений, то под усвоением понимается приобретение более глубоких и широких знаний, необходимых для достижения задач.
- Этнография – это метод исследования, основанный на интенсивном личном наблюдении, осуществляемом на протяжении длительного периода времени, часто с использованием интервью и других исследовательских методов.
- Нетнография — это специфический вид онлайн-этнографии, базирующийся на пристальном наблюдении и изучении естественных установок и паттернов поведения интернет-пользователей путем отслеживания их комментариев, кликов и прочих цифровых метрик.
- Индекс лояльности NPS базируется на оценке, которая дается в зависимости от ответа на вопрос: «Какова вероятность того, что Вы порекомендуете компанию/товар/бренд своим друзьям/знакомым/коллегам?» На основе полученных оценок все потребители разделяются на 3 группы: 9-10 баллов — активные сторонники/пропагандисты/энтузиасты товара/бренда, 7-8 баллов — нейтральные потребители (довольные, но не восторженные), 0-6 баллов — критики (detractors)/недовольные. (См. https://www.netpromoter.com/know)
- Эконометрика – применение математических и статистических методов для проверки гипотез и определения экономических взаимосвязей на основе эмпирических данных (см. http://www.dummies.com/how-to/content/econometrics-for-dummies-cheat-sheet.html)
АББРЕВИАТУРЫ
CPM Cost per thousand (mille = Latin for thousand) — Стоимость 1000 «благоприятных контактов» (mille в переводе с латинского означает «тысяча»)
CRM Customer relationship management (data commonly held in CRM databases) — Система управления взаимоотношениями с клиентами (данные, которые обычно содержатся в базах данных CRM)
KPI Key Performance Indicator (see http://www.ap-institute.com/what-is-a-key-performance-indicator.aspx) — Ключевой показатель эффективности
OTS Opportunities to see (usually calculated the same as ‘impressions’) — Возможность увидеть сообщение (часто исчисляется также как «количество потенциальных контактов»
PEST An evaluation framework that examines ‘political’, ‘economic’, ‘social’ and ‘technological’ factors — PEST-анализ — инструмент оценки, предназначенный для выявления политических (Political), экономических (Economic), социальных (Social) и технологических (Technological) аспектов внешней среды.
PESTLE An evaluation framework that examines ‘political’, ‘economic’, ‘social’, ‘technological’, ‘legal’ and ‘environmental’ factors (also used as PESTEL, with ‘environmental arranged before ‘legal) (see http://pestleanalysis.com/how-to-do-a-swot-analysis) — PESTLE-анализ – инструмент оценки, предназначенный для выявления политических (Political), экономических (Economic), социальных (Social), технологических (Technological), правовых (Legal) и экологических (Environmental) аспектов внешней среды. Есть еще PESTEL-анализ (в аббревиатуре экологические аспекты предшествуют правовым).
ROI Return on investment — Окупаемость инвестиций
SMART Refers to objectives that are ‘specific’, ‘measureable’, ‘achievable’, ‘relevant’ (e.g., linked to organizational objectives), and ‘time-bound’ (i.e., within a specified period) — SMART — мнемоническая аббревиатура, используемая для определения целей и постановки задач. Включает в себя Конкретные (Specific), Измеримые (Measurable), Достижимые (Achievable), Актуальные, т.е. связанные с организационными задачами (Relevant), и Ограниченные во времени (Time-bound) цели.
SWOT A strategic planning method that examines ‘strengths’, ‘weakness’, ‘opportunities’, ‘threats’ — SWOT-анализ — метод стратегического планирования, заключающийся в выявлении факторов внутренней и внешней среды организации и разделении их на четыре категории: Strengths (сильные стороны), Weaknesses (слабые стороны), Opportunities (возможности) и Threats (угрозы)
TARPs Target audience ratings points based on the ratings system used in advertising (see http://www.multimediabuying.com.au/faq) — Cуммарное количество рейтингов целевой аудитории на основе рейтинговой системы, используемой в рекламе
UWEX University of Wisconsin Extension program (see Taylor-Power & Henert, 2008) — Программа “Extension” Университета штата Висконсин
Библиография и дополнительная информация
Broom, G. (2009). Cutlip & Center’s effective public relations (10th ed.). Upper Saddle River, NJ: Pearson.
Cutlip, S., Center, A., & Broom, G. (1985). Effective public relations (6th ed.). Englewood Cliffs, NJ: Prentice Hall.
Cutlip, S., Center, A., & Broom, G. (1994). Effective public relations (7th ed). Upper Saddle River, NJ: Prentice Hall.
Grunig, J. (2008). Conceptualizing quantitative research in public relations. In B. van Ruler, A. Tkalac Verĉiĉ, & D. Verĉiĉ (Eds.), Public relations metrics: research and evaluation (pp. 88–119). New York, NY: Routledge.
Grunig, L., Grunig J., & Dozier, D. (2002). Excellent organizations and effective organizations: A study of communication management in three countries. Mahwah, NJ: Lawrence Erlbaum.
Stacks, D., & Bowen, S. (Eds.). (2013). Dictionary of public relations measurement and research. Gainesville FL: Institute for Public Relations. Available at http://www.instituteforpr.org/topics/dictionary-of-public-relations-measurement-and-research
Taylor-Power, E., & Henert, E. (2008). Developing a logic model: Teaching and training guide. Retrieved from http://www.uwex.edu/ces/pdande/evaluation/pdf/lmguidecomplete.pdf
Wholey, J. (1979). Evaluation: Promise and performance. Washington, DC: Urban Institute Press.
Wholey J., Hatry, H., & Newcomer, K. (Eds.). (2010). Handbook of practical program evaluation (3rd ed.). San Francisco, CA: Jossey-Bass.