Рекомендации
и благодарности

...приятно удивила гибкость и оперативность...

..высококлассная команда, которую можно смело рекомендовать...

...умение в кратчайшие сроки решать все возникающие вопросы...

...хорошее понимание особенностей исследуемого рынка...

...профессионалы, способные найти наиболее эффективное решение...

...a high degree of responsiveness and attention to customer needs...

...только положительные впечатления...

...высокопрофессиональные эксперты, в полной мере владеющие современными инструментами сбора маркетинговой информации...

Главная / Публикации / Маркетинговая информация: написанному верить! (о достоверности результатов исследований)

Маркетинговая информация: написанному верить! (о достоверности результатов исследований)

В середине веселых 90-х от нового слова «маркетинг» отдавало легким душком. Плохие парни успешно преобразовывали деньги из скучного безнала в веселые наличные, заключая с некими подрядчиками договоры на маркетинговые исследования. Объем таких транзакций во много раз превышал тогдашнюю емкость рынка «честных» исследований. Поэтому совсем было не удивительно, что каждому директору нормального маркетингового агентства в те лихие годы хотя бы раз, но приходилось с интересом рассказыватьо своей деятельности благодарным слушателям из местного УБЭПа. И я тоже рассказывал. 

И еще из тех веселых лет я помню общую настороженность и недоверие к качеству маркетинговой информации. Как-то не принято это было — доверять анализ своего рынка какой-то уж очень сторонней организации. И правда, кто же знает мой рынок лучше меня? А я тогда чего стою? И приходилось бороться, доказывать, убеждать. 

Прошло больше десяти лет, рынок сильно изменился, клиент продвинулся, подрядчик заматерел. Вот уже без ошибок и почти всегда к месту маркетологи произносят слова «скрининг» и «бустинг», умеют пересчитывать цену проекта на стоимость одной анкеты и вообще ведут себя очень по-взрослому. Но недоверие к качеству информации, полученной в результате исследований, всё же осталось. 

Более того, несмотря на массу профильной литературы (как околонаучной, так и научно-популярной), в уважаемых издательствах выходят книги с, мягко говоря, ненаучными оценками достоверности маркетинговой информации. Буквально на днях в авторском издании одного серьезного господина я прочитал, что «ошибка рыночной информации достигает в среднем 40–50 процентов» и «даже если компания потратила миллионы долларов на сбор информации и исследования рынка, точность информации в лучшем случае вряд ли превысит 60 процентов»... Да бог с ним, с этим господином. Проблема в том, что он не одинок в своем суждении. И если весь трехтысячный тираж проникнет в неокрепшие умы начинающих маркетологов — это ж какой урон рынку исследований?! 

Ну а если серьезно, то скептические оценки «ресёча» весьма распространены (и часто этот скепсис вполне заслужен). Нередки случаи, когда у двух разных маркетинговых агентств, исследовавших один и тот же рынок, по некоторым показателям результаты оценок расходились в разы. Заказчиков это, естественно, сильно расстраивает. 

Что же говорят скептики? Вкратце, большинство пассажей о «тщете ресёча» основываются на следующем: 

  1. Респонденты обманывают. А зачем, собственно, им говорить правду? Вот, если бы меня опросили, я бы точно сказал неправду или честно промолчал.
  2. Обманывают интервьюеры. Логично, ведь «рисовать анкеты» на кухне или в подъезде намного комфортнее, чем честно мерзнуть под дверями теплых магазинов, да и экономически, опять же, выгоднее.
  3. Опросили не тех. Например, мелкие лояльные потребители ответили, а остальные скромно отмолчались.

Ну и в итоге — ошибка накопилась и результатам верить нельзя. 

Очень стройная конструкция. И, самое главное, все это, в той или иной степени, правда. Да, респонденты не всегда откровенны. Да, интервьюеры регулярно «рисуют» анкеты. Да, есть проблемы со смещением выборки. И все-таки рынок исследований существует уже без малого столетие, измеряется миллиардами долларов в год по всему миру, а в России еще и растет темпами 30 процентов в год. Почему? Попробуем разобраться со стереотипами без эмоций. 

Итак, основные причины возможного возникновения недостоверной информации. 

Некорректные (недостоверные) ответы респондентов
Такое, действительно, случается и, к сожалению, не редко. Сразу честно отметим, что в большинстве случаев это происходит по вине исследователя. Здесь чаще всего встречаются следующие ситуации: 

  • Вопросы анкеты (равно как и варианты ответов) могут поставить респондента в тупик. На профессиональном сленге это называется «состояние неответа», когда человек владеет информацией и готов ей поделиться, но не может это сделать. Затруднить респондента может некорректно сформулированный вопрос (например, «Чистите ли вы зубы по утрам и вечерам?»). Бывает также, что респондент не находит себя среди предлагаемых вариантов ответов. Примеры таких анкет (из серии «узнайте, лидер ли вы») часто можно встретить в модных женских журналах или популярных народных газетах. В этой ситуации, что бы ни ответил респондент, он скажет неправду. С этой бедой при желании бороться достаточно просто. Для того чтобы проверить корректность вопросов исследователи обычно проводят т.н. «пилотный опрос», входе которого изучается восприятие вопросов респондентами. По итогам «пилота» инструментарий исследования дорабатывается.
  • Вопросы анкеты программируют респондентов на ответ (самый популярный пример программирующего вопроса «Знаете ли вы компанию Х?»). Однако чаще программирование просачивается в анкету в менее явной форме, смещая ответы респондентов вслед за эмоциональным фоном вопросов. Поэтому при составлении вопросов (и вариантов ответов) маркетологи стараются избегать слов, имеющих эмоциональную окраску («большой», «удобный», «красота» и пр.).
  • Респондента спрашивают о том, чего он уже не помнит («Сколько йогуртов вы купили месяц назад?») или о том, что он еще не успел спланировать («Как часто вы будете посещать кофейню, которая откроется за углом?»). При этом он вполне может являться представителем целевой аудитории и искренне желать помочь исследователям. Темы былого и грядущего вообще создают маркетологам много хлопот, поскольку в большинстве случаев маркетинговое исследование — инструмент получения моментальных фотографий рынка. Но здесь нам на помощь приходит математическая статистика: если респонденты фантазируют, их ответы распределяются случайным образом и этоговорит о том, что неопределенность снизить не удалось и можно не тратить время на выявление средних значений. Лучше все переделать, используя другие инструменты.


Есть еще стереотип о злонамеренных респондентах, которые сознательно врут (и радуются). Что ж, бывает и такое. Но с такими респондентами борется все та же математическая статистика. Если ответы респондентов сильно отклоняются от общих распределений, то такие анкеты исключаются из анализа. А если респонденты «врут помаленьку», то на средние значения это не влияет: оптимисты немного добавляют, пессимисты убавляют, а общая оценка в итоге остается той же. Если к несчастью обманщиков оказалось много, то итоговые распределения ответов на вопросы опять же носят случайный характер. Это означает, что исследование нужно проводить заново, менять технологию, перерабатывать инструментарий. К счастью, такое бывает крайне редко, в частности, в нашей восьмилетней практике не встречалось ни разу. 

Некорректная интерпретация ответов интервьюерами
Такое случается по недоразумению (респондент пробурчал одно,а интервьюер не расслышал и записал другое) либо злому умыслу (это когда интервьюеры «рисуют анкеты на кухне»). С этим злом бороться проще всего. За сто с хвостиком лет существования социологии разработан богатый набор видов контроля качества первичной информации. Вот основные из них: 

  • В ходе опроса за интервьюерами, в буквальном смысле из-за угла, следит супервайзер, выборочно фиксирующий присутствие опрашивающих на своих местах. Особенно полезен супервайзер зимой в ходе уличных опросов. Если интервьюера не оказалосьв нужное время и в нужном месте — его ждет серьезный разговор с возможными последствиями, вплоть до штрафных санкций.
  • В ходе предварительного анализа информации все данные, несоответствующие формату анкеты (вместо цифры — слова, пустые поля и пр.) или резко выбивающиеся изобщей картины (другой порядок величины) обсуждаются вместе с интервьюером и далее при необходимости уточняются у респондента при повторном звонке.
  • После завершения сбора анкет определенная часть респондентов прозванивается повторно с выборочными вопросами. Процент повторных звонков зависит от размера и состава выборки, а также от дисперсии данных. В среднем он составляет 25 процентов, но в ряде случаев (преимущественно, для В2В) может доходить и до 100 процентов. Если ответы респондента при повторном опросе существенно отличаются, интервьюера снова ждут штрафные санкции.
  • Наконец, даже если интервьюер-обманщик исключительно талантлив и везуч, ему тоже приходится в финале побороться с машиной математической статистики. В ходе обработки данных проводится анализ соответствия распределений ответов на одни и те же вопросы, полученных каждым интервьюером, со средними распределениями. Если наблюдается отклонение, превышающее статистическую погрешность анкеты из рассмотрения исключаются, а интервьюер остается без «сладкого».

Следует отметить, что все эти инструменты работаютдо тех пор, пока интервьюеры имеют определенный материальный интерес. То есть, проще говоря, их труд должен достойно оплачиваться.

Можно и должно вводить показатели эффективности работы, понижающие и повышающие коэффициенты, премиальные бонусы и штрафные вычеты. А еще встречается такая схема, что интервьюерам планово задерживают сумму выплат по уже реализованным проектам и в случае, если на новом проекте кого-то ловят на сознательном обмане, старые деньги сгорают вместе с новыми. И, знаете, работает! 

Несовершенство выборки
Достаточно характерная ситуация, когда результаты, полученные в ходе опроса выбранных респондентов, нельзя корректно транслировать на всю генеральную совокупность. Или, точнее, транслировать можно, но непонятно, корректно это или нет. Проблемы моделирования выборки, в большинстве случаев создают наибольшие сложности исследователям, но и они, тем не менее, преодолимы. Рассмотрим наиболее характерные случаи: 

  • Выборка накрывает не всю аудиторию исследования (по каким-то причинам несколько групп потенциальных потребителей ненамеренно выпали из опроса). При этом ситуация с сознательным ограничением числа групп потенциальных потребителей, когда исследователи преднамеренно опрашивают только основных потребителей и не интересуются мнением всех остальных, вполне уместна. Возможно, они просто хотят снизить издержки, опросив меньше респондентов, или построить консервативный прогноз спроса. Тем не менее, такие случаи встречаются относительно редко и крупные группы потребителей, формирующие более 5–10 процентов от общих объемов спроса, в выборку должны попасть. Чтобы никого не забыть, исследователи могут провести опрос в два этапа: на первом (скрининг) выявляются эти самые регулярные потребители, а на втором (бустинг) внутри каждой из выявленных групп определяется практика потребления. Моделирование выборки (параметры квотирования) также можно сделать по итогам проведенного пилотного опроса. Количество «пилотных» респондентов должно составить не менее 5–7 процентов от общего объема выборки.
  • Число ответов среди определенных клиентских групп недостаточно для проведения статистического анализа. Такая ситуация встречается сплошь и рядом, особенно, когда дело касается исследования крупных предприятий или частных лиц с высоким уровнем дохода. И если по частникам, как правило, можно «добрать» анкеты, потратив чуть больше времени и денег, то с предприятиями это не всегда возможно. Просто их по определению меньше. Таким образом, достаточно часто по итогам опроса мы имеем выборку, смещенную в сторону средних и мелких. Если добор не возможен, исследователи используют методы внутригрупповой интер- и экстраполяции. Например, рассчитываются относительные объемы потребления на одного работающего, предполагая наличие зависимости: объем производства — количество сотрудников — объем потребления. В некоторых случаях удается даже в явном виде найти эту самую зависимость с использованием данных, полученных на более средних и мелких собратьях. И далее выявленная зависимость экстраполируется на интересующие нас (плохо изученные) клиентские группы. В большинстве случаев наблюдается закономерное снижение прироста потребления с ростом числа трудящихся (работает эффект масштаба). Но в ряде случаев можно наблюдать и обратную картину. Например, исследуя потребление канцелярии и бумаги, был отмечен рост относительного потребления этих расходных материалов от численности управленцев. Феномен был назван «фактор корпоративности» (рост относительного потребления канцелярских принадлежностей с ростом числа менеджеров компании). Следует отметить, что допускается только внутригрупповая экстраполяция, попытка транслировать закономерности, полученные для одних групп потребителей (например, тех же отраслей) на другие, некорректна.
  • Непонятен размер (и структура) самой генеральной совокупности. То есть исследование проведено, ответы от респондентов получены, но как их дальше экстраполировать — непонятно. В большинстве случаев для определения характеристик генеральных совокупностей используются данные Росстата. В крупных маркетинговых агентствах также распространена практика использования результатов предшествовавших исследований. Однако возможности органов статистики ограничены используемой системой критериев: например, невозможно выяснить, сколько в городе компаний, осуществляющих монтаж систем вентиляции и кондиционирования. Просто нет такого признака в классификаторе Росстата. Поэтому, достаточно часто исследователям приходится формировать генеральную совокупность «вручную». Тогда источниками базовой информации в данном случае служат различные справочники вплоть до газет бесплатных объявлений (один раз нам даже приходилось переписывать телефоны монтажных бригад, размещенных на столбах и заборах). В данном случае критерий отбора исключительно прост: если компания не информирует потенциальных клиентов о своих услугах — можно считать, что ее нет. Работа по формированию базы достаточно трудоемкая: как правило, приходится перелопатить много источников. Полученная база выборочно прозванивается и размер сформированной таким образом генеральной совокупности корректируется понижающим коэффициентом с учетом выявленных «мертвых душ».


В ряде случаев о размере генеральной совокупности можно спросить самих респондентов («много ли в городе компаний аналогичного профиля»). Однако данная технология, как правило, характеризуется большим разбросом ответов и работает только для генеральных совокупностей, измеряемых сотнями участников. 

Наконец, в некоторых случаях можно пойти на хитрость и заменить генеральную совокупность неизвестного размера известной генеральной совокупностью. Приведем такой пример. Поставщика профессионального сантехнического оборудования интересует емкость сегмента небольших монтажных бригад, производящих закупки в интересах своих клиентов. Бригады работают по рекомендациям, практически не рекламируются, большинство из них официально не зарегистрированы. Нередки случаи, когда в дневное время участники творческого коллектива работают, например, продавцами в профильных магазинах, а вечерами монтируют оборудование своим покупателям, но уже совершенно частным образом. Размер генеральной совокупности «диких» бригад совершенно непонятен — в городе таких могут быть и сотни, и тысячи. С другой стороны, очевидно, что в общей емкости рынка данный сегмент должен быть заметен, т.е. достаточно велик. Что делать? Опросить конечных потребителей, задав им вопросы относительно факта монтажа сантехнического оборудования силами третьих лиц, а также стоимости оборудования, купленного непосредственно монтажниками (поскольку в конечном итоге расходы монтажника ложатся на конечного клиента). Размер и структура генеральной совокупности частных лиц — жителей города известны и присутствуют в Росстате. Вот, собственно, и вся технология. 

В нашем обзоре мы не рассмотрели прочие банальные причины неприемлемых ошибок. 

В некоторыхслучаях причиной расхождения являются «терминологические» нюансы, которые кроются, прежде всего, в определении понятия рынка. Все зависит от постановки задачи на исследование. Например, если техническим заданием четко не регламентированы исследуемые товарные группы, один подрядчик может изучить рынок колбасных изделий, в который входит группа «сосиски и сардельки», а другой решит, что данные продукты к колбасе не относится. И вот уже разные емкости, за которыми ползут доли основных игроков, портреты потребителей отличаются и т. д. В общем, сплошное расстройство и рекламации. Природа исследуемых категорий тоже берет свое. Для рынков с ярко выраженной сезонностью сложно экстраполировать полученную в результате исследования «моментальную фотографию» на весь год. Хороший пример — шампанское, около 40 процентов годовых закупок которого приходится на декабрь. Проводя исследование в июле, мы рискуем сильно ошибиться в годовых оценках, заранее не зная квартальных коэффициентов сезонности. Большие сложности для исследователя представляют рынки, характеризующихся ограниченным количеством потребителей. На рынке из ста компаний, получение достоверных ответов даже от ¾ респондентов не гарантирует маркетологам приемлемой погрешности исследования. Вполне возможно, что «неответившая четверть» совокупно обеспечивает более 50 процентов всего потребления. 

А бывает, что кто-то просто не умеет считать. Но это к предмету данного обзора не относится. 

В любом случае и заказчику, и исполнителю исследования следует помнить, что большинство исследуемых информационных показателей полностью детерминированы (т. е. однозначно определены) и существуют как объективная реальность. Поэтому все вопросы к исследователям. Должны ответить!


Алексей Мокров, старший партнер маркетингового агентства «MARCS»