79 дней

23 апреля 1985 · Линкольн-центр11 июля · возвращение Classic

Глоток – не банка

Coca-Cola потратила четыре года и четыре миллиона долларов на тестирование почти двухсот тысяч человек, получила ясный ответ и действовала по нему. Через семьдесят девять дней компания капитулировала перед собственными покупателями в прямом эфире. Любую организацию, живущую по метрикам, отделяет от такого же года одно непроверенное допущение.

№ 003Ноябрь 20256 мин чтенияPedrum Shokouhi

Театр Вивиан Бомонт

Линкольн-центр, 23 апреля 1985 года

Утром 23 апреля 1985 года, в театре Вивиан Бомонт в Линкольн-центре, Роберто Гойсуэта вышел к двумстам журналистам, чтобы объявить самое уверенное решение в своей жизни. Гойсуэта не был безрассудным человеком. Он был кубинцем по рождению и инженером-химиком, бежал от революции Кастро, почти ничего не имея, кроме образования, за три десятилетия поднялся в Coca-Cola до самого верха и теперь руководил ею с инженерной верой в факты. А факты в то утро были крепостью. Его компания потратила четыре миллиона долларов и четыре года на проект «Канзас», устроив слепые дегустации почти для двухсот тысяч человек по всей территории США и Канады, и результаты упорно твердили одно и то же невыносимое: людям больше нравилась Pepsi. Её находили более сладкой и мягкой и выбирали снова и снова на дегустациях в торговых центрах, которые Pepsi превратила в оружие телевизионной рекламы. Но у лаборатории был ответ. Coke с новым рецептом, мягче и слаще, побеждала Pepsi в слепых пробах, а оригинальную Coca-Cola обыгрывала с большим отрывом. И Гойсуэта сделал то, чего требовали данные. Он объявил, что компания меняет рецепт – священный, девяностодевятилетний, хранившийся в сейфе, – и назвал эту перемену самым верным шагом в истории компании, потому что по всем измеримым меркам так оно и было.

Гэй Маллинс, Сиэтл

Old Cola Drinkers of America

То, что случилось дальше, заняло одиннадцать недель. Через несколько дней горячая линия для потребителей, обычно принимавшая несколько сотен звонков в день, захлёбывалась; на пике приходилось более восьми тысяч звонков в сутки, и почти все они были вариациями на тему горя и предательства. Приходили письма, адресованные «Главному остолопу, The Coca-Cola Company». Пенсионер из Сиэтла, в прошлом агент по недвижимости, Гэй Маллинс основал организацию Old Cola Drinkers of America, напечатал протестные значки, подал в суд и стал постоянной фигурой в национальных СМИ, хотя сам в слепых тестах, которые проводили журналисты, не смог отличить две колы друг от друга, и эта деталь говорит больше, чем вся его кампания. Люди запасали в подвалах ящики колы по старому рецепту. Не кто иной, как Фидель Кастро, публично назвал New Coke симптомом упадка американского капитализма, и это, должно быть, задело Гойсуэту вдвойне. А 11 июля, через семьдесят девять дней после Линкольн-центра, компания сдалась. Два топ-менеджера вышли к камерам и объявили о возвращении оригинального рецепта под названием Coca-Cola Classic. Питер Дженнингс с телеканала ABC прервал показ General Hospital, чтобы сообщить новость. Сенаторы объявили о ней с трибуны Сената. Акции закрылись ростом. Через несколько месяцев Classic продавалась лучше и New Coke, и Pepsi, а Coca-Cola вышла из своего худшего года с таким подъёмом, какого её маркетологи не видели десять лет, и поэтому конспирологи настаивали, что всё это было постановкой. Президент компании Дональд Кио дал единственный ответ, который стоит сохранить: одни критики говорят, что мы всё спланировали, другие – что мы забрели в это по глупости, а правда в том, что мы не настолько глупы и не настолько умны.

Горячая линия

Звонков в день на горячую линию Coca-Cola для потребителей, 1985 год

Вскрытие важнее самого трупа, потому что исследование не было небрежным. Это было лучшее потребительское исследование, какое можно купить за деньги, и оно всё равно провалилось, причём двумя вложенными друг в друга способами, которые каждый, кто работает с дашбордом, должен уметь повторить наизусть. Первая ошибка была механической: глоток – не банка. В торговом центре, делая один холодный глоток из маленького стаканчика, люди неизменно предпочитают более сладкую жидкость: сладость выигрывает спринты. Но на целой банке, за целым обедом, на целом ящике та же сладость становится приторной, и предпочтение меняется на обратное. Компания измеряла продукт в единицах, в которых его на самом деле никогда не потребляют, – всё равно что судить о браках по первым свиданиям, а двести тысяч повторений неверной единицы не исправляют ошибку, а ламинируют её. Размер выборки – коварное утешение. Он сужает планки погрешностей вокруг вашего ответа, ничего при этом не говоря о том, тот ли вопрос вы задали, а наблюдать, как доверительный интервал сжимается вокруг неверного ответа, – самое опасное удовольствие в количественной работе.

Глоток – не банка

Единица, которую измеряли тесты, рядом с единицей, в которой люди пьют

Вторая ошибка была глубокой, и именно из-за неё эта история принадлежит каждому, кто управляет по метрикам, а не только историкам газировки. В каждом слепом тесте жидкость была без этикетки. Но никто на свете не пьёт Coca-Cola без этикетки. Люди пьют красную банку, которая стояла в ящике со льдом в рыбацком домике деда, которую ставили на стол на Рождество, которая уезжала с солдатами на две войны и появлялась на картинах Нормана Рокуэлла; сама компания потратила век и миллиарды долларов на то, чтобы сплавить эту жидкость с американской идентичностью, а затем придумала исследовательскую программу, которая тщательно вычла из измерения свой же величайший актив. Тесты убрали бренд ради объективности, а бренд и был продуктом. Когда психологи самой компании предупредили, что какая-то часть населения воспримет смену рецепта как небольшую утрату близкого человека, это предупреждение так и не попало в данные о предпочтениях, а значит, не весило ничего. Цифры были точны насчёт вкуса и молчали о смысле, а руководители, приученные доверять точности, приняли молчание за отсутствие, и это та же механическая ошибка, что стоит за большинством последовавших катастроф, порождённых метриками: дашборд измеряет то, что проще всего замерить, организация оптимизирует то, что показывает дашборд, а неизмеренное, будь то доверие, лояльность, любовь или безопасность, остаётся невидимым в слепой зоне до того дня, когда взрывается.

У проекта «Канзас» есть потомки в каждом современном дашборде. Метрики вовлечённости – это тесты на глоток: они измеряют глоток, клик, сессию и по самой своей конструкции ничего не говорят о том, стал бы кто-нибудь оплакивать продукт и не начинает ли уже тяготиться им за целую банку длиной в год. Баллы стандартизированных тестов – тест на глоток для обучения. Квартальная прибыль – тест на глоток для долговечности. A/B-тесты, прямые наследники проекта «Канзас», с безупречной статистической гигиеной скажут вам, какой цвет кнопки выигрывает этот день, и ничего не скажут о том, какой накопленный опыт однажды заставит пользователей уйти с особой яростью людей, которых предали. Закон Гудхарта гласит, что когда мера становится целью, она перестаёт быть хорошей мерой; New Coke учит более тихому и более раннему закону: каждая мера с рождения – косвенный показатель, а косвенный показатель – слуга, который отвечает только на заданный ему вопрос и только в тех единицах, в каких его спросили, и так будет всегда, каким бы большим ни стал размер выборки.

Дисциплина, которую оставляет после себя эта история, состоит не в недоверии к данным: преемники Гойсуэты не перестали проводить тесты, и вам не стоит. Дисциплина в том, чтобы допросить упряжь, прежде чем любоваться лошадью. Для любой цифры, которая вот-вот определит решение, задайте по порядку три вопроса. В какой единице это измерено, и та ли это единица, в которой действительность потребляется на самом деле? Что измерение намеренно отбросило во имя объективности, и не в этом ли отброшенном как раз и весь смысл? И кто предупреждал об этом словами, а не цифрами, и не присвоили ли этим людям нулевой вес лишь потому, что слова не помещаются в электронные таблицы? Люди 1985 года не хотели колу вкуснее; они хотели свою колу и девяносто девять лет говорили об этом компании в единственной метрике, которая так и не добралась до Линкольн-центра, в метрике завтрашнего возвращения. Глоток – не банка. Банка – не привычка. Привычка – не любовь.

Лестница

Чем выше ступень, тем труднее её измерить и тем больше она стоит

Каждая следующая ступень лестницы труднее поддаётся измерению и стоит больше, и искусство суждения, в бизнесе и за его пределами, состоит в том, чтобы не позволять измеримым ступеням убедить вас, будто лестница кончается там, где кончаются ваши приборы.

---

Заметки

1. Проект «Канзас», примерно от 190 000 до 200 000 тестов на вкус и исследовательский бюджет в четыре миллиона долларов описаны в книгах Томаса Оливера The Real Coke, The Real Story (1986) и Марка Пендерграста For God, Country and Coca-Cola (1993).
2. Объявление в Линкольн-центре 23 апреля 1985 года, цифра в восемь тысяч звонков в день на горячую линию, Гэй Маллинс и Old Cola Drinkers of America, а также возвращение Classic 11 июля взяты из тогдашних материалов AP, New York Times и Time.
3. Реплика Дональда Кио о том, что «мы не настолько глупы и не настолько умны», прозвучала на пресс-мероприятиях, посвящённых объявлению о возвращении Classic.
4. Критику «глоток против целой банки» популяризировал Малкольм Гладуэлл в книге Озарение (2005).

P.S.Меня зовут Pedrum Shokouhi. Я одержим тем, как компании создаются, финансируются и управляются. Поэтому я пишу о них, разбираю их стратегию как инвестор и строю собственные. Здесь я делюсь тем, чему учусь.