79
1985年4月23日 · 林肯中心7月11日 · 经典版回归
一口不是一罐
可口可乐花了四年时间、400万美元，测试了近二十万人，得到一个明确的答案，并据此采取了行动。七十九天后，这家公司在电视直播中向自己的顾客投降。每一个靠指标运转的组织，离重演那一年，都只差一个没被检验过的假设。
№ 0032025年11月6分钟阅读Pedrum Shokouhi
Vivian Beaumont 剧院
林肯中心，1985年4月23日1985年4月23日上午，在林肯中心的 Vivian Beaumont 剧院，Roberto Goizueta 走到两百名记者面前，宣布了他一生中最有把握的一个决定。Goizueta 不是个鲁莽的人。他是古巴出生的化学工程师，当年逃离菲德尔·卡斯特罗的革命时，除了一身所学几乎什么也没带出来，此后三十年在可口可乐公司一路升迁，如今执掌这家公司，对证据怀着工程师式的笃信。而那天上午，证据是一座堡垒。公司在堪萨斯计划上花了400万美元和四年时间，在美国和加拿大对近二十万人做了盲测，结果一次又一次说着同一件令人无法忍受的事：人们更喜欢百事。更甜，更顺口，在百事早已当作武器、拍成电视广告的商场口味对决中，他们一次又一次选了它。但实验室有答案。一款重新调配的可乐，更柔和、更甜，在盲饮中击败了百事，也明确击败了原版可口可乐。于是 Goizueta 做了数据要求他做的事。他宣布公司要更换配方，那个神圣的、锁在保险库里的、已有九十九年历史的配方，并称这一改变是公司有史以来最稳妥的举措，因为按所有可衡量的标准，它确实如此。
Gay Mullins，西雅图
美国老可乐饮用者协会接下来发生的事，一共持续了十一周。几天之内，公司的消费者热线就被淹没了，平时一天只接几百个电话，高峰时一天超过八千个，几乎全是悲痛与背叛的各种变奏。寄来的信上写着“可口可乐公司大笨蛋总裁收”。西雅图一位名叫 Gay Mullins 的退休房地产商人，创办了一个叫美国老可乐饮用者协会的组织，印了抗议徽章，提起诉讼，成了全国媒体的常客，尽管在记者主持的盲测中，他自己连这两种可乐都分不出来，这个细节说明的问题，比他整场运动加起来还多。人们把整箱整箱的老配方可乐囤在地下室里。偏偏是卡斯特罗，公开称新可乐是美国资本主义堕落的症状，这话想必让 Goizueta 加倍难受。7月11日，林肯中心发布会七十九天之后，公司认输了。两位高管站在镜头前，宣布原配方以可口可乐经典版的名义回归。ABC 的 Peter Jennings 打断了正在播出的《General Hospital》，播报了这条新闻。参议员们在议事厅里宣布了这个消息。股价收涨。几个月内，经典版的销量超过了新可乐和百事，可口可乐带着营销人员十年来未曾见过的势头，走出了它最糟的一年，这也是阴谋论者一口咬定整件事是一场策划的原因。公司总裁 Donald Keough 给出了唯一值得留下的回答：有些批评者说是我们策划的，有些说是我们误打误撞，真相是，我们没那么蠢，也没那么聪明。
热线
1985年可口可乐消费者热线每天接到的电话数
尸检比尸体更重要，因为这项研究并不草率。那是花钱能买到的最好的消费者调研，却依然失败了，而且是以两种层层相套的方式，每一个守着仪表盘的人都应该背得出来。第一重失败是技术层面的：一口不是一罐。在商场里，从小杯子里喝上一口冰凉的饮料，人们稳稳地偏爱更甜的那一杯；甜味赢的是短跑。可是喝一整罐、配一整顿饭、灌一整箱，同样的甜就会腻人，偏好随之反转。公司用来测量产品的单位，恰恰不是产品被消费的单位，就像用初次约会来评判婚姻，而把错误的单位重复二十万次，并不能纠正错误，只会给它过一层塑。样本量是一种靠不住的安慰。它缩小了你答案周围的误差线，却对你问的是不是对的问题只字不提，而眼看着置信区间围着一个错误答案越收越紧，是定量工作里最危险的快感。
一口不是一罐
测试所测的单位，与人们实际喝的单位
第二重失败才是深层的，也正因为它，这个故事不只属于研究汽水史的人，而是属于每一个靠指标管理的人。每一次盲测里，杯中的液体都没有标签。可是世上没有人喝的是没有标签的可口可乐。他们喝的是一罐红色的可乐：它曾躺在祖父钓鱼小屋的冷柜里，在圣诞节被取出，跟着士兵运到了两场战争的前线，还被画进了诺曼·洛克威尔的画里；公司自己花了一个世纪和数十亿美元，把这种饮料与美国人的身份认同熔铸在一起，然后设计出一套研究方案，小心翼翼地把自己最大的资产从测量中过滤掉。测试为求客观，把品牌拿掉了，而品牌就是产品。当公司自己的心理学家警告说，会有一部分人把配方的改变当作一场小小的丧亲之痛时，这个警告没有进入偏好数据，因此它的权重为零。数字对口味精确无比，对意义却沉默不语，而被训练成信任精确的高管们，把沉默误认成了不存在，这也正是此后大多数指标驱动型灾难背后的出错机理：仪表盘测的是容易装探头的东西，组织优化的是仪表盘上显示的东西，而那些没被测量的东西，信任、忠诚、爱、安全感，就隐身在盲区里，直到引爆的那一天。
堪萨斯计划的后代，遍布每一块现代仪表盘。用户参与度指标就是一口测试：它们测的是那一口、那一次点击、那一次访问，对于有没有人会为这个产品哀悼，或者喝完一年这整整一罐之后正渐渐心生怨恨，它们在结构上就是哑的。标准化考试成绩是对学习的一口测试。季度盈利是对持久力的一口测试。A/B 测试是堪萨斯计划的直系后裔，它会以一尘不染的统计规范告诉你，哪种按钮颜色赢下了这个下午，却丝毫不会告诉你，哪一段积累下来的体验，会让用户有朝一日带着被背叛者特有的怒火转身离开。古德哈特定律说，一项指标一旦成为目标，就不再是好指标；新可乐教给我们的是一条更安静、也更底层的定律：每一项指标生来都是代理变量，而代理变量是个仆人，只回答交给它的那个问题，只用交给它的那个单位，永远如此，不管样本变得多大。
这个故事留下的纪律，不是不信任数据；Goizueta 的继任者们并没有停止测试，你也不该停。这条纪律是：先查验挽具，再夸奖骏马。对于任何一个即将驱动决策的数字，按顺序问三个问题。它是用什么单位测出来的，那个单位是现实被真正消费的单位吗？测量以客观之名刻意剥离了什么，被剥离的东西会不会恰恰才是关键？还有，谁曾用言语而不是数字发出过警告，他们是不是因为言语放不进电子表格，就被按零权重处理了？1985年的人们并不想要一种更好喝的可乐；他们想要的是他们的那种可乐，而且九十九年来，他们一直在用唯一一项从未传到林肯中心的指标告诉公司这一点，那项指标就是：明天还会再来。一口不是一罐。一罐不是习惯。习惯不是爱。
梯子
每上一级，都更难测量，也更值钱
梯子每上一级，都更难测量，也更值钱；而无论在商业之内还是之外，判断的艺术就在于：不让那些可测量的横档说服你，相信梯子到你的仪器够不着的地方就到头了。
注释
- 堪萨斯计划、大约19万至20万次口味测试，以及400万美元的研究预算，记载于 Thomas Oliver 的《The Real Coke, The Real Story》（1986年）和 Mark Pendergrast 的《For God, Country and Coca-Cola》（1993年）。
- 1985年4月23日林肯中心的发布会、热线每天八千个电话的数字、Gay Mullins 和美国老可乐饮用者协会，以及7月11日经典版的回归，均出自当时美联社、《纽约时报》和《时代》周刊的报道。
- Donald Keough 那句“没那么蠢，也没那么聪明”的话，出自经典版回归的发布会现场。
- “一口与一整罐”的批评，因马尔科姆·格拉德威尔在《Blink》（2005年）中的论述而广为人知。