23 avril 1985 · Lincoln Center11 juillet · Retour de Classic

Une gorgée n’est pas une canette

Coca-Cola a consacré quatre ans et quatre millions de dollars à tester près de deux cent mille personnes, a obtenu une réponse claire et a agi en conséquence. Soixante-dix-neuf jours plus tard, l’entreprise capitulait devant ses propres clients, en direct à la télévision. Toute organisation qui carbure aux indicateurs n’est qu’à une hypothèse non examinée de la même année.

N° 003novembre 20256 min de lecturePedrum Shokouhi

Vivian Beaumont Theater

Lincoln Center, 23 avril 1985

Le matin du 23 avril 1985, au Vivian Beaumont Theater du Lincoln Center, Roberto Goizueta s’avança devant deux cents journalistes pour annoncer la décision dont il était le plus sûr de toute sa vie. Goizueta n’avait rien d’un homme téméraire. Ingénieur chimiste d’origine cubaine, il avait fui la révolution de Castro avec pour seul bagage ou presque son éducation, gravi pendant trois décennies les échelons de la Coca-Cola Company, et la dirigeait désormais avec la foi d’un ingénieur dans les preuves. Or les preuves, ce matin-là, formaient une forteresse. Son entreprise avait dépensé quatre millions de dollars et quatre ans pour le projet Kansas, des dégustations à l’aveugle auprès de près de deux cent mille personnes aux États-Unis et au Canada, et les résultats répétaient sans cesse la même chose, intolérable : les gens préféraient Pepsi. Plus sucré, plus rond, ils le choisissaient encore et encore dans ces duels de dégustation en centre commercial que Pepsi avait érigés en arme publicitaire pour ses spots télévisés. Mais le laboratoire avait une réponse. Un Coca reformulé, plus doux et plus sucré, battait Pepsi aux dégustations à l’aveugle, et battait nettement le Coca-Cola d’origine. Goizueta fit donc ce que les données exigeaient. Il annonça que l’entreprise changeait la formule, la formule sacrée, gardée sous clé, vieille de quatre-vingt-dix-neuf ans, et il qualifia ce changement de décision la plus sûre que l’entreprise eût jamais prise, car selon tous les critères mesurables, elle l’était.

Gay Mullins, Seattle

Old Cola Drinkers of America

Ce qui suivit prit onze semaines. En quelques jours, la ligne d’assistance aux consommateurs de l’entreprise, qui recevait d’ordinaire quelques centaines d’appels par jour, fut submergée ; au plus fort, plus de huit mille appels quotidiens, presque tous des variations sur le deuil et la trahison. Des lettres arrivaient adressées à « Grand Crétin, The Coca-Cola Company ». Un agent immobilier à la retraite de Seattle, Gay Mullins, fonda une association baptisée Old Cola Drinkers of America, fit imprimer des badges de protestation, intenta un procès et devint une figure médiatique nationale, bien qu’il fût lui-même incapable, lors de tests à l’aveugle menés par des journalistes, de distinguer les deux colas, un détail qui en dit plus long que toute sa campagne. Des gens stockèrent dans leurs caves des caisses de l’ancienne formule. Fidel Castro lui-même qualifia publiquement New Coke de symptôme de la décadence capitaliste américaine, ce qui dut piquer Goizueta doublement. Et le 11 juillet, soixante-dix-neuf jours après le Lincoln Center, l’entreprise céda. Deux dirigeants se présentèrent devant les caméras et annoncèrent le retour de la formule d’origine sous le nom de Coca-Cola Classic. Peter Jennings, d’ABC, interrompit General Hospital pour donner la nouvelle. Des sénateurs l’annoncèrent en séance. L’action finit en hausse. En quelques mois, Classic se vendait plus que New Coke et que Pepsi, et Coca-Cola sortit de sa pire année avec un élan que ses responsables marketing n’avaient pas connu depuis dix ans, ce qui explique que les adeptes des théories du complot aient soutenu que toute l’affaire avait été mise en scène. Le président de l’entreprise, Donald Keough, donna la seule réponse qui vaille d’être retenue : certains critiques disent que nous l’avons planifié, d’autres que nous avons foncé dans le mur, et la vérité, c’est que nous ne sommes pas si bêtes, ni si malins.

La ligne d’assistance

Appels par jour à la ligne d’assistance aux consommateurs de Coca-Cola, 1985

Un jour ordinaire, il arrivait quelques centaines d’appels. Au plus fort, la ligne en recevait plus de huit mille par jour, presque tous empreints de deuil et de trahison.

L’autopsie compte plus que le cadavre, car cette étude n’avait rien de bâclé. C’était la meilleure étude consommateurs que l’argent pût acheter, et elle a échoué quand même, de deux façons imbriquées que quiconque pilote un tableau de bord devrait pouvoir réciter. Le premier échec était mécanique : une gorgée n’est pas une canette. Dans un centre commercial, en prenant une gorgée glacée dans un petit gobelet, les êtres humains préfèrent invariablement le liquide le plus sucré ; le sucre gagne les sprints. Sur une canette entière, un repas entier, une caisse entière, ce même sucre devient écœurant, et la préférence s’inverse. L’entreprise avait mesuré le produit dans des unités où il n’est jamais consommé, comme on jugerait des mariages sur les premiers rendez-vous, et deux cent mille répétitions de la mauvaise unité ne corrigent pas l’erreur ; elles la plastifient. La taille de l’échantillon est un réconfort traître. Elle resserre les barres d’erreur autour de votre réponse sans dire absolument rien sur la question de savoir si vous avez posé la bonne, et regarder l’intervalle de confiance se resserrer autour d’une mauvaise réponse est le plaisir le plus dangereux du travail quantitatif.

Une gorgée n’est pas une canette

L’unité mesurée par les tests, à côté de l’unité que les gens boivent

Mesuré dans la mauvaise unité, 200 000 fois.

Le second échec était le plus profond, et c’est la raison pour laquelle cette histoire appartient à tous ceux qui pilotent par les indicateurs, et pas seulement aux historiens du soda. Dans chaque test à l’aveugle, le liquide était sans étiquette. Or personne au monde ne boit du Coca-Cola sans étiquette. On boit une canette rouge qui attendait dans la glacière de la cabane de pêche du grand-père, qui sortait à Noël, qui a suivi les soldats dans deux guerres et figuré dans les tableaux de Norman Rockwell ; l’entreprise elle-même avait passé un siècle et des milliards de dollars à souder ce liquide à l’identité américaine, avant de concevoir un programme d’étude qui écartait soigneusement de la mesure son plus grand actif. Les tests ont retiré la marque par souci d’objectivité, et la marque, c’était le produit. Quand les psychologues de l’entreprise ont averti qu’une partie de la population réagirait au changement de formule comme à un petit deuil, l’avertissement n’a jamais atteint les données de préférence, si bien qu’il ne pesait rien. Les chiffres étaient précis sur le goût et muets sur le sens, et les dirigeants, formés à se fier à la précision, ont pris ce silence pour une absence, ce qui est l’erreur mécanique à l’origine de la plupart des désastres dictés par les indicateurs depuis : le tableau de bord mesure ce qu’il est facile d’instrumenter, l’organisation optimise ce qu’il affiche, et ce qu’on ne mesure pas, la confiance, la loyauté, l’amour, la sécurité, reste invisible dans l’angle mort jusqu’au jour où cela explose.

Le projet Kansas a des descendants dans tous les tableaux de bord modernes. Les indicateurs d’engagement sont des tests de la gorgée : ils mesurent la bouchée, le clic, la session, et sont structurellement muets sur la question de savoir si quelqu’un regretterait le produit, ou commence à lui en vouloir sur la canette entière d’une année. Les scores aux tests standardisés sont le test de la gorgée de l’apprentissage. Les résultats trimestriels, celui de la durabilité. Les tests A/B, héritiers directs du projet Kansas, vous diront avec une hygiène statistique immaculée quelle couleur de bouton gagne l’après-midi, et rien du tout sur l’expérience accumulée qui fera un jour basculer les utilisateurs avec la fureur particulière des trahis. La loi de Goodhart dit que lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure ; New Coke enseigne la loi antérieure, plus discrète : toute mesure est née substitut, et un substitut est un serviteur qui ne répond qu’à la question qu’on lui a posée, dans les unités qu’on lui a données, pour toujours, aussi grand que devienne l’échantillon.

La discipline que laisse cette histoire n’est pas de se méfier des données ; les successeurs de Goizueta n’ont pas cessé de tester, et vous non plus ne devriez pas. La discipline consiste à interroger le harnais avant d’admirer le cheval. Pour tout chiffre sur le point d’orienter une décision, posez trois questions, dans l’ordre. Dans quelle unité cela a-t-il été mesuré, et est-ce l’unité dans laquelle le réel est effectivement consommé ? Qu’a retiré délibérément la mesure au nom de l’objectivité, et ce qu’elle a retiré n’était-il pas justement l’essentiel ? Et qui a mis en garde avec des mots plutôt qu’avec des chiffres, et son avis a-t-il été pondéré à zéro parce que les mots ne rentrent pas dans un tableur ? Les gens de 1985 ne voulaient pas un cola meilleur au goût ; ils voulaient leur cola, et ils l’avaient dit à l’entreprise pendant quatre-vingt-dix-neuf ans dans le seul indicateur qui n’a jamais atteint le Lincoln Center, celui du retour le lendemain. Une gorgée n’est pas une canette. Une canette n’est pas une habitude. Une habitude n’est pas de l’amour.

L’échelle

Chaque échelon est plus difficile à mesurer et vaut davantage

Les tests se tenaient sur le barreau du bas. Tout ce qui se trouvait au-dessus est resté sans mesure.

Chaque échelon est plus difficile à mesurer et vaut davantage, et l’art du jugement, en affaires comme ailleurs, consiste à refuser que les barreaux mesurables vous persuadent que l’échelle s’arrête là où s’arrêtent vos instruments.

Notes

Le projet Kansas, les quelque 190 000 à 200 000 tests de dégustation et le budget de recherche de quatre millions de dollars sont documentés dans The Real Coke, The Real Story de Thomas Oliver (1986) et For God, Country and Coca-Cola de Mark Pendergrast (1993).
L’annonce du 23 avril 1985 au Lincoln Center, le chiffre de huit mille appels par jour sur la ligne d’assistance, Gay Mullins et les Old Cola Drinkers of America, ainsi que le retour de Classic le 11 juillet proviennent de la couverture de l’époque par l’AP, le New York Times et Time.
La remarque de Donald Keough, « pas si bêtes, pas si malins », vient des conférences de presse de l’annonce de Classic.
La critique opposant la gorgée à la canette entière a été popularisée par Malcolm Gladwell dans La Force de l’intuition (2005).

P.S.Je suis Pedrum Shokouhi. Je suis obsédé par la façon dont les entreprises se bâtissent, se financent et se dirigent. Alors j’écris sur elles, je démonte leur stratégie en investisseur, et je bâtis les miennes. Ici, je partage ce que j’apprends.