Самолёты, что вернулись
В 1943 году военные принесли математику-беженцу карту пулевых пробоин и спросили, где добавить брони. Он дал им единственный в той комнате ответ, который невозможно было увидеть: бронировать нужно места без пробоин. Восемьдесят лет спустя мы по-прежнему каждый день повторяем ошибку военных: при найме, при инвестировании, в историях, которые рассказываем об успехе.
№ 002Октябрь 20256 мин чтенияPedrum Shokouhi
B-17F над Швейнфуртом, 17 августа 1943 года.
Западная 118-я улица, Манхэттен
Группа статистических исследованийОфис находился на Западной 118-й улице на Манхэттене, в нескольких кварталах от Колумбийского университета, и сидевшие в нём люди вели Вторую мировую войну карандашами. Группа статистических исследований была одним из самых странных видов оружия, какие когда-либо выставляла Америка: комната математиков и экономистов (несколько из них позже получат Нобелевские премии), которые считали для военных баллистику и схемы бомбовых попаданий так же буднично, как другие клепали крылья. Там работал Милтон Фридман. Работал там и тихий австриец Абрахам Вальд, и само его присутствие в этой комнате было маленьким чудом спасения. В Вене он был восходящей звездой, математиком-евреем в городе, где это сочетание вот-вот станет смертельным, и когда нацисты аннексировали Австрию в 1938 году, он потерял должность, страну и едва не потерял жизнь, сумев добраться до Америки, тогда как большая часть его семьи выбраться не смогла вовсе. Пять лет спустя правительство его новой страны поручило ему задачу, пропитанную данными того рода, которым все доверяют больше всего: данными, записанными пулевыми пробоинами.
Проблема, как её формулировали военные, состояла в броне. Бомбардировщики возвращались из Европы изорванными в клочья, а броня тяжела: обшей бронёй всё подряд, и самолёт с трудом наберёт высоту. Тогда военные сделали очевидное и строгое: обследовали вернувшиеся самолёты, нанесли на карту каждую пробоину и получили картину того, где в самолёты попадают: крылья изрешечены, фюзеляж издырявлен, хвост изжёван. Двигатели, как ни странно, почти не пострадали. Рекомендация писалась практически сама, и именно её написал бы сегодня почти каждый живущий: укреплять там, где пробоины. Ставить сталь там, где повреждения. Следовать данным.
Ответ Вальда стал основополагающей легендой об ошибке выжившего, и, как большинство легенд, её обычно рассказывают слишком быстро. Пробоины, указал он, считали только на самолётах, которые дотянули до дома. Это обследование не было картой того, куда попадают в бомбардировщик; это была карта того, куда бомбардировщик может получить попадание и всё же остаться в воздухе. Немецкий зенитный огонь и огонь истребителей вовсе не обходили двигатели стороной. Самолёты, получившие попадания в двигатели, лежали на дне Ла-Манша, невидимые для людей с блокнотами, не способные внести свои пробоины ни в чью схему. Чистые участки на схеме не были признаком безопасности. Они были контуром морга. Поэтому Вальд перевернул рекомендацию – бронировать двигатели, бронировать те места, куда уцелевшие самолёты, судя по всему, никогда не получают попаданий, – а затем сделал нечто более впечатляющее, чем само озарение: построил математический аппарат, позволявший по одним лишь выжившим оценивать уязвимость тех частей, которые невозможно осмотреть, и разобрал арифметику сбитых самолётов в серии записок, которыми военные аналитики пользовались ещё десятилетия спустя, в Корее и во Вьетнаме.
Остальные участники этой истории тоже были умны и аккуратны и всё равно шагнули прямо в ловушку, потому что ловушка сделана из видимости. Люди с блокнотами сделали всё правильно, кроме одного – не задали вопроса, лежащего в основе любого честного анализа: каких данных я не вижу и почему я их не вижу? Их набор данных был совершенно точным и катастрофически неполным, а неполнота была невидима, потому что недостающие самолёты отсутствовали. Ни одна ячейка в таблице не объявляет о собственном отсутствии. Тишина там, где должны быть свидетельства, не выглядит тишиной: она выглядит как чистый капот двигателя, как хорошая новость, как место, где можно сэкономить немного стали.
Элтон, Грубер и Блейк
Взаимные фонды, 1996Большая часть того, что мы называем мудростью об успехе, – это обследование вернувшихся самолётов. Деловая пресса изучает компании, ставшие огромными, и выводит из их привычек заповеди, не заглядывая на кладбище компаний с точно такими же привычками, которые погибли, оставшись без единого снимка. Двадцать бросивших колледж построили империи, и бросивший колледж становится легендой; несколько миллионов тех, у кого всё вышло иначе, не проводят пресс-конференций. Каждый фонд, который хвастается блестящими результатами за десять лет, по определению – фонд, переживший эти десять лет, а фонды, игравшие точно так же и обвалившиеся на третьем году, тихо слиты, закрыты и вычищены из баз, и статистика доходности по всей отрасли в итоге сама собой выглядит лучше, чем есть, без всякого обмана. LinkedIn – это целая армада вернувшихся бомбардировщиков. Как и каждая сцена конференции, каждые мемуары, каждая панель основателей, объясняющих, как убеждённость и смелость решили дело. Убеждённость и смелость – это ещё и последние зафиксированные настроения огромного числа самолётов на дне Ла-Манша.
Финансовая версия этой ловушки заслуживает особого уважения, потому что на рынках эффект отбора усиливается. Стратегии, которые тихо принимают на себя огромный хвостовой риск, продавая в той или иной форме страховку от редких катастроф, годами выглядят блестяще именно потому, что катастрофа случается редко. Выжившие управляющие получают больше денег под управление, наращивают кредитное плечо, опираясь на этот урок, и обучают целое поколение подражателей на данных, из которых всех жертв обвалов вежливо убрали. А затем двигатель получает свою пулю. После каждого краха мы почти сразу возвращаемся к изучению выживших, потому что выжившие доступны для интервью, а мёртвые нет. Никто не садится за стол с семидесятилетним человеком, который вёл ту же стратегию, что и легенда, с той же дисциплиной, и получил удар в другое место. Именно его пробоины нам нужнее всего нанести на карту, и именно его самолёт никогда не возвращается домой, чтобы нам их показать.
Центр военно-морского анализа
Меморандумы Вальда, переиздание 1980 годаМеморандум Вальда оставляет после себя дисциплину, за которую приходится платить только комфортом. Когда вы изучаете любую коллекцию победителей – портфель, короткий список, жанр советов, – заставьте себя написать одну фразу о процессе, который эту коллекцию собрал, а затем спросите, что этот процесс отсеял до вашего прихода. Опросите отвергнутых кандидатов год спустя: те, кто расцвёл в другом месте, и есть ваши чистые капоты двигателей. Если бэктест выглядит безупречно, спросите, какие фонды, какие годы, какие снятые с листинга тикеры база данных тихо выбросила. Если состояние принято объяснять привычкой, пойдите и намеренно поищите разорившегося человека с точно такой же привычкой. Ничто из этого не получается само собой: эволюция устроила нас так, чтобы мы учились на том, что у нас перед глазами, а весь урок пулевых пробоин в том, что увиденное нами уже отобрал – задолго до того, как мы начали считать, – процесс со своей повесткой. Данные, строго говоря, не лгут. Просто они всегда рассказывают лишь историю тех, кто выжил, и рассказывают её таким уверенным голосом, что вы забываете о существовании всех остальных.
Холмы Нилгири, Индия
1950Вальд так и не увидел, как его идея стала знаменитой. В 1950 году, в расцвете сил, он и его жена погибли, когда их самолёт разбился о холмы Нилгири на юге Индии по пути в лекционное турне. Человек, научивший мир думать о самолётах, которые не возвращаются домой, сам стал одним из них, а оставленная им дисциплина остаётся самым дешёвым преимуществом в анализе, доступным каждому, кто готов остаться наедине с самым неестественным вопросом на свете. Не что говорят свидетельства, а кто в свидетельства так и не попал и что эти люди пытались нам сказать на пути вниз.
Заметки
- Военная работа Вальда в Группе статистических исследований при Колумбийском университете описана в ретроспективе У. Аллена Уоллиса 1980 года в Journal of the American Statistical Association и в переизданных меморандумах Вальда «A Method of Estimating Plane Vulnerability Based on Damage of Survivors» (Центр военно-морского анализа, 1980).
- Биографические сведения – из общепринятых описаний жизни Вальда, включая его бегство из Вены в 1938 году и гибель в авиакатастрофе Air India близ холмов Нилгири в 1950 году.
- Схема бомбардировщика выше нарисована специально для этого сайта. Широко распространённая версия диаграммы ошибки выжившего принадлежит Martin Grandjean (вектор), McGeddon (изображение) и ВВС США (идея графика попаданий).
- Влияние ошибки выжившего на статистику фондов разбирается в литературе о взаимных фондах, начиная с работы Элтона, Грубера и Блейка (1996).