Анализируй это: обзор книги «Голая статистика»

Статистика помогает принимать важные решения, находить скрытые взаимосвязи между явлениями, лучше понимать ситуацию в бизнесе и на рынке. Автор книги «Голая статистика» профессор Чарльз Уилан с юмором и блестящими наглядными примерами рассказывает о том, как это происходит.

Если вы хотите правильно интерпретировать числа, озвученные в новостях, и использовать необычайную (и все более возрастающую) силу данных, то материал этой книги — именно то, что вам нужно. После ее прочтения вы убедитесь в справедливости мысли, высказанной шведским математиком и писателем Андрейсом Дункельсом:

Опираясь на статистику, легко лгать, но без статистики очень трудно выяснить истину».

Статистика подобна мощному оружию, полезному в случае его правильного применения и потенциально разрушительному в неумелых руках. Прочитав эту книгу, вы, конечно, не станете профессиональным статистиком, но по крайней мере она научит вас осторожному обращению со статистическими данными и убережет от их неверной интерпретации, которая может иметь непредсказуемые последствия.

Далее приводим несколько отрывков из книги с интересными примерами использования статданных.

Корреляция

Корреляция измеряет степень связи между двумя явлениями. Например, существует корреляция между летними температурами и продажей мороженого. Когда повышается температура, растут объемы продажи мороженого. Две переменные положительно коррелированы, если изменение одной переменной вызывает изменение другой в том же направлении, то есть в направлении увеличения или уменьшения (например, взаимосвязь между ростом и весом человека). У более высоких людей больший вес (в среднем); низкорослые люди весят меньше. Корреляция отрицательна, если положительное изменение одной переменной обусловливает отрицательное изменение другой (например, связь между регулярным выполнением физических упражнений и весом человека).

В зависимостях такого рода интересно то, что не каждое наблюдение вписывается в соответствующую схему. Иногда низкорослые люди весят больше, чем высокие. Иногда те, кто вообще не занимается спортом, бывают гораздо стройнее, чем те, кто регулярно выполняет физические упражнения. Тем не менее существует отчетливо выраженная связь между ростом и весом человека, а также между весом и физическими нагрузками.

Откуда Netflix знает, какой фильм вам рекомендовать

В своей деятельности компания Netflix использует концепцию корреляции. Все началось с того, что пользователь, назовем его Джон, выставил оценки ряду фильмов. Netflix сравнила их с рейтингами других кинозрителей, чтобы выявить тех, чьи рейтинги высоко коррелированы с рейтингами Джона. Этим кинозрителям, как правило, нравятся те же фильмы, что и Джону. Установив данный факт, Netflix может рекомендовать Джону фильмы, которые понравились его единомышленникам и которых он еще не видел.

Это, так сказать, «картина в целом». Фактическая методология гораздо сложнее. Вообще говоря, в 2006 году Netflix инициировала конкурс, в рамках которого обычным гражданам было предложено разработать механизм, который бы повысил эффективность уже существующих рекомендаций Netflix по меньшей мере на 10% (это означает, что данная система стала бы на 10% точнее при прогнозировании того, как бы кинозритель оценил тот или иной фильм после просмотра). Победителю был обещан 1 миллион долларов.

В 2009 году Netflix объявила победителя. Им стала группа из семи человек, в состав которой входили статистики и программисты из США, Австрии, Канады и Израиля. Теперь Netflix — просто супернавороченная вариация того, чем занимаются люди с момента появления кинематографа: найти кого-либо со схожими вкусами и попросить порекомендовать вам тот или иной фильм.

Статистика и инсайдерская торговля ценными бумагами

Инсайдерская торговля ценными бумагами связана с незаконным использованием конфиденциальной информации, такой как, скажем, знание юридической фирмой о предстоящем поглощении для торговли акциями и другими ценными бумагами компаний, участвующих в данном процессе. Комиссия по ценным бумагам и биржам (Securities and Exchange Commission — SEC), государственное агентство, отвечающее за практическую реализацию федеральных законов, касающихся торговли ценными бумагами, применяет методы стат. анализа для обнаружения трейдеров-инсайдеров.

SEC использует мощные компьютеры для анализа сотен миллионов операций купли-продажи ценных бумаг с целью выявления подозрительной активности, например крупной покупки акций компании непосредственно перед объявлением о ее поглощении или массовом «сбросе» акций компании буквально перед ее заявлением о резком сокращении прибыли. SEC также расследует деятельность инвестиционных менеджеров с необычайно высокими прибылями на протяжении длительных периодов времени. Компьютеры SEC улавливают разницу между удачливыми инвесторами, действующими в рамках закона, и удачливыми инвесторами, преступившими закон.

Теория вероятности и расходы по кредиткам

Компании, выпускающие кредитные карточки, находятся на переднем крае вероятностного анализа, поскольку они знают наши личные данные и покупательские привычки, а их модель ведения бизнеса сильно зависит от умения находить клиентов, кредитный риск (то есть риск неплатежа) которых сравнительно невелик.

Одно из самых интересных исследований того, кто, скорее всего, оплатит счет, а кто нет, было выполнено Дж. П. Мартином. Когда Мартин проанализировал каждую транзакцию, выполненную с помощью кредитной карточки Canadian Tire за предыдущий год, оказалось, что покупки, совершенные клиентами в прошлом, являются весьма точным предиктором их будущего «покупательского» поведения, если использовать этот показатель в сочетании с такими традиционными инструментами, как величина дохода и кредитная история.

Статья в The New York Times, озаглавленная «Что знает о вас компания, выпустившая вашу кредитную карточку?», содержала описание некоторых из самых интересных выводов Мартина: «Люди, которые покупают дешевые непатентованные моторные масла, с гораздо большей вероятностью уклонятся от платежей по кредитным карточкам, чем те, кто предпочитает дорогостоящие фирменные товары. Те, кто покупает датчики угарного газа для дома или мягкие войлочные подкладки для ножек стульев и табуреток, чтобы не царапать пол в комнате, почти никогда не увиливают от платежей. Практически каждый, кто купил какой-либо из дешевых автомобильных аксессуаров, впоследствии с большой долей вероятности не оплатит свой счет».

Интересные задачи статистики

Представьте себе, что вы — прокурор. Допустим, в суде вы услышали показания, которые сводятся к следующему: 1) образец ДНК, найденный на месте преступления,

совпадает с результатами анализа ДНК обвиняемого и 2) существует лишь

один шанс из миллиона, что образец ДНК, найденный на месте преступления,

совпадет с образцом ДНК, взятым у кого-либо другого (не у обвиняемого). Ради простоты будем полагать, что вероятности, на которые опирается обвинение, соответствуют действительности. Готовы ли вы вынести вердикт «виновен» на основе таких доказательств?

С помощью статистического анализа исследователям удалось выяснить, как часто, с кем и как американцы занимаются сексом. В середине 1990-х годов Национальный центр изучения общественного мнения при Чикагском университете провел масштабное исследование сексуального поведения населения страны. Результаты основывались на детальных опросах крупной репрезентативной выборки взрослых американцев.

Подробности и ответы на многие другие вопросы — в книге «Голая статистика» от издательства «Манн, Иванов и Фербер». В каких еще книгах, посвященных статистике, вы могли бы почерпнуть подобные сведения?