Оглавление
Дэвид Хэнд. Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных
Предисловие
Часть I. Темные данные. Происхождение и последствия
Глава 1. Темные данные. Незримая сила, которая формирует наш мир
Призрак данных
Так вы думаете, у вас есть все данные?
Не было ничего необычного, поэтому мы не придали этому значения
Сила темных данных
Всюду вокруг нас
Глава 2. Обнаружение темных данных. Что мы собираем, а что нет
Темные данные со всех сторон
Извлечение, отбор и самоотбор данных
От нескольких ко многим
Экспериментальные данные
Остерегайтесь человеческих слабостей
Глава 3. Определения и темные данные. Что именно вы хотите узнать?
Ошибки в определениях и измерениях
Невозможно измерить все
Скрининг
Выбор на основе прошлого
Глава 4. Непреднамеренные темные данные. Видим одно, регистрируем другое
Общая картина
Обобщение
Человеческий фактор
Недостатки приборов
Объединение наборов данных
Глава 5. Стратегические темные данные. Уловки, обратная связь и информационная асимметрия
Уловки
Обратная связь
Информационная асимметрия
Неблагоприятный отбор и алгоритмы
Глава 6. Умышленно затемненные данные. Мошенничество и обман
Мошенничество
Кража идентификационных данных и интернет-мошенничество
Мошенничество с личными финансами
Мошенничество на финансовых рынках и инсайдерская торговля
Страховое мошенничество
И прочее
Глава 7. Наука и темные данные. Природа познания
Сущность науки
Если бы я знал заранее…
Натыкаясь на темные данные
Темные данные и общая картина
Сокрытие фактов
Отзыв публикаций
Источник и его достоверность: кто вам такое сказал?
Часть II. Освещение и использование темных данных
Глава 8. Принцип работы с темными данными. Проливаем свет
Надежда!
Связываем наблюдаемые и недостающие данные
Определение механизма появления недостающих данных
Работа с имеющимися данными
Выход за пределы данных: что, если ты умрешь первым?
Выход за пределы данных: вменение
Неправильное число!
Глава 9. Полезные темные данные. Переосмысление вопроса
Сокрытие данных
Сокрытие данных от самих себя: рандомизированные контролируемые исследования
Что могло бы быть
Репликация данных
Мнимые данные: байесовское априорное распределение
Частная жизнь и защита конфиденциальности
Сбор данных в темноте
Глава 10. Классификация темных данных. Путь в лабиринте
Систематика темных данных
Подведение итогов
Отрывок из книги
Перед вами необычная книга. Почти все, что издается на эту тему – будь то популярная литература о больших или открытых данных, обработке данных или пособия по статистическому анализу, – основывается на том, что у вас уже есть. Речь идет об информации, хранящейся в компьютере, ящиках рабочего стола или аудио-, видеозаписях вашего смартфона. Но эта книга совсем о другом. Она о данных, которых у вас нет. Возможно, вы пытаетесь получить их прямо сейчас или когда-то безуспешно пытались сделать это, а может быть, ошибочно полагаете, что они у вас имеются. Как бы то ни было, речь пойдет о данных, которых у вас нет.
Я утверждаю и далее продемонстрирую это на многих примерах, что отсутствующие данные важны не менее тех, которыми мы располагаем. Вы сможете сами убедиться, что неизвестные нам данные являются причиной многих заблуждений, порой имеющих катастрофические последствия. Я покажу, как и почему это происходит. Затем я расскажу, как этого можно избежать – на что именно стоит обращать внимание, чтобы обойти неприятности. А в завершение, когда вы поймете, как возникают темные данные и как они создают нам проблемы, я покажу, как с их помощью перевернуть с ног на голову традиционное представление об анализе данных и, если вы достаточно проницательны, глубже вникнуть в свою область, улучшить процесс принятия решений и выбора действий.
.....
В таких ситуациях обычно переплетаются несколько факторов. Их запутанные и неопределенные взаимодействия могут привести к неожиданным последствиям. Но в нашем случае был еще один фактор: темные данные.
После катастрофы комиссия, возглавляемая бывшим госсекретарем Уильямом Роджерсом, обратила внимание на то, что не все результаты полетов, которые показывали опасное состояние уплотнительных колец, были включены в диаграмму, обсуждаемую на телеконференции (темные данные DD-тип 3: выборочные факты, а также DD-тип 2: данные, о которых мы не знаем, что они отсутствуют). На с. 146 отчета сказано следующее: «Менеджеры сопоставляли с температурой окружающей среды лишь те полеты, во время которых были зафиксированы критические состояния уплотнительных колец, но не рассматривали частоту их возникновения на основе данных всех полетов»[9]. Именно в этом и заключается истинная причина трагедии: данные некоторых полетов не были включены в анализ. Ранее я уже показал, к каким проблемам может привести такое игнорирование данных.
.....
