Оглавление
Роман Зыков. Роман с Data Science. Как монетизировать большие данные
Об авторе
Благодарности
От издательства
Введение
Для кого эта книга
Как читать эту книгу
Глава 1. Как мы принимаем решения
Четыреста сравнительно честных способов
Чему можно научиться у Amazon?
Аналитический паралич
Погрешности – правило штангенциркуля
Принцип Парето
Можно ли принимать решения только на основе данных?
Глава 2. Делаем анализ данных
Артефакты анализа данных
Бизнес-анализ данных
Гипотезы и инсайты
Отчеты, дашборды и метрики
Артефакты машинного обучения
Артефакты инженерии
Кто анализирует данные
Идеальная кнопка
Продать аналитику внутри компании
Конфликт исследователя и бизнеса
Недостатки статистического подхода в аналитике
Глава 3. Строим аналитику с нуля
Первый шаг
Выбираем технологии
Поговорим об аутсорсе
Наем и увольнения
Кому подчиняются аналитики
Должен ли руководитель аналитики писать код
Управление задачами
Как управлять романтиками
Глава 4. Делаем аналитические задачи
Как ставить задачи аналитикам
Как проверять задачи
Как тестировать и выкладывать изменения в рабочую систему
Как защищать задачу перед инициатором
Нужно ли уметь программировать?
Датасет
Описательная статистика
Графики
Общий подход к визуализации данных
Парный анализ данных
Технический долг
Глава 5. Данные
Как собираются данные
Big Data
Связность данных
Много данных не бывает
Доступ к данным
Качество данных
Как проверяется и контролируется качество данных
Типы данных
Форматы хранения данных
Способы получения данных
Глава 6. Хранилища данных
Зачем нужны хранилища данных
Слои хранилища данных
Какие бывают хранилища
Как данные попадают в хранилища
Hadoop и MapReduce
Spark
Оптимизация скорости работы
Архивация данных и устаревание
Мониторинг хранилищ данных
Личный опыт
Глава 7. Инструменты анализа данных
Электронные таблицы
Сервисы блокнотов
Инструменты визуального анализа
Пакеты статистического анализа данных
Работа с данными в облаках
Что такое хорошая отчетная система
Сводные таблицы
OLAP-кубы
Корпоративные и персональные BI-системы
Мой опыт
Глава 8. Алгоритмы машинного обучения
Типы ML-задач
Метрики ML-задач
ML изнутри
Линейная регрессия
Логистическая регрессия
Деревья решений
Ошибки обучения
Как бороться с переобучением
Ансамбли
Глава 9. Машинное обучение на практике
Как изучать машинное обучение
Соревнования по ML
Искусственный интеллект
Необходимые преобразования данных
Точность и стоимость ML-решения
Простота решения
Трудоемкость проверки результата
Mechanical Turk / Yandex Toloka
ML и большие данные
Recency, Frequency и Monetary
Последний совет
Глава 10. Внедрение ML в жизнь: гипотезы и эксперименты
Гипотезы
Планируем тест гипотезы
Что такое гипотеза в статистике
Статистическая значимость гипотез
Статистические критерии для p-значений
Бутстрэп
Байесовская статистика
А/Б-тесты в реальности
А/А-тесты
Еще несколько слов о А/Б-тестах
Что делать перед A/Б-тестом
Конвейер экспериментов
Глава 11. Этика данных
Как за нами следят
Хорошее и плохое использование данных
Проблема утечки данных
Этика использования данных
Как защищают пользовательские данные
Глава 12. Задачи и стартапы
Веб-аналитика в рекламе
Внутренняя веб-аналитика
Маркетинг на основе баз данных
Стартапы
Личный опыт
Глава 13. Строим карьеру
Старт карьеры
Как искать работу
Требования к кандидатам
Вы приняли оффер
Как развиваться и работать
Когда менять место работы
Нужно ли все знать?
Эпилог
Список литературы
Отрывок из книги
Роман Владимирович Зыков, 1981 года рождения, в 2004 году получил степень бакалавра, а затем магистра прикладной физики и математики в МФТИ (Московском физико-техническом институте).
В 2002 году начал свой карьерный путь в аналитике данных (Data Science) в качестве технического консультанта в компании StatSoft Russia, российского офиса одноименной американской компании-разработчика пакета статистического анализа данных STATISTICA. В 2004 году был принят на должность руководителя аналитического отдела интернет-магазина Ozon.ru, где создавал аналитические системы с нуля, в том числе веб-аналитику, аналитику баз данных, управленческую отчетность, внес вклад в систему рекомендаций.
.....
Современный мир живет на бешеных скоростях, но расчет метрик нужно делать очень аккуратно, а значит, не быстро. Конечно, не стоит впадать в другую крайность – «аналитический паралич», когда на каждую цифру будет уходить очень много времени. Иногда попытки сделать правильный выбор приводят к тому, что я называю «аналитическим параличом» – когда уже пора принять решение, но не получается. Слишком высока неопределенность результата или рамки слишком жесткие. В аналитический паралич легко впасть, если пытаться принять решение чисто рационально, руководствуясь только логикой.
Яркий пример – книга «Проект Рози» Грэма Симсиона (кстати, одна из любимых книг Билла Гейтса и его жены). Молодой успешный ученый-генетик Дон ищет жену, но ни разу еще не продвинулся дальше первого свидания. Сочтя традиционный способ поиска второй половинки неэффективным, Дон решает применить научный подход. Его проект «Жена» начинается с подробнейшего 30-страничного вопросника, призванного отсеять всех неподходящих и выявить одну – идеальную. Понятно, что человека, который соответствовал бы такому списку требований, просто не существует. А потом он знакомится с девушкой, у которой нет ничего общего с его идеалом. Что из этого вышло – догадайтесь сами.
.....
