Введение в машинное обучение

Оглавление

Группа авторов. Введение в машинное обучение

Предисловие

Введение

Часть I. Математические модели и прикладные методы машинного обучения

1. Искусственный интеллект и машинное обучение. Составные части искусственного интеллекта

1.1. Машинное обучение в задачах обработки данных

1.2. Программное обеспечение для решения задач машинного обучения

1.3. Схема настройки системы машинного обучения

1.4. Контрольные вопросы

2. Классические алгоритмы машинного обучения

2.1. Формальное описание задач машинного обучения

2.2. Линейная регрессия одной переменной

2.3. Полиномиальная регрессия

2.4. Классификаторы. Логистическая регрессия

2.5. Контрольные вопросы

2.6. Искусственные нейронные сети

2.6.1. Вводные замечания

2.6.2. Математическое описание искусственной нейронной сети

2.6.3. Алгоритм обратного распространения ошибки

2.6.5. Активационные функции

2.7. Контрольные вопросы

2.8. Пример простого классификатора

2.9. Алгоритм k ближайших соседей (k-Nearest Neighbor – k-NN)

2.10. Алгоритм опорных векторов

2.11. Статистические методы в машинном обучении. Наивный байесовский вывод

2.11.1. Теорема Байеса и ее применение в машинном обучении

2.11.2. Алгоритм Naïve Bayes

2.11.3. Положительные и отрицательные свойства Naïve Bayes

2.11.4. Приложения наивного байесовского алгоритма

2.12. Композиции алгоритмов машинного обучения. Бустинг

2.13. Снижение размерности данных. Метод главных компонент

2.14. Контрольные вопросы

3. Оценка качества методов ML

3.1. Метрики оценки качества классификации

3.2. Матрица путаницы (Confusion matrix) и фиктивный классификатор (Dummy Classifier)

3.3. Подбор параметров по сетке

3.4. Кривые Precision-Recall и ROC

3.5. Микро- и макросреднее (Micro- and macro-average)

3.6. Перекрестная оценка модели (Cross-validation)

3.7. Показатели оценки качества регрессии

3.8 «Обучаемость» алгоритмов

3.9. Контрольные вопросы

4. Предобработка данных в задачах машинного обучения

4.1. Оценка набора данных

4.2. Входные переменные и целевая колонка

4.3. Обработка отсутствующих и аномальных значений

4.4. Поиск и преобразование дубликатов

4.5. Кодирование значений

4.6. Взаимная корреляция исходных значений

4.7. Нормализация данных

4.8. Специальные методы предобработки данных

4.9. Контрольные вопросы

5. Машинное обучение в задачах с большим объемом данных

6. Глубокое обучение

6.1. Вводные замечания

6.2. Пример. Реализация нейронной сети прямого распространения в пакете TensorFlow-Keras

6.3. Рекуррентные нейронные сети

6.4. Сверточные нейронные сети

6.4.1. Задачи компьютерного зрения и сверточные сети

6.4.2. Сверточный фильтр

6.4.3. Эксперименты со сверточными фильтрами

6.4.4. Параметры сверточных фильтров

6.4.5. Pooling (объединение)

6.4.6. Архитектуры сверточных сетей

6.4.7. Применение сверточных сетей для распознавания лиц

6.4.8. Пример. Реализация сверточной сети для распознавания изображений c использованием TensorFlow и GPU

6.5. Заключение к разделу «Глубокое обучение»

6.6. Контрольные вопросы

7. Интерпретация черных ящиков машинного обучения

Часть II. Применение методов машинного обучения. Лабораторный практикум

8. Методические рекомендации

9. Лабораторный практикум

9.1. Реализация линейной и полиномиальной регрессии в Python-numpy

9.1.1. Постановка задачи

9.1.2. Пример решения

9.1.3. Задача 1. Расчет параметров полиномиальной регрессии второго порядка [[145]]

9.1.4 Задача 2. Матричный способ расчета параметров полиномиальной регрессии [[146]]

9.2. Реализация алгоритма логистической регрессии в Python-numpy

9.2.1. Постановка задачи

9.2.2. Пример решения

9.2.3. Задача 1. Классификаци объектов описываемых тремя свойствами

9.2.4. Задача 2. Расчет параметров точности классификатора

9.3 Предварительная обработка текстов

9.3.1 Постановка задачи

9.3.2. Задача. Разработка функции для предобработки твитов

9.4. Применение алгоритма Naïve Bayes для предсказания

9.4.1. Постановка задачи

9.4.3. Задача 2. Предсказание с помощью алгоритма Naïve Bayes

9.5. Реализация линейной регрессии в Python c применением sklearn

9.5.1 Постановка задачи

9.5.2. Пример решения

9.5.3. Задача 1. Окрашивание обучающего и тестового множеств[[150]]

9.5.4 Задача 2*. Генерация данных для экспериментов [[152]]

9.5.5 Задача 3**. Расчет параметров линейной регрессии [[154]]

9.6. Реализация полиномиальной регрессии в Python

9.6.1. Постановка задачи

9.6.2 Пример решения

9.6.3 Задача 1. Визуализация обучающего и тестового множеств[[155]]

9.6.4 Задача 2*. Построение регрессионных кривых и расчет показателей точности [[157]]

9.6.5. Задача 3**. Расчет минимальной степени полиномиальной регрессии[159]]

9.6.6. Задача 4*. Применение RandomForestRegressor [[160]]

9.7 Реализация классификатора на базе логистической регрессии

9.7.1. Постановка задачи

9.7.2. Пример решения

9.7.3 Задача 1*. Оценка качества работы логистической регрессии [[161]]

9.7.4. Задача 2*. Классификатор для набора данных iris [[163]]

9.8. Реализация классификатора на базе алгоритма ближайших соседей

9.8.1 Постановка задачи

9.8.2. Пример решения

9.8.3. Задача 1*. Оценка качества работы классификатора kNN [[166]]

9.8.4. Задача 2. Визуализация результатов работы классификатора kNN[[167]]

9.8.5. Задача 3. Настройка классификатора kNN [[168]]

9.8.6. Задача 4*. Использование kNN для классификации данных breast_cancer [[169]]

9.9. Метод опорных векторов – Support vector machines (SVM) [[170]]

9.9.1. Информация о методе [[171]]

9.9.2. Постановка задачи

9.9.3. Пример решения

9.9.4. Задача 0. Оценка точности классификатора SVC. [[172]]

9.9.5. Задача 1*. Настройка классификатора SVM. [[173]]

9.10. Реализация многослойной нейронной сети прямого распространения [[174]]

9.10.1. Постановка задачи

9.10.2. Пример решения

9.10.3. Задача 1*. Определение точности классификации.[[175]]

9.10.4. Задача 2. Визуализация результатов классификации.[[176]]

9.10.5. Задача 3. Настройка параметров классификатора MLP. [[177]]

9.10.6. Задача 4*. Классификация набора данных breast_cancer с помощью MLP. [[178]]

9.11. Метод главных компонент [[179]]

9.11.1. Постановка задачи

9.11.2. Пример решения

9.11.3. Задача 1. Оценка снижения вариативности. [[181]]

9.11.4 Задача 2**. Снижение размерности набора данных iris. [[182]]

9.11.5 Задача 3** . Снижение размерности набора breast_cancer [[183]]

9.12 «Серебрянная пуля» машинного обучения – метод XGBoost

9.12.1 Постановка задачи

9.12.2. Данные и результат работы

9.12.3. Задача 0. Многопоточная работа XGBoost. [[192]]

9.12.4. Задача 1. Сравнение классификаторов при примении нормализации данных. [[193]]

9.12.5. Задача 2**. Классификация большого набора данных. [[194]]

9.13 Предобработка табличных данных. 9.13.1 Постановка задачи

9.13.2. Задачи

9.14. Представление слов в векторном пространстве (Word2Vec)

9.14.1. Постановка задачи

9.14.2. Задача 1. Отображение слов в двухмерном пространстве

9.14.3. Задача 2. Отображение слов в трехмерном пространстве

9.15 Классификация данных с применением нескольких классификаторов

9.15.1 Постановка задачи

9.15.2 Задача 1. Настройка классификатора SVC

9.15.3. Задача 2. Сравнение классификаторов

9.16 Метод LIME (Local Interpretable Model-agnostic)

9.16.1. Постановка задачи

9.16.2. Пример решения

9.16.3. Задача 1. Оценка влиятельности параметров в наборе данных breast_cancer. [[202]]

9.16.4. Задача 2*. Оценка влиятельности параметров в наборе данных iris. [[203]]

9.17. Применение сверточных сетей для распознавания лиц

9.17.1. Постановка задачи

9.17.2. Пример применения сверточных сетей для идентификации персоны

9.17.3. Задача 1. Найти знаменитость похожую на вас

9.17.4. Задача 2. Ограничение доступа на основе распознавания лица. [[205]]

9.17.5. Задача 2. Найти имя человека по фотографии [[206]]

10 Проект по созданию классификатора литологических типов

10.1 Постановка задачи

10.2. Задача I

10.3. Исходные данные

10.3.1. Общее описание исходных данных

10.3.2. Синтетические данные

10.4. Задача II

10.5. Загрузка данных и пример построения классификатора

10.5.1. Описание программы GTSTxtReader

10.6. Задача 1

10.7. Задача 2

11. Высокопроизводительные вычисления на основе Numba [[215]]

Заключение

Благодарности

Приложение 1. Операции линейной алгебры

Матрицы

Векторы и скаляры

Нулевая и единичная матрицы

Транспонирование матриц

Приложение 2. Таксономия методов машинного обучения

Приложение 3. Дополнительные методы предобработки данных

Приложение 4. Физические принципы получения каротажных данных