Реализация проекта машинного обучения от A до Я на примере приложения для обобщения текста

Оглавление

Группа авторов. Реализация проекта машинного обучения от A до Я на примере приложения для обобщения текста

Введение

Прототип решения задачи по обобщению текста

Пошаговая инструкция по запуску в реализацию проекта

Шаг 1. Подготовка проекта

Настройка и клонирование репозитория GitHub на ПК

Создание шаблона структуры папок и файлов

Создание виртуального окружения

Создание структуры шаблона папок и файлов

Фиксация изменений на GitHub

Подготовка к установке библиотек Python

Подготовка к установке локального пакета Python

Установка внешних и локальных библиотек python

Настройка логирования

Настройка утилит

Тестирование утилит

Шаг 2. Модульное кодирование

Этап 01_data_ingestion

Модульное кодирование этапа 01_data_ingestion

Этап 01 – Update config.yaml

Этап 01 – Update params.yaml

Этап 01 – Update entity

Этап 01 – Update configuration

Этап 01 – Update conponents

Этап 01 – Update pipeline

Этап 01 – Update main.py

Тестирование модулей этапа 01_data_ingestion

Этап 02_data_validation

Модульное кодирование этапа 02_data_validation

Этап 02 – Update config.yaml

Этап 02 – Update params.yaml

Этап 02 – Update entity

Этап 02 – Update configuration

Этап 02 – Update conponents

Этап 02 – Update pipeline

Этап 02 – Update main.py

Тестирование модулей этапа 02_data_validation

Этап 03_data_transformation

Модульное кодирование этапа 03_data_transformation

Этап 03 – Update config.yaml

Этап 03 – Update params.yaml

Этап 03 – Update entity

Этап 03 – Update configuration

Этап 03 – Update conponents

Этап 03 – Update pipeline

Этап 03 – Update main.py

Тестирование модулей этапа 03_data_transformation

Этап 04_model_trainer

Модульное кодирование этапа 04_model_trainer

Этап 04 – Update config.yaml

Этап 04 – Update params.yaml

Этап 04 – Update entity

Этап 04 – Update configuration

Этап 04 – Update the conponents

Этап 04 – Update pipeline

Этап 04 – Update main.py

Тестирование модулей этапа 04_model_trainer

Этап 05_Model_evaluation

Модульное кодирование этапа 05_Model_evaluation

Этап 05 – Update config.yaml

Этап 05 – Update params.yaml

Этап 05 – Update entity

Этап 05 – Update configuration

Этап 05 – Update conponents

Этап 05 – Update pipeline

Этап 05 – Update the main.py

Тестирование модулей этапа 05_Model_evaluation

Шаг 3. Web–API приложение обученной модели

Шаг 3.1 – Создаем конвеер предсказаний

Шаг 3.2 – Создаем web–приложение с API интерфейсом

Шаг 3.3 – Тестирование web–API приложения

Шаг 4. Упаковка web–API приложения в контейнер

Шаг 4.1. Создаем Dockerfile

Шаг 4.2. Запускаем приложение Docker Desktop на ПК

Шаг 4.3. В терминале VSC создаем контейнер

Шаг 4.4. Переходим в приложение Docker Desktop

Шаг 4.5. Выполним тестирование нашего контейнера в Docker Desktop

Приложение №1. Прототип по обобщению текста в формате Jupyter Notebook

Приложение № 2. Использование файлов .env в проектах

Приложение № 3. Ссылка на GitHub рассмотренного в данной книге сквозного примера

Отрывок из книги

Начало проекта по

Бизнес-постановка – основа любого коммерческого проекта по Data science

.....

Для наглядности обсуждения примем ситуацию, где заказчик предоставил, среди прочего, размеченный датасет для дополнительного обучения нашей предстоящей модели.

В целях демонстрации, мы взяли обучающий датасет с платформы Hugging Face. После получения всей необходимой информации от заказчика, включая данные, исполнитель переходит к этапу прототипирования решения. Если прототип удовлетворяет требованиям заказчика, следуют действия по внедрению решения в рабочую среду. Данный процесс будет описан в деталях в нашей книге.

.....