Автор книги: id книги: 3153717Оценка: 0.0Голосов: 0Отзывы, комментарии: 0690 руб.(8,79$)Читать книгуКупить и скачать книгуЭлектронная книгаЖанр: Правообладатель и/или издательство: АвторДата публикации, год издания: 2024Дата добавления в каталог КнигаЛит: Скачать фрагмент в формате fb2fb2.zipВозрастное ограничение: 12+ОглавлениеОтрывок из книги
Реклама. ООО «ЛитРес», ИНН: 7719571260.
Описание книги
Книга является пособием для изучения технологий больших данных, охватывая основные и продвинутые аспекты работы с данными в распределенных системах. Начав с основ, она объясняет значение БД, их эволюцию и экосистему Hadoop, включая компоненты и инструменты: HDFS, MapReduce, Hive, Pig, HBase, Sqoop и Flume.
Автор раскрывает архитектуру и принципы работы Apache Hadoop, а также примеры использования MapReduce и работу с данными в HDFS, Apache Spark, описывая его основные компоненты, такие как RDD, DataFrames, Spark SQL, Spark Streaming, MLLib и GraphX, и предоставляет практические примеры установки и настройки.
Раздел, посвященный Apache Kafka, рассматривает основы архитектуры, проектирование и настройка кластеров, а также интеграция с другими системами.
Практические примеры и проекты предлагают возможность применить полученные знания, анализируя данные, разрабатывая потоковые приложения и интегрируя технологии Hadoop, Spark и Kafka в единую систему.
Оглавление
Группа авторов. Обработка больших данных
Слово от автора
Глава 1. Введение в Технологии Больших Данных
Глава 2. Основы Apache Hadoop
Глава 3. Apache Spark: Быстрая Обработка Данных
Глава 4. Apache Kafka: Потоковая Передача Данных
Глава 5. Продвинутые Темы и Лучшие Практики
Проекты для самостоятельной работы
Глоссарий терминов
Отрывок из книги
В современном мире данных существует огромное количество информации, которая поступает к нам со всех сторон. Начиная от записей в социальных сетях и заканчивая данными с промышленных сенсоров, объемы информации, с которыми нам приходится работать, растут с невиданной скоростью. Именно в этом контексте технологии больших данных выходят на первый план, открывая перед нами новые возможности для анализа, прогнозирования и принятия решений.
Эта книга родилась из моего стремления помочь вам не просто понять, но и эффективно применять технологии больших данных в ваших проектах и бизнесе. Я постарался охватить весь спектр тем, начиная с основ и заканчивая продвинутыми техниками и реальными примерами. Мы начнем с изучения того, какие преимущества могут дать большие данные вашей организации и с какими вызовами вам предстоит столкнуться. Затем мы детально разберем архитектуру и экосистему Apache Hadoop – одной из ключевых платформ для работы с большими данными. Вы узнаете, как развернуть и настроить кластер Hadoop, и научитесь решать практические задачи с его помощью.
.....
Pig – это платформа для анализа больших данных, разработанная для упрощения обработки и анализа больших объемов данных, хранящихся в распределенных системах, таких как Apache Hadoop. Pig позволяет пользователям выполнять сложные операции обработки данных, такие как фильтрация, агрегация и преобразование данных, с помощью языка программирования высокого уровня, известного как Pig Latin. Это делает работу с большими данными более доступной для аналитиков и разработчиков, которые не обязательно являются экспертами в низкоуровневом программировании или администрировании систем.
Pig Latin, язык программирования, используемый в Pig, представляет собой декларативный язык, который позволяет пользователям описывать операции обработки данных, не беспокоясь о том, как именно эти операции будут выполнены. Это значительно упрощает создание сложных рабочих процессов, так как пользователи могут сосредоточиться на том, что нужно сделать с данными, а не на том, как это будет осуществлено. Кроме того, Pig Latin обеспечивает гибкость и мощность благодаря своей способности обрабатывать как структурированные, так и неструктурированные данные.
